３０万件のデータを扱っている方の話を聞いて一瞬😱となる。 #laravel #Queue #worker #jobs

2022.12.01

Logging

おはよう12月!!。皆さんおはようございます。今日から寒くなるそうですね。

先日、面談の中で３０万件のデータを扱っている方の話を聞いて一瞬尻込みしましたが、自分でもその処理を捌くことが出来そうだなと思ったので、ダミーデータを作って今月中に捌いてみようと思います。なお、ローカルサーバーを使用して捌くのでレンタルサーバーやクラウドサーバーでメモリリークなんかで落ちたりしたらごめんなさい🙇。

因みに３０万件のデーターをどう捌いているかといえば、非同期処理(Queue)で捌いているとの事。フレームワークはLaravelを使用し、非同期処理はララベルの機能であるキューを使用してバックエンドで処理を立ち上げているとの事。要は個々プロセス複数立ち上げて並列処理で動かすという事です、プロセスを立ち上げ過ぎたら、メモリ食いすぎてサーバー事態が落ちる可能性があるので別サーバーで動かすのが理想ぽっい、その場合はコネクションの設定してあげないといけない事やプロセスをどれぐらい立ち上がると良いのかなどの設定が必要みたいですね。

php artisan queue:table
php artisan migrate

ともあれ自分でダミーデータを用意して試してみないと感覚が掴めないし、実際上手くいくかなどが分からないので試してみます😳。

明日、１万件のダミーデーターを複製（コピペ）して30万件のエクセルファイル作る方法を記載します。

タグ

12, 30, jobs, Laravel, Queue, worker, エンド, キュー, クラウド, こと, サーバー, ダミー, データ, データー, バック, フレームワーク, プロセス, メモリ, ララベル, リーク, レンタル, ローカル, 一瞬, 万, 並列, 中, 事, 事態, 今日, 今月, 使用, 個々, 先日, 処理, 動, 可能性, 同期, 方, 機能, 皆さん, 自分, 複数, 要, 話, 面談,

東証システム障害の考察してみた。#東証システム障害考察

2020.10.02

Logging

7時4分にアラートが上がっていた？が、現場がアラートに気が付かず、後続の処理が流れ売上の前処理バッチ処理が走った時点なのかな。そこでようやく現場がアラートが出ていることに気づく、この時点でベンダーに現場が支持を仰いだのか、マニュアル通りフェイルオーバーしたんだろう。フェイルオーバーさせたけど失敗。メモリリークがおそらく原因でサーバーの切り替えが出来なかった。ここでベンダーに支持を仰いだ可能性もありそう。そしてベンダーがここらへんから介入して監視端末のログなどを調査したら、メモリリークのエラーログを確認したんだと思う。

※失敗したジョブがどこかに格納されるだろう？。フェイルオーバーさせるより後続の処理をストップさせて、ベンダーに支持を仰いだ方が良かったのかもしれないなと。でも現場は混乱していただろう。

メモリーリークが起きていたと思うと実際は前処理バッチ処理をして失敗していたんだろう。遮断して本日の東証での取引は出来ないようにしたのは正解だと思う。

メモリリークの原因は、メモリの物理的破損だったのでメモリが悪いと判断した。メモリエラーが監視端末のログにクリティカルなエラーとして表示されていたのかは不明だけど、おそらく見落としだと思う。

7時時点で相場や売上の前処理を取り込むのなら、何だか整合性がつきそうです。おそらく手動で前処理が走るのではなく全自動で前処理が走るシステムだったんだろう。従業員が端末の監視も7時からだったのかな？

資料が時系列で書かれていないので良く分からないけど、自分なりに東証システム障害を考察してみた。

現場のヒューマンエラーも疑われるけど、末端の従業員は下請け業者何だろうな？。ベンダーは常時、東証システムの現場にいたのか？とかいろいろな事が問われるかもしれないよな。

おそらく本日から正常に東証は取引できると思います。メモリを取っ替えだろうしメモリチェックもしているだろうし。

最後に頑張れ東証システムの現場！！
末端が解雇されないことを切に願う、これで直ぐに切られたら次の職には絶対につけなくなるよ。でも末端が悪いという事ならば数年後、数ヶ月後にはクビになる可能性は高いかもな。

ちなみに上記が昨日のツイートまとめになります。

タグ

4, 7, アラート, エラー, オーバー, ここ, ここら, こと, サーバー, システム, ジョブ, ストップ, バッチ, フェイル, べん, ベンダー, マニュアル, メモリ, メモリー, リーク, ログ, 介入, 処理, 前処理, 原因, 取引, 可能性, 失敗, 実際, 後続, 支持, 方, 時点, 本日, 東証, 格納, 気, 混乱, 現場, 監視, 確認, 端末, 考察, 調査, 遮断, 障害,

iPhone7に買い替える？

2016.09.14

Logging

自分はiPhone7に買い替える予定ですが
来年になると思います。
その頃にはiPhone7Sが発表されたりするのかも・・・。
早くても買い替えは12月ぐらいです。
遅ければ来年の4月ごろ、その頃には
iPhone7Sのリークとかがあるでしょうから
その情報によっては、iPhone7Sまで
待っての買い替えかもしれません。
今回の目玉は二眼になること、おサイフケータイになること
そして、防水機能があることですね。
残念なのがイアフォンジャックが廃止されたこと
これは痛いなとは思いますが、そのうち
純正以外でも変換するモノが発売されるでしょうから
あまり悲観することはないかなと思っています。

タグ

4月ごろ, iPhone7S, アップル, イアフォンジャック, うち, おサイフケータイ, グーグル, リーク, 世界, 二眼, 情報, 新潮文庫, 来年, 目玉, 純正以外, 買い替え, 防水機能,

iPhone6の発表が9月10日午前2時からですが(# ﾟДﾟ)

2014.09.09

Logging

iPhone6の発表が9月10日の午前2時からなのですが、明日（9月9日）、錦織圭さんがマリン・チリッチに勝ってしまうと…iPhone6の話題なんて何処吹く風になってしまいそうです。
iPhone6に買い換えるかどうかを今まで悩んでいたのですが、巷の噂では、どうもiPhone6にはNFC搭載｛お財布機能｝が濃厚らしいのです（´∀｀）、なんで今のところ買い換える予定でいます。ただ、このNFC（Near field communication）のチップを新たにアップルが独自開発したとの事らしいなので若干、微妙な感じがします（NFC規格があるので大丈夫だと思いますが）。
今の段階では7割、iPhone6に買い換える予定でいますが、それほど魅力ない発表だと現iPhone5のまま、次期iPhone6S？の発売を待ちます。ちなみにiPhone6の仕上がりよりもiWatchの仕上がりに自信を見せているアップル陣営ですけど…そんなにみんなが欲しがる製品になっているのかが疑問です。iPhone6のリークはあるものの、iWatchのリークは全然ない所をみるとユーザーを「あっ」と驚かせたいという気持ちがあるのでしょうね。
※NFCぐらいでiPhone6に乗り換えるかよとか
昔、言っていた自分ですが乗り換えます(・ε・)ｷﾆｼﾅｲ!!
https://www.apple.com/jp/iphone/

 

タグ

iPhone6, iWatch, Near field communication, NFC, NFC搭載, NFC規格, アップル陣営, お財布機能, キニシナイ, チップ, ところ買い換える予定, マリン・チリッチ, ユーザー, リーク, 仕上がり, 何処吹く風, 次期iPhone6S, 現iPhone5, 発表, 錦織圭,