@Blog{zip358.com}

検索する

東証システム障害の考察してみた。#東証システム障害考察

2020.10.02

Logging

東証システム障害の発端は共有ディスク装置のメモリ故障、東京証券取引所 宮原社長らが会見で経緯を説明https://t.co/QugnN5b6j2

・10/1(木)7:04に共有ディスク装置1号機のメモリ故障が発生
・1号機故障時に2号機へ切り替わらず、相場情報配信業務や売買監視業務に以上が発生

【画像】報道配布資料 pic.twitter.com/T6o2AUzG0W

— ニコニコニュース (@nico_nico_news) October 1, 2020

7時4分にアラートが上がっていた？が、現場がアラートに気が付かず、後続の処理が流れ売上の前処理バッチ処理が走った時点なのかな。そこでようやく現場がアラートが出ていることに気づく、この時点でベンダーに現場が支持を仰いだのか、マニュアル通りフェイルオーバーしたんだろう。フェイルオーバーさせたけど失敗。メモリリークがおそらく原因でサーバーの切り替えが出来なかった。ここでベンダーに支持を仰いだ可能性もありそう。そしてベンダーがここらへんから介入して監視端末のログなどを調査したら、メモリリークのエラーログを確認したんだと思う。

※失敗したジョブがどこかに格納されるだろう？。フェイルオーバーさせるより後続の処理をストップさせて、ベンダーに支持を仰いだ方が良かったのかもしれないなと。でも現場は混乱していただろう。

メモリーリークが起きていたと思うと実際は前処理バッチ処理をして失敗していたんだろう。遮断して本日の東証での取引は出来ないようにしたのは正解だと思う。

メモリリークの原因は、メモリの物理的破損だったのでメモリが悪いと判断した。メモリエラーが監視端末のログにクリティカルなエラーとして表示されていたのかは不明だけど、おそらく見落としだと思う。

7時時点で相場や売上の前処理を取り込むのなら、何だか整合性がつきそうです。おそらく手動で前処理が走るのではなく全自動で前処理が走るシステムだったんだろう。従業員が端末の監視も7時からだったのかな？

資料が時系列で書かれていないので良く分からないけど、自分なりに東証システム障害を考察してみた。

現場のヒューマンエラーも疑われるけど、末端の従業員は下請け業者何だろうな？。ベンダーは常時、東証システムの現場にいたのか？とかいろいろな事が問われるかもしれないよな。

おそらく本日から正常に東証は取引できると思います。メモリを取っ替えだろうしメモリチェックもしているだろうし。

最後に頑張れ東証システムの現場！！
末端が解雇されないことを切に願う、これで直ぐに切られたら次の職には絶対につけなくなるよ。でも末端が悪いという事ならば数年後、数ヶ月後にはクビになる可能性は高いかもな。

ちなみに上記が昨日のツイートまとめになります。

https://twitter.com/zip358com/status/1311620709412605952

タグ

4, 7, アラート, エラー, オーバー, ここ, ここら, こと, サーバー, システム, ジョブ, ストップ, バッチ, フェイル, べん, ベンダー, マニュアル, メモリ, メモリー, リーク, ログ, 介入, 処理, 前処理, 原因, 取引, 可能性, 失敗, 実際, 後続, 支持, 方, 時点, 本日, 東証, 格納, 気, 混乱, 現場, 監視, 確認, 端末, 考察, 調査, 遮断, 障害,

実はできるひとだったって落ちか海外のひとってオチかとか？

2020.06.08

Logging

Maya-san’s JP Tech TalkというYOUTUBEチャンネルがあります。主にプログラミングをお勉強するVlogのようなチャンネルなのですが、ここ数ヶ月更新がまったくない状態でなんだか尻切れトンボのようなそんなチャンネル。

https://www.youtube.com/watch?v=FmbLoDjS6KA

最初は全然できない状態だったのか、それとも見せかけなのか？社内にバレてしまってストップがかかったのか？よくわからないですが、数ヶ月、更新がまったくない。いきなり更新している人がネット更新がぷっりと止まるとリアルを知らないひとはいろいろと想像してしまいがちですが、そんな更新がぷっりと止まった人達の理由は結構単純な理由だったりします。

https://www.youtube.com/watch?v=eOYcYnsX8FQ

例えば飽きてしまったとか、リアルが忙しくて更新する時間がなかったなどです。じぶんもブログを更新しなかったら、ユーザーさんから心配されるのだろうか？、こんなブログでもユーザーさんがいるから有り難いものです。

ありがとうです(*´?｀*)

最後にプログラムVlog？いやメンターさん？のチャンネルを貼っときます。
https://www.youtube.com/channel/UCcdcc59OaKEz06alvao2BgA/videos

タグ

jp, Maya-san's, Talk, Tech, Vlog, youtube, いろいろ, オチ, お勉強, ここ, じぶん, ストップ, チャンネル, トンボ, ネット, バレ, ひと, ひとは, ブログ, プログラミング, もの, ユーザー, リアル, 人, 単純, 尻切れ, 心配, 想像, 数, 時間, 更新, 最初, 海外, 状態, 理由, 社内,

この街。

2016.03.17

Logging

高知駅を撮った一枚。
iPhoneで撮った写真だけど・・・。
トイウコトデ、今日は記事をお休みの日です。
たまには自分にお休みを設けてあげないと疲れてしまうので・・・。
好きなことを長く続けるコツは嫌いにならないことです。嫌いにならない方法は嫌になりそうになったら、ストップすることです。人間関係と似ている気がします。嫌いにならないために距離を置くという感じと好きなことを長く続けるコツは同じように思えます。

(50)【第３３日】特急「南風」に乗って高知へ カツオのたたきを食べる《夏休み日本一周の旅 高松駅→高知駅》9/12-102│JR Shikoku Nampu Express

タグ

iPhone, お休み, コツ, こと, ストップ, たま, ため, トイウコトデ, 一枚, 人間, 今日, 写真, 嫌い, 感じ, 方法, 日, 気, 自分, 街, 記事, 距離, 関係, 高知,

さくらVPSでカスタムインストールでWEB(httpd)が表示されない時の対応。

2015.11.03

Logging

さくらVPSでカスタムインストールでWEB(httpd)が表示されない時の対応。
iptablesもポート８０番を開けているのに・・・何故かWEB(httpd)が表示されない
プロセスも起動しているしhttpdのプロセスも動作している。
なのに・・・表示されない。
cnetOS7を自分がインストールした時に起きた事象です。
これを解決する方法は、一度、ファイアーウォールのHTTPポートストップさせましょう。
そうするとおそらくiptablesの設定がうまく行っていたら
表示されます。
ちなみに下記のコマンドでファイアーウォールのポートは解除できます。

firewall-cmd --zone=public --add-service=http --permanent
firewall-cmd --reload

自分はこれが分からなくて一時間ばかし悩んでいました。
https://knowledge.sakura.ad.jp/10534/

タグ

--add-service, --permanent, --reload, --zone, 7, 80, cnetOS, firewall-cmd, http, httpd, iptables, public, VPS, web, インストール, カスタム, コマンド, これ, さくら, ストップ, ファイアーウォール, プロセス, ポート, 一, 一度, 下記, 事象, 動作, 対応, 方法, 時, 自分, 表示, 解決, 解除, 設定, 起動,