東証トラブル原因判明。メモリー障害時に「冗長化が機能しないよう」にファームウエアに設定されてたw

1 : 2020/10/08(木) 14:43:53.23 ID:BdGjQxer0


東京証券取引所で2020年10月1日に起きたシステム障害の全容が徐々に見えてきた。障害の原因は、富士通が納入したNAS(Network Attached Storage)のファームウエアの設定不備にあった。
2台構成のNASでメモリー故障に起因する障害パターンが発⽣した際、NASの冗長化が機能しない設定になっていた。

東証で10月1日に起きたシステム障害は、全銘柄の売買を終日停止するという未曽有の事態を招いた。
東証が取引を全面的にシステム化した1999年以降、システム障害で全銘柄の売買を終日止めたのは初めて。これにより、3兆円規模の売買機会が失われた。

NASのメモリー故障が発端
システム障害の発端は、東証の株式売買システム「arrowhead(アローヘッド)」のNASに搭載したメモリーの故障にあった。
業務サーバーで使うユーザー情報などを格納するNASは2台あり、Active-Active構成で冗長化していた。
このうちの1台のメモリーが故障し、本来なら1台のみの運用に自動で切り替わるはずが、うまくいかなかった。

原因はNASのファームウエアの切り替え用設定値の不備にあった。
東証はarrowheadを2019年11月に刷新する際、事前のテストで2台のNASの死活監視を途絶えさせて、自動で切り替わることを確認していた。
だがその際、今回の設定不備は見抜けなかった。設定作業そのものは富士通が実施していたという。

この記事は有料会員限定です。次ページでログインまたはお申し込みください。

https://xtech.nikkei.com/atcl/nxt/column/18/00001/04693/
レス1番の画像サムネイル

2 : 2020/10/08(木) 14:45:06.17 ID:qn8b9Yus0
>>だがその際、今回の設定不備は見抜けなかった。設定作業そのものは富士通が実施していたという。

富士通のせいじゃん

46 : 2020/10/08(木) 15:05:56.89 ID:J8DrsYXc0
>>2
富士通が雇った奴がよんできちゃつがやとっt、6時受けぐらいだろ
でも多重派遣だから言えないwwww
3 : 2020/10/08(木) 14:45:39.31 ID:gYdiulIz0
結局富士通やん
4 : 2020/10/08(木) 14:45:46.50 ID:DqRKLfgd0
テストもしてて駄目だったってどういうこと?
14 : 2020/10/08(木) 14:48:42.87 ID:erY/jQ290
>>4
今の予算の範囲内で起きるエラーがちゃんと検出されて回避出来るかを調べるテスト

範囲外の想定を提案すると「そんなの起きるわけ無いだろ」と怒られて終わり
会社を揺るがすようなバグじゃ無い限りは本人も在職のまま、次の仕事に取りかかる

26 : 2020/10/08(木) 14:56:24.71 ID:tA2lKQ5O0
>>14
「そんな大津波が起きるわけないじゃないですか、良いですか、良い、い、いちょっと、私が話してるんですから」
32 : 2020/10/08(木) 14:59:12.01 ID:uB+m+w7kd
>>14
原発事故かよ
5 : 2020/10/08(木) 14:46:07.66 ID:TWFxXN5S0
本番始まっちゃうと、本番機そのもののfail over試験はそうそうできないからなぁ…
不治痛はザマァ!!!!!だけど、現場の連中には同情する
6 : 2020/10/08(木) 14:47:13.51 ID:FAJg6KtP0
なんやそれ
7 : 2020/10/08(木) 14:47:32.68 ID:RjvgjNCL0
弊社ではなく弊社の下請けの責任です
8 : 2020/10/08(木) 14:47:38.47 ID:xDE+X0lP0
それならそれでいいけどテストしろよ
9 : 2020/10/08(木) 14:47:45.48 ID:bOemb2dZ0
尚、富士通は子会社に責任おっかぶせて逃げ切ります
10 : 2020/10/08(木) 14:47:51.81 ID:VnGcvjgK0
3つにして3賢者ごっこしとけばこんなことには…
11 : 2020/10/08(木) 14:48:06.21 ID:AWHwFwyjd
わざとなんだろ?
NTT上場廃止があったからとか
12 : 2020/10/08(木) 14:48:30.19 ID:khpGIVXs0
下請けの下請けの下請けの下請けの下請けの責任だろ!!!!!!!!!!!!!!!!!!!
13 : 2020/10/08(木) 14:48:32.76 ID:E8a5daov0
エラーを発生させるスイッチを作ってテストしないの?
15 : 2020/10/08(木) 14:48:46.29 ID:WEQxaAws0
>>1
メモリはSamsung製らしいね
19 : 2020/10/08(木) 14:52:48.03 ID:zS5LtMnu0
>>15
はいはい
16 : 2020/10/08(木) 14:49:24.15 ID:S7i6o3By0
福島第一原発も東証もちゃんと機能すれば事故は防げた
普段からヨシ!しとけよ
17 : 2020/10/08(木) 14:49:26.37 ID:8BPTxsm60
この日経記者はちゃんと内容を理解して記事書いてるな

お前らはすぐ犯人探しw
東証が会見で自分達の責任って潔く認めてたのに馬鹿かよ

18 : 2020/10/08(木) 14:50:30.66 ID:n71dhouR0
富士通じゃん
東証は「我々の責任」って言ってたけどそう言わなきゃいけない会見の空気なんなん?
立派なのはそうだけど事実と異なること言うなら富士通は補償とか要らないのってなるで
55 : 2020/10/08(木) 15:12:25.38 ID:Un9Mv3Dd0
>>18
東証が顧客に対して負う責任と、富士通が東証に負う責任は別
東証が富士通からどんな補償を受けようが俺らには関係ないこと
20 : 2020/10/08(木) 14:53:20.76 ID:hM4GsKskM
辞めたSEが報復に仕込んだんだろうなぁこれは。
21 : 2020/10/08(木) 14:54:20.95 ID:khpGIVXs0
1代のコンピュータがぶっ壊れても
別のコンピュータに切り替わるはずが切り替わらなかったんだ

メモリがぶっ壊れたのが原因って
去年にシステム更新したばかりなのに
もうぶっ壊れるもんなのメモリって??

25 : 2020/10/08(木) 14:56:05.93 ID:55O3JG8hM
>>21
メモリーが最後までキッチリ刺さってなかったんだろ
45 : 2020/10/08(木) 15:05:28.57 ID:ACUobXre0
>>25
パソコンのメモリと一緒にすんなよ
まあ釣りだろうけどさ
22 : 2020/10/08(木) 14:54:26.39 ID:eQk4cEkpM
どうせ電源ぶっこ抜きパターンしかテストしてねんだろ
メモリに中性子線当てるテストやれよな
23 : 2020/10/08(木) 14:55:16.02 ID:YsNWMqFz0
富士通だから相当の保険金むしれるものな(´・ω・`)
24 : 2020/10/08(木) 14:55:43.52 ID:upu2B3uGM
設定一つ一つ洗って検討してんのかよ
SEが個人の判断で適当にやってんじゃないだろうな
27 : 2020/10/08(木) 14:56:36.32 ID:NllFafvH0
何やらせてもダメだなここ
28 : 2020/10/08(木) 14:57:09.26 ID:ekdoZfpS0
素直に報告できてえらいね!
30 : 2020/10/08(木) 14:57:20.24 ID:l8XICvS/0
NASが完全死亡した場合の死活監視なら動いたが、メモリの故障だけだと死活監視では応答が返ってくるわけで生きてると判定されてたんだね
34 : 2020/10/08(木) 15:00:02.96 ID:khpGIVXs0
>>30
メモリだけぶっ壊れるとか想定外だったんだろうな・・・

パソコン使ってて思うのは
普通はハードディスクからぶっ壊れると思うんだが

31 : 2020/10/08(木) 14:57:58.44 ID:bVb1Yzev0
NASってなんだよ
SANじゃないのかよ
33 : 2020/10/08(木) 14:59:33.98 ID:jEdd88Lwr
富士通どうすんのこれ
35 : 2020/10/08(木) 15:00:31.70 ID:jEdd88Lwr
メモリなんか滅多に壊れないよ
42 : 2020/10/08(木) 15:04:25.11 ID:UTNdzvfH0
>>35
メモリは結構壊れるぞ
36 : 2020/10/08(木) 15:00:54.08 ID:xj43OElN0
他で別の問題が起きるんだろうな
37 : 2020/10/08(木) 15:02:31.24 ID:HFtOLwuD0
ニュータニックスのせいだって人も居たけど
これ見ると完全にハードウェアの設計ミスだから
富士通のせいだな
38 : 2020/10/08(木) 15:02:32.70 ID:ncMo8J+Y0
設定したかどうかじゃなく
シミュレーションに「その設定」はなかった
ということ
39 : 2020/10/08(木) 15:03:15.40 ID:khpGIVXs0
富士通製のパソコンの初期不良かな?

バックアップに切り替わらなかったのは
ファームウェアの問題

40 : 2020/10/08(木) 15:03:55.15 ID:529VRpNV0
あれ?これ富士通が悪いんじゃね
41 : 2020/10/08(木) 15:04:20.49 ID:V8cBeFMF0
富士通がわざわざ設定してたってことは事前にどっかから圧力がかかったか?
他人のせいにできるように丸投げしてたんなら自社ではやらんだろうしな
43 : 2020/10/08(木) 15:05:24.08 ID:Z1O4OKegr
また想定外w
津波も想定外w
電源喪失も想定外w

何でもかんでも想定外w

44 : 2020/10/08(木) 15:05:28.44 ID:WGnw27YS0
これは富士通の過失だろ
47 : 2020/10/08(木) 15:07:13.51 ID:hM4GsKskM
てかサーバーのシステムモニターとかで事前に不具合見つけられなかったのか
動作してる範囲でエラー吐くだろ?
48 : 2020/10/08(木) 15:07:40.47 ID:UvNLZeht0
故意じゃん
49 : 2020/10/08(木) 15:08:19.23 ID:V6KvayBx0
また富士通か
50 : 2020/10/08(木) 15:08:38.65 ID:+1DOm5ssM
富士通…
51 : 2020/10/08(木) 15:09:09.74 ID:hDQWJh250
なんだよそれ冗長不安定かよ
52 : 2020/10/08(木) 15:09:38.83 ID:PYCEMMWQ0
active-activeってことはNexusつかってんのか
53 : 2020/10/08(木) 15:09:57.52 ID:3gzLr/laM
故障時の切り替えのテスト自体はしていたけれど
メモリが故障したときはファームの設定値異常でエラー通知されず
自動的に2号機に切り替わらなかったことか

それにしても再起動しても動かなかったから休場って何よ
2号機を手動で動かせよ

63 : 2020/10/08(木) 15:20:40.88 ID:UTNdzvfH0
>>53
そういう簡単な問題じゃないから。
原因もわからないのに再起動して動かしたら余計酷いことになりかねないし、
各証券会社のシステムと連動してるんだから、調整もせずに勝手に再開したら問題が出る。
54 : 2020/10/08(木) 15:10:14.03 ID:drduqyIt0
その程度のテストケースも上げらなかったレベルの低さってやばくね?
56 : 2020/10/08(木) 15:13:13.35 ID:pnKRGbEH0
こんなんナローヘッドやんけ
57 : 2020/10/08(木) 15:14:05.92 ID:529VRpNV0
損害賠償おいくら億円かなあ
58 : 2020/10/08(木) 15:14:26.02 ID:CkQ13BbVM
こんな国が核保有しても管理すらできず暴発させてしまうやろな
59 : 2020/10/08(木) 15:15:10.23 ID:4Bzim6LZ0
この設定自体が仕様通りかどうか
60 : 2020/10/08(木) 15:15:16.60 ID:ziG2inZZ0
もうFM TOWNSかわない
64 : 2020/10/08(木) 15:20:59.52 ID:301SXA5e0
富士通「ヨシッ」
65 : 2020/10/08(木) 15:21:02.30 ID:OeIQbR7w0
ようわからんな
2台のうち1台が壊れたら冗長化を停止させて片方だけで動かすのではないのか
66 : 2020/10/08(木) 15:21:54.29 ID:+ZARMLmj0
冗長化とはなにか?
誰かおれに教えてほしい
67 : 2020/10/08(木) 15:23:54.50 ID:wU/PNSGZ0
そもそも設定段階で機能しない状態になっていたのに、何でテストでは機能していたの?

コメント

タイトルとURLをコピーしました