東証、システム障害の原因が判明。障害が起きた時に「自動切り替えできない設定値になっていた」うーん、これはサイバーテロ

1 : 2020/10/06(火) 11:55:35.10 ID:62whaqVed

 東京証券取引所は10月5日、株式売買システム「arrowhead」(アローヘッド)で1日に発生した障害の原因を特定し、4日中に修正したと発表した。

 障害は、ストレージ内でメモリ故障が起き、サブ機にも切り替わらなかったことが原因。メモリ故障による障害が起きた際、自動切り替えできない設定値になっていたという。
 arrowheadのユーザー情報などを格納するストレージ「共有ディスク装置」の1号機に搭載されたメモリが故障したことに起因。1号機が障害を検知すると、切り替え用設定値に従って自動で2号機に切り替わるはずが、切り替わらなかった。

 調査したところ、メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという。設定値を変更すれば、自動切り替えできることが判明。4日にシステムに適用し、自動切り替えが動作することを確認したという。

 稼働前のテストでは、1号機と2号機相互の死活監視を途絶えさせても、自動切り替えできていたという。

 1日の障害では、東証の全取引が終日停止した。
https://www.itmedia.co.jp/news/spv/2010/06/news063.html

2 : 2020/10/06(火) 11:55:57.68 ID:JHxhrKf0d
4ねバカ
3 : 2020/10/06(火) 11:56:36.94 ID:8S+0etvLd
障害試験ヨシ!
4 : 2020/10/06(火) 11:57:51.87 ID:et8uC1dD0
しゃーない
切り替えていけ
5 : 2020/10/06(火) 11:58:03.88 ID:5wYAYGXkd
これはポカだなあ
7 : 2020/10/06(火) 11:58:47.68 ID:b3aPCGnU0
自動切り替え機が切り替えしない設定・・・
次世代機は前面に大きな表示盤が着きそうだなwww
98 : 2020/10/06(火) 12:31:16.65 ID:DPhiIyIuM
>>7
盤のいいとこは表示器がくそでけえことだよな
モニターはしょぼすぎる
8 : 2020/10/06(火) 12:00:15.73 ID:gh3I67WR0
ほらねwwww
9 : 2020/10/06(火) 12:00:23.11 ID://eFnr1HD
ホットスタンバイにかけてる大金全部無駄でワロタ(´・ω・`)
10 : 2020/10/06(火) 12:00:30.19 ID:gh3I67WR0
ジャップイットはこんなのばっかだからマジでwwww
11 : 2020/10/06(火) 12:00:32.79 ID:gN99Up/Up
バグバグってすぐ言わるけど、障害のほとんどは人為ミスなんだよ
12 : 2020/10/06(火) 12:00:41.10 ID:J53+qu+z0
2000年かなんか?
13 : 2020/10/06(火) 12:00:56.16 ID:mXyRe2KQ0
メモリが故障てフラッシュメモリ?
15 : 2020/10/06(火) 12:01:23.92 ID:gh3I67WR0
>>13
それも嘘
14 : 2020/10/06(火) 12:01:05.97 ID:gh3I67WR0
弊社は関係ないとか言ってたゴミ企業だんまり
16 : 2020/10/06(火) 12:02:23.87 ID:Mji30bnv0
富士通「責任追及されない。やったー」
17 : 2020/10/06(火) 12:02:26.86 ID:av64weMX0
パラメータミスってたってこと?でもテストも監査もするよな?
18 : 2020/10/06(火) 12:02:44.51 ID:sfOidEMfa
バックアップ出来ないシステムって糞だな
20 : 2020/10/06(火) 12:03:33.10 ID:J3NaOsAG0
日本のIT技術の低さは異常
21 : 2020/10/06(火) 12:04:12.55 ID:DD3da7x10
稼働させるにあたってテストしてないのかよ
22 : 2020/10/06(火) 12:04:22.20 ID:6fdyFVC2M
ウチのヘッポコシステムですら東京と大阪にある主従の切り替えを3ヶ月に一度夜中にやってるのに切り替え試験してなかったとかマジかよ
29 : 2020/10/06(火) 12:06:02.04 ID:gh3I67WR0
>>22
請負が作ったから、誰も仕組み理解してんしてないからw
33 : 2020/10/06(火) 12:07:28.45 ID:OKM05TK30
>>22
並行稼働すればええやん
47 : 2020/10/06(火) 12:14:08.65 ID:6fdyFVC2M
>>33
両系アクティブはトラブルの元だからやだよ
負荷分散しなくても片系だけで処理出来るのにわざわざ構成を複雑にして障害確率上げてまでやる意味ない
それに負荷分散で両系アクティブとか片方落ちたら処理が全部残った方にかかって過負荷で全滅しかねないし
101 : 2020/10/06(火) 12:32:34.76 ID:DPhiIyIuM
>>47
カスケーディングやな
23 : 2020/10/06(火) 12:04:51.21 ID:gh3I67WR0
設定してる多重派遣の請負も笑いながらわざと間違った設定にして逃げるからな
それぐらいしか多重派遣の優秀な奴らがゴミ企業に一矢報いれないからな
25 : 2020/10/06(火) 12:05:12.44 ID:fSB1gez30
導入時のパラメータ設定ミスやろ。
26 : 2020/10/06(火) 12:05:15.21 ID:iXbpUI6F0
そんな設定じゃバックアップ意味なくね?
27 : 2020/10/06(火) 12:05:29.74 ID:gN99Up/Up
パラメタシートの誤りに気づかなかったのか実設定を誤ったのかどっちだ
28 : 2020/10/06(火) 12:05:49.65 ID:DD3da7x10
富士通ゴミすぎる
30 : 2020/10/06(火) 12:06:25.61 ID:OKM05TK30
原因わかって良かったじゃん
31 : 2020/10/06(火) 12:07:05.31 ID:/wh8gOW10
テストしてないってどういうことなの?
人のあたたかみのある切り替えが大事ってこと?
32 : 2020/10/06(火) 12:07:06.45 ID:QxwCY17j0
ようは
「車のタイヤが3個パンクしただけでしょ?1個残ってるし問題なし!」
みたいなことを設定してたってこと?
35 : 2020/10/06(火) 12:08:46.52 ID:gHjVUhbld
アホーヘッド
40 : 2020/10/06(火) 12:11:04.30 ID:gh3I67WR0
>>35
これwwww

豊洲のKDDIデータセンターに富士通社員が急いで土下座しに行ったんだろうなwwww

36 : 2020/10/06(火) 12:08:48.86 ID:nyOaRJq60
賠償金が凄まじいことになりそう
37 : 2020/10/06(火) 12:09:21.47 ID:g/1+9KXAd
メモリ故障を前提とするテストって実際やってるとこどんだけあるんだろ
38 : 2020/10/06(火) 12:09:40.93 ID:PkUub3JPp
ここはテストもまともにできねえ無能の集まりなのか
55 : 2020/10/06(火) 12:15:33.70 ID:6U7EhB1hM
>>38
本番環境で異常動作のテストなんて出来るわけねえだろ頭悪すぎだろ…
62 : 2020/10/06(火) 12:17:34.02 ID:6fdyFVC2M
>>55
ウチはやるぞ
切り替わった時に動かなかったら困るから定期的に主従入れ替えてる
108 : 2020/10/06(火) 12:34:39.71 ID:6U7EhB1hM
>>62
手作業で切り替えしてるなら、その話は今回とはなんも関係ないだろw
128 : 2020/10/06(火) 12:42:06.37 ID:6fdyFVC2M
>>108
やってるとこでもせいぜいカオスエンジニアリングだろ
67 : 2020/10/06(火) 12:18:33.74 ID:PkUub3JPp
>>55
お前構築したことないだろ
本番移行前に普通テストするしテストして問題なかったって書いてあるだろアホはお前だよ
「設定値になっていた」となってる以上テストが不十分だったってことだよ無能くん理解できたか?
97 : 2020/10/06(火) 12:31:05.37 ID:6U7EhB1hM
>>67
だからさぁ、テスト環境でどれだけテストしても拾えない性質の障害なんだって
アホだからわからないの?
本番機に故障メモリ突っ込んでテストなんてするわけがないw
115 : 2020/10/06(火) 12:38:42.82 ID:+u0PzDcN0
>>97
メモリ障害を個別でやる必要なんてなくて
どうせ本体止まるから本体障害として試験やるやろ
サポートにメモリ故障時の動作の言質も忘れずにだ
117 : 2020/10/06(火) 12:38:54.49 ID:PkUub3JPp
>>97
お前やっぱ構築したことないんだな
というかサーバー絡みの理解が浅すぎる
133 : 2020/10/06(火) 12:45:11.51 ID:nwzb6baE0
>>55
え?お前のところはロールアウト前に障害テストやらないの?
何のための冗長構成だよ
41 : 2020/10/06(火) 12:11:27.05 ID:xqpovP6q0
もうact/sbyの時代じゃないんだよ
44 : 2020/10/06(火) 12:12:57.51 ID:gh3I67WR0
>>41
東証のシステムは富士通のゴミdbからスェーデンの三百倍早い機材になった
それ2台で運用するしナインだわw
42 : 2020/10/06(火) 12:11:52.00 ID:HlJ5fkkX0
不治痛wwwwwwwwwwwwwwwwww
43 : 2020/10/06(火) 12:12:14.66 ID:08etj8mZa
ディスク障害が起きたら死活監視に引っかかる←テストOK
死活監視に引っかかったらシステム切り替え←テストOK

ってテストしたから「ディスク障害発生後の切り替え」までテスト出来てないケースかな

45 : 2020/10/06(火) 12:13:05.47 ID:Nr/fx2Lvx
ハードディスク故障とかプロセス死亡はともかくメモリの突然死までテストって案外やってないとこ多そうだけどな
51 : 2020/10/06(火) 12:14:56.22 ID:+u0PzDcN0
>>45
本体故障で切り替え確認するぞ
現用の電源落とすだけだが
46 : 2020/10/06(火) 12:13:40.03 ID:n6BJiqNk0
待機系が無駄飯食ってただけwww
50 : 2020/10/06(火) 12:14:24.64 ID:gh3I67WR0
>>46
2台導入できればいいんじゃよwwww
48 : 2020/10/06(火) 12:14:08.99 ID:nUgjBAUJa
サブ機に渡す変数ミスってましたって事態が本当に笑える
納期も予算も中抜きされてデバッグも適当だったんだな
52 : 2020/10/06(火) 12:15:13.88 ID:czTHiTdV0
障害パターンの洗い出しが不十分だったか
57 : 2020/10/06(火) 12:15:51.32 ID:gh3I67WR0
>>52
パラメータの存在しらナインだから設定してるわけがない
53 : 2020/10/06(火) 12:15:20.80 ID:gh3I67WR0
東証に入ってる富士通以外のsiも酷いからなwwww
54 : 2020/10/06(火) 12:15:26.25 ID:XhMhAZZhd
サイバーテロだとか言ってたリコールの人あやまったんかあ?
56 : 2020/10/06(火) 12:15:36.05 ID:dpHrgmel0
システム構築してからそれまでずっと障害出てなかったってこと?
逆にすごくね?
61 : 2020/10/06(火) 12:16:47.91 ID:gh3I67WR0
>>56
全然すごくないえ
63 : 2020/10/06(火) 12:17:35.53 ID:6U7EhB1hM
>>56
システムパラメータの問題だからな
検証環境では問題なくても、本番環境の構築時にパラメータの設定ミスるとこうなる
58 : 2020/10/06(火) 12:15:53.56 ID:ag5NSn1b0
コメントアウト外すの忘れたんやろな。
59 : 2020/10/06(火) 12:16:42.72 ID:gHXe4z+2M
自動切り替え機能をオンにするの忘れちゃったとわかりやすく言えよ
責任とれや
60 : 2020/10/06(火) 12:16:42.98 ID:8AUPhTiw0
もしかして仕様通りだったのでは
65 : 2020/10/06(火) 12:18:02.15 ID:gh3I67WR0
>>60
そうだよ
メモリエラーnパラメータせていしてないの
東証システムも知らんかったんだろ

パラメータの存在自体知らないバカ同士が双方納得して納入wwww

64 : 2020/10/06(火) 12:17:41.24 ID:aQJXUrJRM
原因はわかったから次はテスト環境はどうなってたか教えてほしい
68 : 2020/10/06(火) 12:18:54.26 ID:gh3I67WR0
>>64
あるわけないじゃん
スェーデン製の特注マシンやで
66 : 2020/10/06(火) 12:18:24.94 ID:etfAw7sKa
次は全銀ネットで障害が起こるよ
69 : 2020/10/06(火) 12:18:54.34 ID:xlQiIm6/0
デフォルト値だったんだろうな
他の障害なら切り替わるのに条件によっては切り替わらない設定とか罠でしかないが
70 : 2020/10/06(火) 12:19:30.52 ID:HDWZQndg0
うちの会社の監視システムでもこの手のトラブル起こしそう
71 : 2020/10/06(火) 12:20:03.36 ID:bOqFTy+wd
けどヤフコメでは中国の攻撃って話だったし
72 : 2020/10/06(火) 12:20:22.75 ID:gh3I67WR0
派遣「なんかメモリの設定あるんですが…」

富士通「そんなのいいから、この作って!��」

73 : 2020/10/06(火) 12:20:57.76 ID:lh66rEsB0
冗長システム入れてホットスタンバイしてても同じ状態になってるサーバがそこかしこにありそうだな
74 : 2020/10/06(火) 12:20:58.07 ID:gpVo4I2/M
ちゃんと試験してんの?
75 : 2020/10/06(火) 12:21:22.54 ID:0bk09oQ8M
二重系のシステムならデフォルトは切り替えする設定だろ?
あえて切替しない設定にしてたの?開発用の設定のままになってたんかな(笑)
83 : 2020/10/06(火) 12:24:29.62 ID:b3aPCGnU0
>>75
定期メンテとかで切り替え装置offでの動作確認とかあるんじゃない?
適当な予測だけどそのくらいしか思いつかん
76 : 2020/10/06(火) 12:21:26.22 ID:UXTBM/3B0
なんで富士通に損害賠償請求しないんだ?
78 : 2020/10/06(火) 12:22:11.00 ID:gh3I67WR0
>>76
潰れる
79 : 2020/10/06(火) 12:22:52.17 ID:O0TNAllVa
猫がやらかしまして
80 : 2020/10/06(火) 12:23:07.81 ID:Sg3WmOke0
これは障害じゃなくて仕様通り
納品したパラメータシートでもこの設定になってるはず
東証もストレージのメモリが壊れた際は切り替わり市内で納得済みの内容
81 : 2020/10/06(火) 12:23:40.76 ID:Eq28OgZNF
やっぱり富士通が原因じゃねえか
82 : 2020/10/06(火) 12:24:18.23 ID:BGrU13C20
また誰も責任取らんのか
85 : 2020/10/06(火) 12:24:42.74 ID:gh3I67WR0
>>82
だからジャップイットは変わらないwwww
84 : 2020/10/06(火) 12:24:38.14 ID:YtQau23T0
このトラブルは誰も防げない!富士通は悪くない!って喚いてたやつどうすんの…
86 : 2020/10/06(火) 12:25:03.54 ID:7DhWT/ax0
始めから設定しない仕様で合意してたのか、ならコマンド投入で手動切り替えが出来なかったのはなんでか
機器の交換とかで設定が消えたりした後の再設定をやってなかったとかもあるかも
87 : 2020/10/06(火) 12:26:03.69 ID:HDWZQndg0
次はポールトゥウィンにテストの仕事委託するべき
88 : 2020/10/06(火) 12:27:08.77 ID:Wn+HIhRpd
富士通がごめんなさいするのね
でも、設定した会社が富士通に謝るのね
90 : 2020/10/06(火) 12:28:10.91 ID:gh3I67WR0
>>88
もう設定して請負社員はイット業界にいないパターン
89 : 2020/10/06(火) 12:28:01.13 ID:mWZkTrSxM
謎のパラメータがあるけど動いてるからヨシ!
91 : 2020/10/06(火) 12:28:15.07 ID:UnAdXv1K0
次は切り替わりが頻発する様になるかもな
何かしら意図があってその数値だったのかも
92 : 2020/10/06(火) 12:28:43.53 ID:Yg1XpFAkM
なんの為にリカバリー作ったんだよw
95 : 2020/10/06(火) 12:30:19.17 ID:gh3I67WR0
>>92
2台売るためだけど?w
93 : 2020/10/06(火) 12:28:48.66 ID:40MXyslHM
富士通社長のクビが飛ぶレベル アローヘッド関係者は恐々
94 : 2020/10/06(火) 12:29:39.56 ID:9yS7G+SL0
賠償請求されないって決まったから謝ったんだろw
96 : 2020/10/06(火) 12:30:53.47 ID:7O/4mpmYM
うんうん監査の時以外は電気代せつやくーとか言って止めてるよね
99 : 2020/10/06(火) 12:31:27.70 ID:ZepJSDqQd
設定値ミスってまともにテストもしてねえって事かよ
終わってんな
104 : 2020/10/06(火) 12:33:15.83 ID:A5OVC7GT0
>>99
逆だろ
設定オフのテストをしたためにこうなった。
100 : 2020/10/06(火) 12:32:29.44 ID:Qmx2v+n+M
設定したやつ誰だよ
105 : 2020/10/06(火) 12:33:44.98 ID:pWWqv5OgM
>>100
仕様書に設定してくれって書いてなかったんだろ
107 : 2020/10/06(火) 12:34:09.79 ID:gh3I67WR0
>>100
請負の請負の請負の偽装請負が連れてきた誰か
102 : 2020/10/06(火) 12:33:01.15 ID:mWZkTrSxM
リンク先の図を見たけど、開発機では切り替えできてたということは開発と本番でパラメータ設定が異なってたのか?
103 : 2020/10/06(火) 12:33:04.81 ID:Q0CjbQDlp
なんで導入時にテストしてないの?
106 : 2020/10/06(火) 12:34:00.60 ID:P2LQHAood
あーこれNetAppかな
似た状況でやらかしたわ
デフォルト値がおかしいんだよね
109 : 2020/10/06(火) 12:34:55.90 ID:3ysNFQ8E0
>>1
稼働前のテストが半端だったと

テストヨシ!

110 : 2020/10/06(火) 12:35:03.17 ID:P2LQHAood
しかも多分NASだろこれ
共有ディスク装置って書くとSANっぽく感じるけど
111 : 2020/10/06(火) 12:36:07.16 ID:pt6aoVwX0
富士通「下請けのせい」
112 : 2020/10/06(火) 12:36:08.20 ID:xRgRF3Ty0
なぜそう設定していたかが分かればいい
設定ミスならミスなんだろう
いずれにしろフェイルオーバーは正常に切り替えられたら御の字レベル
113 : 2020/10/06(火) 12:36:15.47 ID:aAO2Keb4M
うわー
これ東証の奴等が変えたのか確認しなかったのか
富士通がやらなかったで変わるな
要件定義で入ってないっぽいなぁ
114 : 2020/10/06(火) 12:37:08.98 ID:Vw1FWgu20
此れ損害賠償もんだろ
116 : 2020/10/06(火) 12:38:53.27 ID:y5nQMJMOa
なんかの閾値か?
118 : 2020/10/06(火) 12:39:21.30 ID:npw6rpM/d
ルーティング何使ってるのか知らんがメトリック値がデフォルトになってたってこと?ポンコツやんけ
119 : 2020/10/06(火) 12:39:30.05 ID:Ktk6ywVe0
明らかに担当者の誰が悪いって決まりそうだな
怖すぎ
120 : 2020/10/06(火) 12:39:30.92 ID:YAqZQ5GKa
設定したのは誰だ!
121 : 2020/10/06(火) 12:39:43.26 ID:nIP0uhjF0
富士通なんかを採用してるから悪い
はい、自己責任
122 : 2020/10/06(火) 12:39:49.42 ID:0zPooNhs0
切り替え試験やらないは結構あるよ
ジャップの過密スケジュールじゃそこまで出来ないことも多い
123 : 2020/10/06(火) 12:40:37.95 ID:ebSs4ufk0
お前らよくこんな発表を鵜呑みにするなあ
124 : 2020/10/06(火) 12:40:58.40 ID:ONpwxCA6M
ん?これだけの事でまる1日休んだの?そんなに分からないもんなの?
125 : 2020/10/06(火) 12:41:19.93 ID:3/5QtRTp0
数年前に設定変えて、その時のログは削除されてそう��
126 : 2020/10/06(火) 12:41:43.31 ID:Q4ndm65R0
これじゃアローヘッドじゃ無くてボーンヘッドじゃねーかwwww
127 : 2020/10/06(火) 12:42:01.62 ID:gpVo4I2/M
多分これを知ってたエンジニアもいたんだと思う
でもジャップだから。。
129 : 2020/10/06(火) 12:42:43.66 ID:3/5QtRTp0
機械の保守のときにフェールオーバしないようにいじって戻し忘れだろうね��
130 : 2020/10/06(火) 12:42:47.23 ID:FWbBcBpvM
富士通やばすぎ
131 : 2020/10/06(火) 12:44:00.75 ID:E06kG2X6d
しゃーない、よくある話だ
132 : 2020/10/06(火) 12:44:24.50 ID:MERITqdh0
実際知ってるのはひ孫請けの派遣とかなんだろうなア

コメント

タイトルとURLをコピーしました