【IT】バックアップ、5年「OFF」 富士通のマニュアルに誤り 東証システム障害 [田杉山脈★]
■ このスレッドは過去ログ倉庫に格納されています
東京証券取引所は19日、全銘柄の売買取引を終日停止した1日のシステム障害を巡り、故障した機器のバックアップへの切り替えが作動しない「オフ」の設定になっていたと明らかにした。機器を納入した富士通のマニュアルに誤りがあり、東証は約5年間にわたり状況を把握していなかった。
東証によると、システム障害は、取引システムの運用に必要な情報を記録する「共有記録装置」が故障したため発生した。故障した場合、バックアップへの切り替えを「オン」に設定していれば即時に予備の装置に切り替わるが、「オフ」だったため切り替わらなかった。
2015年9月のシステムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだったが、機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。これを富士通が把握せず、「オフ」にして東証に納入。マニュアルにも反映させなかったため、東証は気付かないままシステムを運用していたという。
東証はこうした原因や再発防止策を盛り込んだ報告書を金融庁に提出しており、金融庁は業務改善命令などの行政処分を検討する。
東証は、証券会社や投資家などをメンバーとする「再発防止策検討協議会」を設置し、売買停止や取引再開に向けた基準の明確化などの議論を今月中にも始める。
https://mainichi.jp/articles/20201019/k00/00m/020/240000c 5年とかサーバの寿命もそんなもんじゃね?
最初からか? dellかhpかEMC?
EMCはdellが買収済みなんだっけ >>2
https://www.itmedia.co.jp/news/articles/2010/20/news105.html
> マニュアルに不備が発生したのは、機器を製造した米国企業の仕様変更が原因だという。
> 2010年1月に稼働を始めた初代アローヘッドでは自動切り替えが「オフ」でも、トラブルを検知すると15秒後に予備に切り替わる仕組みだったが、
> 2015年9月に導入した2代目からは「オフ」時にはバックアップが作動しない方式に変更されていた。
> これを富士通が把握せず、初期設定を「オフ」にして東証に納入。マニュアルにも反映されていなかったため、東証も気付かないままシステムを運用していたという。
5年でストレージ入れ替えたらストレージ側の仕様変更に気付かずやっちゃった感じかな
切り替え設定がOFFでも切り替わってたのがそもそもバグで改善として変更したのかな オフだと切り替わらないとか・・・
えっ?普通じゃね? >>11
東証のプレスリリースを読む限りでは設定値がONだと即時切り替え、OFFだと15秒後に切り替えされる仕様だったらしい
それが2015年に入れ替えた機器では仕様変更でOFFだと切り替えがされない仕様になったとか コレ原因だったら富士通10割過失
俺の100億補填しろよ >>12
ああ...なんと言いますか
原因を最初に見つけた人の感想が聞きたいわ アメリカ製かあ。あいつら日本をなめくさっているからな。
イエローモンキーには吹っ掛けておけってな具合に。
時代錯誤で今はそんな差別は無い?
それが実際には厳然としてあるんだよ。
日本国内で、自前で作らなにゃいかんわ。 >>13
> これについて、東証は「(富士通側の)マニュアルの不備により正しい仕様が把握できなかった」と釈明。
> システム構築時に富士通側と検討した際、マニュアルには自動切り替えが動作すると記載されていたことから、実際の稼働テストを行わなかったという。
> テストを行わなかったのは、これまでのアローヘッドの稼働実績を鑑みた結果だとしている。
> 東証の担当者によると、製品マニュアルから自動切り替えの発動パターンをメモリやCPUの故障、ネットワークの切断と想定していたという。
> ネットワーク切断については切り替えテストを行ったが、メモリなどの故障については「NASの設定値とマニュアルの整合性については富士通内の
> 製品出荷プロセスで検証されている前提だった」とし、テストを行っていなかった。
2015年の仕様変更時に初期納入時に同じようなことやってて稼働実績もあるからと試験を一部省略したらピンポイントで踏んだとか?
ネットワーク切断までは試験したけどメモリやCPU故障までは試験してないってのは東証とも合意済みだったから一方的に富士通の責任
には出来ないのかね メーカー、富士通それぞれに責任があるが
東証自身がシステム更新時に重要な機能について
実際にテストする意識を持っておくべきだった アメリカ側の言い分を聞きたいわ
富士通の担当とマネージャーには変更になった仕様書をとっくの昔に送付済みだった
とかオチがあるかも
縁の下の力持ちや泥臭い仕事をする担当が低評価で、社内政治家が幹部になる
富士通の人事制度による人災だと思う はいはい、人為ミス、人為ミス。
人為ミスなんだから仕方ないよね。(調査も原因究明も対策も要らない。という、いつものパターン)
もしこれが、ソフトウェアやハードウェアの欠陥なら、とことん原因究明と改善が求められる >>20
製品納入時にマニュアルも合わせて納品はしてるんじゃねえの?
ただそれが具体的な変更点をわざわざ書いた親切な内容ではなかったみたいな感じだったりして見落としてたみたいなオチだったりしそう >>1
富士通が受注相手だよね?
やつらは自社開発でなければ死に体で富士通の社名がコストダメージの温床だろ >>15
5chにさえこの仕様変更の記事をおそらくビジネス版にあったはず
これが糞な馬鹿な企業がどうなるかってレスし合っていたスレッドがどこかにある
記事にさえアナウンスとしてされてた メーカーのサイレント修正で仕様変更になるのは腹立たしいけどさ……
納入前にテストしようぜ…… 初代 (瞬時切り替えの)ON/OFF
2代目 (切り替えの)ON/OFF
と、行間を読めなかったと言うことか >>14
何をどう売り買いしたら100億の利益出るんだ?
(笑) >>17
それにしても、納入時や試運転時には確認取れるだろ。 >>32
初代 ONを前提にしたヒュマンエラーを想定した特別仕様
2代目 より時限処置を撤廃してヒキニートや引きこもりでさえわかる何かやらないと使えない部屋のスイッチ この書き方だと開発元の資料には書いてあったけど
把握できなかったってことだろうな
まあ富士通のことだからその辺のチェックなんて下請け任せだろ
下請けはチェックはするけど見落としがあっても責任取らないって
言うだろうから、結局富士通のミスだろうな
下請けに「なんで気づかなかったんだ!」とか難癖付けてそうだけどw 検収OKしたんだろ
先ごろ変わった民法では、、、瑕疵、じゃなく適合しないときの期限なし、だっけか >>13
これはSTで見つけるものじゃない
STって言いたいだけかよ たぶんこのようなことは今でも表面化しないだけのものでは無限大にあるんだろうな。
所詮人間のすること
ミスだらけだろうな
事故が起きて初めて表面化するんだろうな
だから飛行機はいつまでたっても必ず墜落するんだよ 簡単なことで起きる事故を想うと考えすぎて進歩が遅れる学術会議は閉鎖しかないと思った これ、富士通の問題だと笑ってたNetApp使ってるSIerやユーザーは大慌てなんじゃない? >>48
うーん…
じゃあどのテスト工程で発見する? >>54
昔その手の企業の社員相手に話しのネタとして話したことあるからどうだろう
富士通の社員にも語った事がある >>1
なるほど 頼みの綱であるマニュアルは役に立たない紙屑だったか
さすがは不治痛
ますます信用を地に落していく お粗末ですね〜
IT後進国はこんなもんですか・・・ >>51
そう言うのはよくある
なのでメーカーの変更はありませんという言葉は信用しちゃだめ アメリカに仕込まれてたのでは
今回はたまたま関係なく事故が起きただけで 全くテストやってなかったのか
まだまだやらかしそうだな マニュアルに疑問を持つ人っていなかったのかな?
切り替えスイッチOff確認!ヨシ!
とか大真面目にやってたんだろーなw 本番稼働後のソフトウェアバージョンアップで挙動が変わったとかだと発見しにくいだろうね
初期構築時ほどの入念な障害テストはやらないだろうし バックアップへの切り替え設定がOFFなのに自動で切り替わるって怪しすぎる
納入時のバージョンでは色々な要因が絡まって15秒で切り替わってた、というだけでしょう 納入時の担当者は一気に左遷コースだな。
関連会社や取引先のIT企業へ片道切符の出向決定
当時の担当役員もダメだろうな えっ自社開発ですらないの?
日本が誇るアローヘッドとか言ってたのに うじ痛ならこれぐらい平気でやらかしそうだから驚かない 2015年というと呼び値変更した頃だよね。同時にあれこれいじり過ぎたんじゃない?鼻息荒い偉い人が騒ぐと現場がついて来れなくてこういうのよく起きるよね〜。
バージョンアップ時のデグレでドボンは現場で昔経験あるわ。技術系役員がいなくて声の大きい営業系役員が成果欲しさに仕様変更頻発させるんだろうな 純粋に思うけど…
このスイッチを手動でONにすれば復旧したって事だよな?
テプラで作った
触るな!ラベルが貼られていたんだろーな > 「オフ」にして東証に納入
オフにする理由が分からん
ある程度ウェイトかけなければいけない理由でもあったのか? NetAppの仕様書は見れるだろうから気づかなかっただけだと思う
20年の密接な協業関係とは何なんでしょうね 富士通はなんのために存在したの?
アメリカ企業の作ったものを納入しただけ? なんだか無茶苦茶だな、こっちも変更するか
警察署に無茶苦茶にされたし こういう致命的なシステム障害起こしたってことは
普段から誤り見落としが常態化してるんだろうな
ハインリヒの法則から考えると 5年間気付かないって何してたんだよ
現場猫のヨシ!じゃあるまいし 現場離れてかなりたつけど、こんなの高価な機材にしておけば
無いもんじゃないか、言い訳で言ってるだけだろけどな 5年間一度も検証してないってことだね
東ってつく会社は駄目だな
東電「ちゃんと検証してないけど何かあったら予備に切り替わるっしょ」
東証「ちゃんと検証してないけど何かあったら予備に切り替わるっしょ」 単にテストしなかったというとんでもない話
マニュアル云々は言い訳 大丈夫じゃね?で大丈夫でなかったというポンコツ富士通 まあ、そんな把握し難い仕様変更があったのなら担当者を責めるのも可哀そうとは思うけど、
それでも機器選定して納入した富士通の責任だよな……
>>73
システム側が即時移行には厳しい設計とかじゃね。
構成図知らないけど、セーフティにタイムラグを置きたい運用は考えられるし。 >>17
自前でやるとレガシー使い続けていつか破綻するから、
外資の強引なアップデートの方が正しい場合もある
既存踏襲は日系の悪しき慣習 古い建物だろうけど
シーケンス図を追えば普通に
ここかも!って気が付くと思うけど
縦割り組織的な問題でいつまでも許可が下りなかったんだろーな… ネトウヨが必死に批判してたけどやっぱり米国製だったか >>18
それを読むと、富士通が出荷前に試験してるので、納品後の現地試験は省略したという感じじゃね?
富士通は1号機の時に確認してあるので省略した。ということじゃね? おかしいだろ。マニュアルがどうとか関係なく導入時に切り替えテストは必須でやるよね 納入したシステムが顧客先で動く事を確認するのがシステム屋やで
ブラックボックス化して、自分たちが完全コントロール出来ない、わけ分からないもの納入してんだろうw >>18
> システム構築時に富士通側と検討した際、マニュアルには自動切り替えが動作すると記載されていたことから、実際の稼働テストを行わなかったという。
ヒドイw 切り替えてバグるのを5年間避けてたんだよ
実際の運用はそんなもん >>98
これ何も検索してません
と同じやん、、、 >>19
新車の購入ユーザーに
「重要な機能について 実際にテストする意識を持っておくべきだった」
と言ってる様なもの。エアバッグやABS、シートベルトの強度、等、いちいちユーザーが確認してたら命が足りなくなると思う。 5年間、1度も障害テストをしないとかガイジ集団かよ 古い建物なら
定期的に回路を短絡させて不具合を再現してバックアップ切り替え試験をするのが常識
組込み方のディスプレイで不具合試験するタイプなら
もし切り替えユニットの試験回路に問題があったのなら…
頻繁に動作する類の物じゃ無いので問題発覚は難しいかもね >>29
今日、そういうエクセルの関数の集合体作ったw
Pythonでやりたかったけど、客からExcel関数でと指定されたから、ググりながら無理矢理作ったぜ 日にち決めて例えば14:00に恣意的に停止させて待機系に切り替わるかチェック位しろ。 >>103
切り替えについてはオペレーターの訓練も兼ねて自社テストするもんだよ >>75
日本のITメーカーて自前で何も作ってないぞ。
アメリカ製の機器を自分のロゴに貼り替えて売ってるだけ。 >>103
こういうレベルの業務システムと自動車を一緒にされてもな 富士通は、、、、
そんなにいい加減で、チャランポランな企業風土だったのか >>1 「仕様変更」は使う側から言わせてもらえばデグレだ、とか
で、 パッチでたけど「パッチ当てるリスク高過ぎ、東○が放置決断」とか 富士通は、、、、
そんなにいい加減で、チャランポランな企業風土だったのか
2020年、、世界中に日本の恥をサラした、、みっともない企業 >>55
自動切り替えが機能する/しないだから、
単機能テストの時か、納品前の受け入れテスト時辺りでは? ETERNUSじゃないだろな?幾つか納めてるんだが >>113
普通はそういう変更はリリースノートだとかサポートのページに変更点が明記してあるから、
知らなかった富士通・東証がアホてだけのことでしかない。 ハードウェアRAIDの故障と同じようなものだから自動で切り替えができなくて当たり前とか言ってた連中って何だったん? 馬鹿だよな一度テストしておけよ
日本市場が閉まってる時間帯とかに
本当にアホだ、ダーウィン賞レベル サイレント仕様修正はアメリカ企業は良くやるね
マイクロソフトとか筆頭だわ >>122
素直に読めば、「オフなのになんで15秒後に切り替わるの?」てところに疑問を持たないほうがおかしいわ。 富士通製どやどやぁしてたけど、やっぱ中身はアメリカ謹製じゃねーかw しかも使用を把握せずw ただの卸売り業者富士通wwwwwwwwww 東証、名古屋、札幌が富士通で沈んでて
大阪は日立製作所で、まったくフツーだったんだけど
此処が大阪じゃないけどさ、巻き込まないでくれないかな >>103
というか、今回は切り替えスイッチをあえてOFFにしてたんだけどね
自動車で言えばABSやエアバッグのスイッチを切っていた状態
なぜ最初のシステムでそのスイッチをOFFにしたのか理由を知りたいな ファームウェアアップデートに挙動変更がサイレントに混じってるのは良くある >>130
OFFでも15秒後に動作してしまうから(←たぶんバグ)
富士通はOFFでもいいじゃんて思ってしまった。
メーカーがバグを修正してOFFの場合切り替わらないようにしてしまったから、東証も切り替わらなかったwwww。 故障時の動作試験なしで納品したってことでしょ。
富士通がわるい。 仏教徒のなにかで、デニムでこんなこと言ってると駄目駄目だな >>1
Λ,,,Λ
(ミ・ω・)なんだよ、責任転嫁かよ、ほんとクズだよな富士通は
Λ,,,Λ
(ミ・ω・)どっかではハンドシェイク通信せずに送りっぱなしなんてやってたくらいだ
Λ,,,Λ
(ミ・ω・)ウジ通に関わるとこんなもんよ、在チョン三菱と同じ >>117
ETERNUSだよ。それがNetApp製でいつのまにかファームの仕様が変わってて、富士通も知らなくてマニュアル改版してませんでしたって話し。 東証は24時間フル稼働システムじゃないんやで?
平日は15時30分から翌8時まで、土日祝日も完全稼働停止時間があるんやで?
今まで何してた?障害出るまでひたすら放置か?
メンテやテスト、安全対策いくらでも実施できる時間がありまくりなんだが >>133
Λ,,,Λ
(ミ・ω・)ガキでも言わない言い訳な >>138
土日にシステム動かして売買が成立してしまったらどうするんだ? >>139
おまえが俺を見張って、俺を韓国人の大馬鹿とかいってたんじゃんけ
家の裏の浄化槽のポンプなんかでな メーカー「障害時にバックアップ系統に切り替える機能を作ったぞ。フラグAでオン/オフを切り替えるぞ」
メーカー「別の新機能でシステムの負荷に合わせて最適な系統に切り替えて負荷分散する機能を作ったぞ
フラグBでオン/オフを切り替えるぞ」
ユーザーA「負荷分散機能って障害時はどうなるの?」
メーカー「別系統に切り替わるぞ。厳密には異なるけどバックアップ切り替えと似たようなもんだぞ」
ユーザーA「はぁ・・・(わけわかんねー)」
ユーザーB「フラグAとフラグBって何が違うの?似たような機能と設定多過ぎでわけわからん」
メーカー「単純に障害時にバックアップ系統に切り替えるだけの機能はフラグA、負荷分散構成で組んでてて
負荷分散するかはフラグBで制御ですが何か?マニュアル読んでね」
ユーザーB「はぁ・・・(そのマニュアルが不親切すぎてわけわかんねーって言ってんだよ)」
ユーザーB「じゃあ、負荷分散構成で組んでるならフラグAはオフで、フラグBをオンにしていればいいって
ことですね」
ユーザーC「うちは○○で××だから障害時はそのままシステムを停止して、うちじゃなくて△△部門に
引き継ぐ運用にするとISOxxxxxで定義しているんですが!フラグAをオフにしていたにも
関わらず障害時に別系統に勝手に切り替わったんですが!これバグですよね!
補償してください!」
メーカー「キチガイかよ・・・。そんなキチガイな社内ルールとか想定してないわ。
つか、負荷分散したら障害時も切り替わるって言ってんじゃん。
アホなIT土方どもがこの辺理解してなくて問い合わせ多くてウザいしなぁ・・・。
そや!フラグAをオフにしていたら負荷分散でも障害時は切り替わらんようにしたろ!」
メーカー「バージョンアップしたで!変更内容はリリースノート読んでな」
リリースノート「負荷分散構成でのフラグAの挙動を変更しました」
ユーザーB「なんかフラグBをオンにしていたのに、障害時に別系統に切り替わらなかったんですけど」
メーカー「バージョンアップした時にその辺挙動変えたで!リリースノートくらいちゃんと読んでな」
こういうの業界あるある話w >>127
即時切り替えのon/offだとすれば違和感無いが? >>130
多分、緊急用の手動切り替えスイッチなんじゃないかな?
コレがONのままだと常にバックアップ用…
例えると常にスペアタイヤ状態になる仕組みだと思うよ
古い建物には良くあるよ
このスイッチの中身を理解している人間がいなかったのは大問題だけど、ね >>1
社会全体としてみれば、かなりの割合でスタンドアローン方式が多いので
時間がある時に、株価を見るぐらいです。
ですが・・・ガチトレーダーは、怒り狂うかもしれないので静観はしてました。
今の時代、リスクマネジメントが、かなりしっかりしすぎて、どこか一つ逝っても、大丈夫なぐらいにはしっかりしていると思うので
私が消えても大丈夫です。('ω')b 富士通のシステムは完璧だよ。
ただ電源が入ってなかっただけだ >>149
そうだとしても「なんで富士通や東証がoffで使ってたか?」てのがおかしいわ。
15秒遅れて切り替わる機能を使いたかったのか、そもそもそんな設定があること自体を知らなかったのかが記事からじゃわからん。 この共有ディスクがなにを言ってるか分からない
Hewlett-Packardのだけど、高価だけどこんな構成とかバックアップとか
全自動のあるよ、つかってなかったの?それともないの? > これを富士通が把握せず、「オフ」にして東証に納入。
この例ではどうか知らんが、こういうのってまず気づいている奴いるよね
「○○にしなくていいのか?まあ面倒くさくなりそうだからいっかw」
こういうのの大規模版がフクシマだったわけだけど >>148
鬼畜だわいろいろ。で、末端が詰め腹かよ。たまらんわ 5年も持ち堪えたのはスゲーよ
バックアップが正常なら、半永久か
これで富士通の株が上がったんじゃね? >>160
バージョンアップで挙動が変わることが分かってなければテストはせんよ。 マニュアルは大切だよな
でもな、
今のクラウドのアプリ屋なんか、マニュアルさえ作ってないぞw ジャアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアアップwwwww 謎の原因不明な事象とかじゃなくて良かったじゃん
原因不明だとタチが悪いけど、人為ミスならまだ良い。
まあ、富士通のことだから、当時のPMは左遷だろうけどな 色々な現場を見て来たけど
本当に大切な場所は原始的な仕組みの方が良いと思うんだよな
設定用の専用PCでしか不具合チェックが出来ない
そのPCの管理者権限は何も知らんジジイにあって初動が遅れるとかアホ過ぎる
兵隊が図面見てテスターで電圧測って部品交換する方がリスクも少なく復旧早い 宇宙開発ではよくあること
勉強になりましたね、JPX&富士通のしょくんw
<実績>
あやめ ……米国製アポジモータ点火後失踪、運用断念
あやめ2 …米国製アポジモータ点火後失踪、運用断念
ひまわり6 (米国製)…RW故障で一時交信途絶
みちびき …米国製原子時計故障
はやぶさ …米国製RW故障
のぞみ ……米国製逆止弁故障、火星周回軌道投入断念
あかつき …米国製逆止弁故障、金星周回軌道投入断念(国産スラスタで成功)
<予定>
みちびき2…米国製原子時計故障
みちびき3…米国製原子時計故障
みちびき4…米国製原子時計故障
はやぶさ2…米国製RW故障、地球帰還断念
MMX ……米国製逆止弁故障、火星周回軌道投入断念 >>16
やべーのは東証のシステム担当だろ
自社システムのデフォルト値変更があったら外注先に確認しないもんかね >>162
バージョンアップでなんの仕様が変更されたか確認するだろ
しかも基幹システムならクリティカルなテストはするだろ この状況で富士通に年間の委託費をいったいいくら払ってたんだ >>171
物にもよるし、テストするにしたって何をどこまでするかはなんとも言えんわ。
オレの経験だと、ユーザーが作った業務プログラムならバージョンごとにテストするだろうが、
機器のファームウェアのバージョンアップだとしないものだぞ。
よほど富士通側がこのファームウェアのバージョンアップで挙動が変わるて知ってないとたぶんスルーされる。 これ程のクリティカルな社会システムのテストなんてそこまでやんの?レベルは当たり前
結果がどうなったか 「オン」なら即時「オフ」なら15秒後に切り替えなら、普通「オン」にしとかね?
仕様変更前に「オフ」で運用してたのはなぜなんだ?
即時だとなにか問題があるんだとしたら「オン」の設定があること自体が欠陥だろ 大昔、システム関係の業界に首ツッコんでいた身からすると、
障害が発生して、新聞で原因が公表されていても、ほぼほぼ
「ウソ」だった。
同じメインフレームを使っているエンドユーザーには、業界
内情報として、資料が回ってくることがあるけれど、まったく
といっていいほどの障害原因は「人災」だった。
でもこれを組織の中の弱い立場の人に押し付けるんだよね。
事故後に、客から値下げ要求されるのを嫌だから。
泣ける。 >>175
アメリカの仕様変更通知に記載があったかどうかがポイントだろうな
あったら富士通が悪い。なかったらメーカーが悪い >>178
即時だとトランザクション処理で詰まるからじゃね 富士通やっちまったな。
重大不具合あるあるだなしかし >米国メーカの仕様変更を把握していない >>180
なら、オン(即時)の設定はあっちゃいけないよな >>178
メインフレーム世代なんだね
おれはセンターマシン世代なんですが
360&1110&1108 だいたいこの手の変更はfirmwareのリリースノートに書いてある。
富士通がOEMして翻訳する際に見落としたか、富士通の東証担当が記述を見逃したのかのどっちかやろ。 >>179
記事を読んだ感じだと米側は当然知っていて富士通が知らなかったて感じだな。
米側が知ってるてことはリリースノートとかにも記載されているはず。
リリースノートとかにも記載されてないのなら、記事ももう少し「富士通も被害者だったんだよ的」な書き方になるだろwww。 富士通は相変わらずダメな企業だな。
なにがダメなんだろう。ずっとダメなのは
なんでかね? 切替試験やってなかったのかよw
めちゃくちゃだな。 待て。バックアップテストをしてれば判明しただろ?
やってなかったのか?東証 旧仕様
自動切替えON→即時切替え
自動切替えOFF→15秒後に切替え
新仕様
自動切替えON→即時切替え
自動切替えOFF→切替えなし
デフォで自動切替えOFF(切替えなし)に変更されていたのに米メーカーのマニュアルに記載がなく瑕疵があったと。
でも、そもそもこのバックアップシステムって切替えるためにあるわけだし、デフォはONにすべきでは?
更に自動切替えをOFFにしたい状況とはそれ相応の理由があっての事だから、
その切替えるために存在するバックアップシステムにどうしても作動して欲しくない訳で
それなら自動切替えOFFはやっぱり基本「切替えなし」にすべきであって15秒後に自動で切替えというのは腑に落ちない。
もしくは間を取ってダイアログのアラートが出てacceptしたら切り換わる仕様にした方がいいのでは? >>187
Λ,,,Λ
(ミ・ω・)普通に三流企業だから >>183
イヤ、完全な専用ハードウェアでは無いんだから、それくらいの汎用性は持たせるよ。製造側の販路的にも。
別に遅延切替のオンオフがある事自体はおかしくない。
問題はここでも多くの人が書いているように、何故運用検証を実施しなかったと言う事だろうけど、
まあ、たぶん機器更新程度では必要な予算が下りなかったんだろうなあ……
担当者は絶対にさせてくれと言ったと思うけど。
こんなのノーテストで現地納品して本稼働とか、胃が痛くてて死ねるだろうし。 itmediaの記事見てきたけど、
仕様が変わった2代目(2015年)に、メーカーの初期設定が、
それまでの「OFF」から「ON」に変わってるね。ということは、
メーカーは、「仕様が変わる前も後も」
自動バックアップが動作するように初期設定しているんだよなあ。
まーしらんkど >>191
>>それなら自動切替えOFFはやっぱり基本「切替えなし」にすべきであって15秒後に自動で切替えというのは腑に落ちない。
「15秒後に自動で切替え」てのがバグじゃないの。
仕様のバグだから、米メーカーは「仕様です」ていうだろうけど。 自動バックアップが動作することは、
メーカーに対する「要求事項」ではなかったのかなー。
まーしらんkど。 にしてもテストとかやらんのかねコイツらは
もちろん富士通もアホだが
そんなことはわかってるだろ https://www.itmedia.co.jp/news/articles/2010/20/news141.html
障害の原因について富士通は「マニュアルの記載と
実際の仕様の齟齬(そご)があった」と説明。
マニュアルには「メモリ故障などが発生した場合は、
必ず自動切替が行われる」との記載があったが、
実際は自動で切り替わらない仕様となっていたという。
OEM先の米国企業が製品の仕様を変更した際、富士通が
マニュアルの記載が変更されていないことに気付かず、
仕様の変更も検知できなかったとしている。
富士通は「当社の試験・確認が不十分だった」と陳謝した。 異動異動でシステムの全体像理解できてる奴が居ないんだろう。
マニュアルが原因って言ってるけど、もっと構造的な問題だと思うね。
事務方がスキルも経験も重視しないから、現場でアホみたいなミスが起こる。 富士通が関わってるシステム全てがミスってるのかもなぁ 自動切り替えOFFで15秒後に動作っていう
意味不明な仕様にしたから誰も管理できなくなったのでは。 2020年10月20日 18時39分 公開の記事みたけど、
明確に言ってるんだね。 日立製作所でももう無いが小説かくと
端末名称を変えて試験する状態で数日稼働させてたら
休日が過ぎ東証が開いたときに、事故になったと報道が入った
あくまで試験稼働なんでバックアップもしていなかった
とかだが アメリカの原発買って、壊れて東芝が怒られてるのと一緒? ハード故障で切り替えのテストとか超めんどうそうだし、バックアップ系のテストは
大抵力(金)尽きて省略気味になるんだよなぁ。
金融系とかは金あるししっかりやってるもんだと思ってたが。 ここの会社って上の人は何も把握してないと思う
動作しなくて苦情を入れたら、上ではテストは終了してるとドヤっていたけど、
担当者に密かに聞くとリンクしただけだと白状した
まあ、担当が2人心不全で亡くなっていると聞いて、強く文句言えなかったらしいけど >>209
事故っても取り引きデータはなんも無事
あくまで表示部分が壊れてた
ようするにケチってただけなんでは >>210
そういうことをやった時に限って製品バグで酷いことになったりするんだよなー
テストを普通にやってさえいれば気付くレベルのバグが出てくるもんだ >>5
TGさん、そんなん書くと怒られますよぉー😊 政府の規制緩和政策で
これとは別の防災関係も
点検テストの省略が、法改正で
どんどん可能になってる。
試験運転テストしたのと同じレベルで
内部の点検を厳密に実施すれば
それに換える事が出来るとか。
そんなのばっか。
なんかもうメチャクチャだよ、最近。 なんでオンにしとかなかったのかね
15秒待ちたかったの?w >>216
俺が、イスラム教徒の馬鹿からの攻撃
警察署からに見せてるが、ほか坊主もいて
それに応戦してて無茶苦茶になってる
イギリス人じゃないのになあ、まったくな
家にも帰れないエリザベス女王でもないっての 納品時に動作チェックするだろ。
年次点検で切替テストするだろ。
えっ?
やってなかったのかよw ICTでみかん畑うろうろしてる場合ちゃうぞ富士通! 最近ベンダーの奴らは実機を使ったフェイルオーバーテストやりたがらないよな。
受け入れ側のシステム担当もベンダーの言いなりが多い。 >>220
また誰のレイプだ、大塩佳織の件か
ミかん
未完成人、ミカン星人の侵略 今時は電力屋さんとサーバー屋さんの分業化が凄いからな〜
おいちゃんは昔電力屋さんだったけど
サーバー屋さんはかっこいいな〜って思いつつコイツバカじゃね?
って思う事も多かったし向こうもそーゆー目で見てたと思う
いい機会だから融合出来ないのかな? 機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。
これを富士通が把握せず、「オフ」にして東証に納入。
マニュアルにも反映させなかったため、東証は気付かないままシステムを運用していたという。 >>223
明電舎?
iMac使ってるけど良い電源ないし
どうせアメリカのだし、なんとかならんかなあとは思うけど これにつきるな・・・
富士通は「当社の試験・確認が不十分だった」と陳謝した。 ベンダーの単体テストケース漏れを
情シスの担当者が検収時にちゃんとチェックしてない
この分じゃ、他にも仕様変更見落としてるな システムテストでテスト項目を合意するが
その内容が行われていないなら、訴訟対象になるが
合意された内容になければ。
メモリも壊れたんだし、フェールオーバーもされなかったんだから
メーカーとしては、ごめんなさい。
だわな。 >>169
作れないから買わざるを得なかったんやろ?w 日本のSIerなんてどこも一緒
たまたま今回富士通だっただけで、他でもじゅうぶん起こり得る
いや、気づかないだけで起こってる 普通は稼働前にfailoverのテストするだろ
やらんかった富士通が悪い >>19
ホットスタンバイくらいはやるけど、DISK装置は二重化するし、ユーザーでテストには対象にはしない。FEPのコントロールCPUを壊すテストは無理なのと一緒。 しかし事後的に改善命令出すだけとか簡単なお仕事だな >>1
>東証は、証券会社や投資家などをメンバーとする「再発防止策検討協議会」を設置し、売買停止や取引再開に向けた基準の明確化などの議論を今月中にも始める。
ここまではっきりと原因がわかったにも関わらず、「再発防止策検討協議会」まで設置して、やろうとしている事が事後対応方法の明確化って馬鹿じゃねえの?
優先して防止するべき再発は「グダグダな事後対応」よりも「障害発生」そのものだろ?
回帰テストより障害発生後の謝罪の方が安いっていう金儲け優先主義がよくわかるわ バックアップ復旧テストって、福一原発の津波からの復旧でもやらかしてたよな。
なかなか起きないから整備は一応やるが使えなくても気づかない。 >>187
公務員の天下りがたくさんいるからやろ
誰も現業に興味を持てなくなる >>225
メイデンさんにもお世話になりました
下請け業者の雇われ雑魚っすよw
現場でメイデン社員さん見た記憶無いな… 仕様がどうでもいいけど、切り替えテストやればわかるはず。
切り替えテストもやってないとは、おどろきました。さすが富士通。 機能が付いてるのにデフォルトでオフで納入されるのなんで? まあこういうのはたまにある。昔IBM製のでファームウェアのバグで切り替らないとかあったわ。 そもそも客に売る前に富士通内で製品の試験はやらんのか? 問題の原因を完全に特定出来たのは偉いね
これだけは誉めるわ 導入の初っ端ならしっかりテストするだろうが
途中からの変更だと、
このテストはやらないかもな
多分、こんな機能を把握もしてなかっただろう IT あるあるだな
アメリカ製の仕様がいつの間にか変わってるってやつ
明らかなテスト不足だな
バージョンアップ時には切り替えテストしておかないと まあ別に珍しくもないだろ、昔、マイナーOSだけど、Oracleのインストールマニュアルが間違ってるのみつけた事あるぞ。
バックアップとか試すのも面倒な上に、スケジュールはびっちりだ。 根本原因は気付かなかったことじゃない
「危機入れ替えならテストいらないよね」という上層部の判断だ。
上層部ももちろん気付けるわけもないけどな。 インフラのように24時間稼働し続けてるシステムじゃないんだから、いくらでもメンテナンスや動作確認できるのに まああるあるだよな。マニュアル通りに作っていても動かなくてメーカーに問い合わせると間違いが発覚って日常的にあるし。
テスト甘かったね ぶっちゃけnetappのストレージ使いにくい。
大人しく自社のETERNUSいれておけば良かったのに もう東証のシステムをやることがリスクしかない。
俺がプロマネなら関わらないな。 >>2
ああいう大規模で一点モノはどうなんだろうね
寿命は >259
dedupeがアホな富士通自社製がゴミなのが問題で >>179
マニュアルには何も記載されていなかったので、機能変更なしとしてテストしなかった
だが、実際には機能変更はあったというのが顛末 詳しい発表
https://japanese.engadget.com/arrowhead-jpx-fujitsu-235842323.html
当該装置はETERNUS NR1000(OEM製品)
メモリ故障で切り変わるかの試験は
実際に稼働中の機器からメモリを抜くなりしないと試験出来ないので普通はしない
(その行為で機器を壊してしまう可能性があるため)
ファームアップで設定の仕様が変わったことを把握できなかったのが唯一の原因 試験をマニュアルの差分基準で決めたなら
今回の件はすり抜けるだろうなぁ >>264
OEMとは言え自社ブランド製品だと
「当然、製品の仕様変更は押さえてるよね?」と言われてしまいそうだな… アメリカってこういうことするよね
一言仕様変更入ってますよと言うだけで回避できた 何のためのバックアップなのかな
非常時に切り替わるから意味があるんだろ
テストしてないだろ!
市場関係者は黙ってないだろうな >>237
いいや東証の方はそれでいい。
システムなんてどこがいつ壊れるか分からないし、テロとか災害などの防止不可能なトラブルもある。
東証の役目はそういうときでも速やかに(代替システムとか使って)業務を復旧させる枠組みを作っておくこと。
今回の場合、午後一に復旧できず翌日からになっちゃったのは東証のそのあたりの手落ちが大きい。 これは説明書読まずに右から左へ流した富士通の100%過失ですやん これどうなっちゃうの、5年前の証券データで継続になっちゃうの?
マーベルで指パッチンで消えた人が消えてない人と一緒に暮らすようなもんだな 試験自体が機器を故障させるような試験は、しないのが普通
CPU、メモリ、電源等、取外しや抜線以外に故障状態を作れないが
実施することで本当に故障してしまう。
ソフト的に環境を作ったとして、それでは実際に試験した事にならないというジレンマ テストするのが当たり前って。。。
ほんとか?
キャリグレードを求められる機器ならまだしも
ハードの二重故障を想定したテストを「自主的」に
行ってる金融システム請け負ってるメーカーってどこよ。
実名で会社名あげて欲しいわ。 富士通は5年間気付きもしないの?
メンテしてたんじゃないの?
バカなの? ある日ある時 末端の若手が
「あれ?このスイッチオフでいいのかな? ま、いっか
いじったら俺の責任になるかもしれないし、放っておこう」 >>274
ソフト的に環境を作って試験していれば今回のは見つかっただろうなぁ F:
MTBF5年ですよ
凄い性能じゃないですか(ピキ やっぱりそうか
掃除のおばちゃんが
コンセントぬいたとかとかみたいだ >>278
ソフトでエラーのエミュレーションしても、気休め
完全なハードエラー再現はできない >>281
そんな高度なことじゃなくて
ココイカれたらサブに切り替わるはずだよね。やってみよう。ソレ!!
あれ、切り替わらない…
程度のことだと思うんだけどね ソフトで簡単な例外を発生させて、これやると確実にサブ切り替わるはず
あれ、切り替わらない… マジカヨ
という話じゃないのか
ってこと 普通に切替動作試験すれば見つかっただろ。バックアップの切替試験を机上だけでやってたという話にしか見えないけど。仕様変更がある無いに関わらず実際の動作確認は必須だろ。 非常停止のテストとか訓練をやらないからこうなる。
富士通らしいわ。 >>1
富士通って本当にテストしないよね
その割にコストだけは高いし(´・ω・`) これ米企業に訴訟起こしてやったらええやん
おもろそー 美味しくなってリニューアルの被害者か
仕様変えてコストダウンするならちゃんと表示しろよ 読んだけど・・・これでアメリカのせいにするのは苦しいだろうな 最初から設定をOFFにしていた・・・ありえない!
仕様変更を把握していなかった・・・ありえない! 切り替え関係の設定が2つあって
1.通信断などトラブル ON
2.メモリ障害とかの内部エラー系トラブル OFF
って聞いたけど >>264、>>274、まったくその通り
ハードウェアの知見がないとそれが理解できないんだよね
メモリ故障時の切替試験なんてメモリを故障させないと試験できないので
納入案件ごとにはやらない
(メモリモジュールは基板上に挿入されていてホットスワップではないので
通電中に引き抜くような破壊試験になってしまう)
普通はメーカーが最初に製品の社内評価として破壊試験を行う
今回の富士通のリリース見る限りでは、そもそもONTAPの
バージョンアップでメモリ故障時のバックアップ動作の仕様が
変更されていることを知らなかったと言っているので当然試験しない 富士通自体がバグだらけの企業でことだろ。
本来すべき、バージョンアップや、機器取り換えに
際して、当たり前に行う、テストを省いていたって
ことでしょ。
大体、文系のバカが上層部で勝手に「大丈夫じゃね?」
とやり始めると、まともなエンジニアがうまく機能しな
くなるんじゃないのかね。 調達した製品の仕様変更なんていくらでもある話
テストしなかった東証とインテグレーターの責任やろ >>294
ふつー俺がしてた時代とか、IBMもマイクロソフトも
認証のできてる組み合わせしか機材構成許可しないんだけどな
なんか俺を巻き込んで犯しなKOとばっか言ってる 重大事故につながるアイテムなのにテスト項目から外れてたのがまずい
東証丸1日止めた訳だし
これは責任取らされて当然 >>294
ぶんけい社長は先代の田中
あいつは無能だった >>246
オンでもオフでも切り替わるまでの時間が違うだけでどちらも切り替わるから。
ファーム改版でその仕様が変わっていたけど、製品マニュアルは変更されてなくて気付かなかった。 これ、富士通版NetAppだけなのか、NetApp全般なのか、後者ならIT業界総点検だなw 「15秒後に自動で切替え」は、バックアップ用のシステム/HDDの電源が
立ち上がる時間かな?運用者とすれば、バックアップを長期間電源ON
で運用するより、休ませて運用した方がいいと判断して15秒遅延でも
いいと OFF 設定にしたのではないかと推測しますね。 どうせ異常な短納期で作らせたとか、そんなんでしょ
東証はエンジニアリング企業じゃないので、システム開発の常識は無いわけだし
東証と富士通で話が噛み合わないまま導入が進んだのだろうな オフである場合には15秒後に切り替わるのが仕様なら当然テストすべきだろ
テスト仕様書の漏れ ハードウェア故障の擬似的信号送って、切り替わる事の擬似的テスト位出来ないのかよ
それが出来ないなら、個体不良なんてどうやって排除できるんだ?
やらないのが普通ではなくて、やらなくていい理由のレベル低いから今回の様な事が起きる もうスレ的に答えは出ているな
富士通のテスト漏れが原因 単体テスト→システムテスト→運用テスト
の順にテストを行うけど、運用テストまでやる時間が無くなったんだろうな
下手すりゃシステムテストも碌にやってないのかも >>293
> 普通はメーカーが最初に製品の社内評価として破壊試験を行う
個々のプロジェクトで障害テストはできない内容だとしても
富士通が自社ブランドつけてOEM販売している製品なんだから
富士通のストレージ製品部門で社内評価していないとおかしいよ 大元の責任は他国に持っていく方向にしたかw
その機器開発元からクレームこないといいな >>310、うん、社内評価してないとおかしい
なので富士通は責任を認めて担務役員を処分すると発表した >>312
どうみても富士通が100パーセント悪い案件なのになw 避難訓練みたいに定期的にテストして
手順確認とかしないのか? >>312
いやいや、これで責任回避は無理でしょ(笑) アメリカだったら富士通潰れてたな
日本の温情社会に救われたな 不治痛のSEはたるんどるなあ
SEはSEXのことばかり考えうっかり見落としたのか? 東電だって、福島原発は全電源喪失のとき、手動でベントするのに必要な機材とマニュアルがなく、
東京から取り寄せるまで、すぐにはできなかった。 むかし固定電話がアナログ交換機だった頃、予備交換機の制御が出来ていなくて通信出来なくなった事件があったような・・・。東京23区内で >>1
> 、機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。これを富士通が把握せず、「オフ」にして東証に納入。マニュアルにも反映させなかった
富士通ヤベーな >>315
富士通のミスはあるが、定期的に切り替え試験を行わなかった東証もポンコツすぎる > 機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。
なんだw グローバリストによる経済テロかw
よっぽど都合の悪い取引があったんだなw
911感覚で自分勝手に好き放題やってくれるぜw 【別の理由アリwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww】
【あちこちの国で 同様の障害が続いている!!!!!!!!!!!!!!!!!!!!!!!!!!!】 いままでoffだったからoffのまま運用しちゃったってのはわかるんだが
でも稼働前にテストするよね?しないの? >>313
この中のコメントで、筋が通ってるやりとりに思えた
OEMでPCを売ってるメーカーって多いと思うけど
OSのバグで、CPU100%なったり、メモリーリークする場合も
OEMメーカー何故出荷時に試験しない!
ってなるのかな。 動作試験できやすいように、
設計して製造するのが
富士通の仕事じゃないの?
外資のOEMしかないもんな。 レベルの低い単純なプログラムミスと
動作試験サボってたのでは?っていう
2点を指摘したけど、
ほぼ当たってたな。
富士通だもんなw >>324
製造時に変更されてて、マニュアルに反映されてないって
設計して実働ポンってこと?さらっと恐ろしいこと書いてるんだが >>325
納品先は、動作テスト拒否するのが割と普通かと。
その間使えないとか、新しい不具合発生を
恐れて嫌がるんだよ。
それを出来るように設計するのが
腕の見せ所のはずなんだけどなあ。
設計なんて富士通はやらなくなって
すでに長い年月が経過しているだろうし。
試験しなくても大丈夫ですって判子押すだけの
安易な仕事してるんだろう。 >>18
これは東証側の確認ミスだな。
まあ本来は富士通がテストしてないといけないけど。 普通装置新しくしたら切替テストするやろ…
さすが不治痛
でもあれか、切替テストできる環境がありませんってオチかな
もしそうならテスト環境作ってない東証も悪いな ストレージ機器の仕様変更ってのはハードウェアを新型機に入れ換えたのか、ファームウェアのアップデートだけしたのか判然としないなあ。
多分後者だとして、ファームウェアのアップデート後にどこまで動作確認するか。
リリースノートをちゃんと読んで変更点を試験するなんて大手SIはやらんだろうな。
ハードウェアアップデート時の試験内容の規定とか前例とかがあって、そのとおりに一通りの動作確認して終わりだろ。
気が利く担当者がリリースノートの記述に気付いて進言しても通らない。
規定にない対応は嫌われるから。 >>329
> OSのバグで、CPU100%なったり、メモリーリークする場合も
それ、ほぼ間違いなくアプリ側のバグか、デバイスドライバのバグだと思うな。 たった1ビットで世界を止められるってすげーな
悪い奴が中に入り込んだら終わる世界(´・ω・`) >>294
そんくらいの故障試験、メモリバスのどっかにテストクリップ繋いで、数kΩの抵抗
を直列に入れたジャンパー線の他端を、VddかVss(GND)に一瞬だけ短絡させれば
メモリエラーを発生させられる。
平成ゆとりエンジニアの知見のなさ。 これが、今の日本のものづくり。 マニュアル読んでませんでした
さすが派遣親方さんの技術力はすごいっすねー まさに中抜き丸投げ日本の成れの果てだわ(´・ω・`) >>343
マニュアルに書いてなかったという話なんだがw >>338
> リリースノートをちゃんと読んで変更点を試験するなんて大手SIはやらんだろうな。
腐ってるな >「オフ」でも15秒後に予備に切り替わる仕組み
「それ「オフ」じゃなくなくね?」
って米メーカーは思って仕様変えちやったのか >故障した機器のバックアップへの切り替えが作動しない「オフ」の設定
時限作動テロ ドル箱のユーザーには、社内でも出来る奴が投入されるはずだが、もう社内もポンコツしかいなくなったんだろうな
こんなミスありえん こんな子供だましの説明で納得したんかなぁ。こんな原因のわけがない。 >>347
15秒でも止まればメインに異常が起きたとわかるが、自動切り替えだとメイン異常がすぐにわからないからかも。
バックアップがない状態だと、万が一を考えて色々対応することがあるのだろう >>222
お前は何を言っているんだw
富士通のCM知らんのかW 東証クラスでこの対応。さすが富士通
凄すぎて震えるわ これは、回避不可能。
従来の仕様を変更する必要がないのに、
通知せず勝手に変更したのは悪質だな。
製造元は、コストダウンのために機能削減しました。ってとこだろうか。 通常システムの試験するよなぁ なんで動作確認してないんだろ バカなんだろうな これだけの規模を支えるシステムなんだから
テストなんて毎年やらなないと
東証自身がやってないのバレバレやん テストテストと唱えてる人がいるが、このテストは
「納品された自動車のエアバッグが実際に作動するか衝突試験しろ」
と言ってるのと同じ 普通は、稼働前に
テストで稼働停止、バックアップに切り替え、バックアップからメインに復旧
この切り替えテストを何度もやるだろう? と、思うが >2015年9月のシステムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだった
オフの意味あるのか?
用途を考えれば、予備に切り替えないという選択はないだろう
無意味な機能つけるから事故が起きる >>264、>>274で書いたんだが、
ソフトウエア部分の試験と違ってハード故障の試験はしないのが普通。
監視ソフトでのフェールオーバーなどは当然試験するが
ハード故障だと今回の場合の試験項目は
「電源が入った状態でメモリを引き抜いて、正常に待機系に切り替わる事」となる
これは実施することで正常な機器が故障してしまうため、「実際の試験は未実施」
として納品し、顧客もそれで受け入れる。 変更前 ON=即時切替する OFF=15秒後に切替える
変更後 ON=即時切替する OFF=切替えない >>359
海外メーカーだと仕様変更はリリースノートに書いておけば十分と思ってそうだな。
一方、日本のお偉いさんは仕様変更なんてあったら納品時にでかでかと書いて知らせるべきだと思ってる。
というわけで担当者がリリースノートで重大な変更点を見つけてもお偉いさんが報告を受け入れてくれない…
ってなことがありそうだ。 試験できないとか、
子供騙しにも程があるだろ。
どんだけ落ちぶれてるんだよ。 共有ディスク製造元の言い分を知りたいわ
「富士通の担当者と幹部社員にタイトルに重要事項と記載、詳細はPDFに書いて添付したメール
を5年前に送信済みで、富士通からも返信のメール受け取った」とかあるかも そもそも会見で、稼働テストでバックアップの切り替えはやってのか聞いてないのか? マニュアルが間違ってるのが原因なのにテストもクソもない
ソフト的なスイッチならひと目で、わかりそうなものだろうから
たぶんディップスイッチで設定みたいなタイプだったんじゃないの? テストしないのが当たり前、みたいなことを言って東証を擁護してる人もいるけどさ、
はっきり言って日本のSIerなんて全然技術力無いぞ
信じるヤツも同罪です >>371 >>373
YOUはNR1000の実機を見た事ないでしょう。だからそんな事が言えるですよ。
>>375
クラスタが完全に死んだ状態(クラスタ間のケーブルを抜いたり電源を落としたり)での
切り替えテストはやっていたようですよ。
今回のは、パニックが発生した際に切り替わらない設定になっていたという事です。
https://www.fujitsu.com/jp/products/computing/storage/notice/20201019.html
間違っていた設定はこれのようです。
https://library.netapp.com/ecmdocs/ECMP1368831/html/GUID-607E0978-44B6-4AE3-B2DE-1C97B93B08C7.html
options cf.takeover.on_panic {on|off}
>>376
ディプスイッチの設定ではなくファームの設定ですね。
ファームの中身はONTAPというUnixライクのOSです。(Linuxではないです。)
一般的な話として、メモリ故障(マルチビットエラー)が発生すると、OSが稼働し続ける
事ができなくなるのでパニックリブートが発生します。その後、再起動時のPOST診断で
故障したメモリを切り離して起動します。
もしもメモリ故障(マルチビットエラー)を再現させるとしたらBIOSレベルで割り込みを
上げるなどの仕掛けを作る必要がありますが、そのような機能が備わった機器を
私は見た事がないです。
活電交換未対応のメモリを動作中に引っこ抜くなんてありえないです。
それで故障したら有償交換です。 >>378
物理破壊が起きた時のテストを現場でやるキチガイSIerってどこ?w >>379
え?ファームでの設定なら
BackUp OFF
みたいな設定じゃないの?
コマンドにしても、さすがに違和感をおぼえるはずだがw >>379
それだと、何が悪かったのか?
運、、、でしょうか? か w
つうか入れ換え前の設定を、どこで誰が変更する判断を下したのか
※システムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだったが、
機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。
これを富士通が把握せず、「オフ」にして東証に納入。
マニュアルにも反映させなかったため、東証は気付かないままシステムを運用していたという。 >>379
メモリ引っこ抜きテストは無理だとしてもソフト的にパニック
発生させて切替できるかのテストはできるし、それをやってたら
気付けてたんじゃねーの? 異常の再現が難しいにせよ、必ず実施すべきテストだよね。
何のために、高い費用払って共有メモリの2重化したんだよ。
片方に壊れたメモリ挿して、パワーONしたらどうなの。 非常時にバックアップに切り替わらなかった時点でシステムは完全に破綻している
切り替えないんだったらバックアップ機体が存在する必要もない
5年間もサーバールームに置物が置いてあったって話でいいのだろうか >>382
設定の「意味」が変更されているのを把握できていなかった富士通が悪い、と富士通が公式に発表済み
1)ETERNUSの中身はアメリカ企業からのOEM供給
2)アメリカ企業が設定の「意味を変更」
3)富士通は2)の内容を把握せず
4)結果、構築時とは意味が違ったまま稼働してしまって今回の不具合
>>383
BIOSレベルの故障試験を開発現場レベルで検証はしないのが普通(世界共通)
>>385
最初から壊れてる状態では試験にならない(正常→異常の状態変化が必要)
>>386
今回の装置は4Uサイズの筺体内部にサーバが2台入ってる構造
見た目は1台のデカイサーバ >>381
この装置の場合、optionsコマンドで設定します。
https://library.netapp.com/ecmdocs/ECMP1659139/html/GUID-172394C5-6FF0-48C3-A674-F9305A6EE811.html
optionsコマンドでcf.takeover.on_panicの環境変数を変更するようなイメージです。
>>382
「※」に書いてあるように仕様が変更されているのに、それを知らずに変更前の設定(オフ状態)で
富士通が出荷し、マニュアルにも「オフ」でも15秒後に切り替わる書いてあったので東証側も気が
付かなかったという事だと思います。
だから、他のユーザーでも同じ設定(オフ)になっているのではないかという事で他のユーザーも
設定が間違えていないか確認しているようです。
この装置、オートサポートメールと言う機能があり故障時や、週単位でweeklyログが富士通に
送信されているので、それを見れば、設定を確認できるのいではないかと思います。
>>383
たしかにそうですね。数年前の事なのでうる覚えですが、どこかのユーザーで
同様のトラブルがあり、ユーザーから「パニックを発生させても切り替わらなかった
が、メモリ故障が発生した際に本当にテイクオーバーが実行されるのか?」と聞かれ、
サポートに相談したところ、「15秒後に切り替わるから大丈夫」と言われて、その内容
をそのままユーザーに報告したような気がします。うる覚えなので、この事は忘れてください。
完全に富士通側のミスだと思います。 >>383
>>384
ソフトで疑似テストやっても意味がないと結論が前出です
破壊テストしか意味がない。
それが考慮できていなかったということは、あなたたちでは防げなかったトラブルなのかもですね。 >>391
え?顧客が物理破壊テストやるの?
SIerがやるより、ありえない話なんだけど
何でドヤ顔なの?w
富士通の技術力語る前に、お前の常識力をどうにかしろw "You should not turn this option off unless you are instructed by technical support to do so."
明確に言ってるじゃん感
まーしらんkど というか、これがいつ時点の資料かわからないしなあ() >>372
量産品と一品物のシステム製品の違い
型式認証も知らないレベルなら黙ってた方がいいぞ >>392
> ソフトで疑似テストやっても意味がないと結論が前出です
意味がないと言ってる奴が馬鹿なだけ
完全にテストはできないからやらないと言うならほとんどのテストはやっても無駄だぞw じゃ「テスト時には切り替えがうまくいってた」話はウソだったのかよ?
しかも1週間前くらいのこの間の東証発表は「システムじゃなくて再立ち上げ時を想定したルールがなかったから一日止めざるを得なかった」ってのはこのバックアップ切り替わらない時の対応も抜けてたっていう話なんだな
あっちもこっちもダメじゃん
アメリカだけ抜けてたわけじゃないじゃん
関係者全員抜けてたんだよ サクッと設定変えれば良いだけの話でよかったじゃん(良く無いけど)
これどうすんだよってバグでも潜んでたら目も当てられない 東証はテストめんどくさかったんだね
富士通はマニュアル確認めんどくさかったんだね
米企業は風評被害でかわいそう > 2015年9月に導入した2代目からは「オフ」時にはバックアップが作動しない方式に変更されていた。
これは気づけないわ。
テストをしておけば良かったのにね。。。 NetAppが富士通に変更箇所を伝えていたのかが焦点になるけど
富士通は担当役員の首を差し出してまで有耶無耶のまま幕引きしたがっているように見える >>399
みんなはシステムテストの話をしてる
君だけズレてることにそろそろ気づけ 金融庁は東証にお仕置を
東証は富士通に1日取引停止させた損害の賠償請求を
この手の障害が起きても、保険で片付けられるから、いつまでたっても誰も学習しない えっこのテストって防災訓練の日に実際に家を燃やして避難するのと同じだよね? >>42
契約不適合だね
過失責任になったから、裁判でその辺を争うのだろう >>404
テスト項目として上がってても、実際には実施せずに検収される。
>>367に書いてるんだけど
テスト項目「電源が入った状態でメモリを引き抜いて、正常に待機系に切り替わる事」
テスト結果「実施することで正常な機器が故障してしまうため試験は未実施とする」
というテスト結果報告書になる
これが現実。富士通だけでなく世界中のどの現場でもこの手のテストはこういう風に扱う。
おかしいと思う人は、複数ノードで多重化されたシステムのフェールオーバーを想像して無いか? 東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について
https://pr.fujitsu.com/jp/news/2020/10/19-2.html
「ETERNUS NR1000」は他の開発・製造メーカーから供給された当社ブランドの製品(OEM製品)です。
その出荷品質の責任は当社にあります。
マニュアルの記載が変更されていなかったこと、およびその状況を製品出荷時等の試験で検出できなかったことは
当社の試験・確認が不十分であったことによるものです。
原因も責任も富士通にあると富士通自身が明言してる 多分このシステムには物理スイッチが5000ほどあって、今回はその一つが間違っていた
あと4999個のスイッチが正しいかどうかの長く苦しい戦いが始まる ウォーターフォールのクソみたいな書類まみれの開発でも結局こうなるんだろ、
しかもたんまりカネかかってそうな案件だ
やっぱり開発体制と社内政治で疲弊してる 要するに切り替えテストやってないんだよ。
事件直後にそう指摘したら
ここの連中はやってると言っていたくせに
今は、やってないのが
当たり前だと言い出したw
うそばっかり。 >>249
これが原因じゃねえんだよなぁ
改訂版マニュアルを読んで無かった奴がいるんだろ
その辺りの労務体系に大問題がある
技術者が読んで知ってたとなればなおの事大問題だ
英語マニュアルをスラスラ読める奴がいないとするとこれも大問題だ
なんにせよ、機器のスイッチのON/OFFが原因じゃないよ
数千ページある全マニュアルのうち1ページが改定されてた、あたりだからな
ドキュメントの方法にも問題がある
印刷して納入とかになるとさらに手直しの手間が掛かる
その機器の部分だけドキュメント差し換えとか出来ないんでしょきっと >>410
いや、仕様変更をチェックしてなかった凡ミスやん 問題が発生しない限り何もしない、それじゃ公務員と同じじゃないか東証は。
東証は廃止した方がいい、世界の笑いものだ。
マニュアルが間違っていることに誰一人5年間も気づかないなんてアホ揃いだな そもそもバックアップ系統への切り替えのON/OFFスイッチがついてるのが間違いだろ
どういう状況で冗長構成のストレージをOFFにする必要があるんだ
記憶装置の機種選定ミスだわこれ よく分からないけどスレ開いた人用に詳細貼っとくぞ
10月1日に株式売買システムで発生した障害について
www.jpx.co.jp/corporate/news/news-releases/0060/nlsgeu0000051l46-att/trading_system.pdf
(補足資料)NAS設定値について
www.jpx.co.jp/corporate/news/news-releases/0060/nlsgeu0000051l46-att/trading_system2.pdf
東京証券取引所様の株式売買システム「arrowhead」で発生した障害の原因と対策について
pr.fujitsu.com/jp/news/2020/10/19-2.html 海外メーカーは公表無しに仕様変えたり、絶対障害認めなかったり、よくあるからなあ。 >>408
量産品の話はもういいのか?
テストの話は>>397な
できない理由書いてもお前が頓珍漢なことは変わらんぞw >>408
それって
「未実施テスト項目の代替として、ソフト的にメモリーエラーを発生させ系が切り替わる事を確認」
とセットでないと、未実施項目を通したくないなぁ〜。 >>421
俺がトンチンカンかどうかには興味が無い
こちらは想像でも理想でもなく事実を書いている
レスバトルがしたいならどうぞ >>423
何が事実だよ、頓珍漢な妄想だろw
>>422の言うように全くテストしないなんて客が納得しないから極論したら嘘でもいいからテストはやるんだよ ハードで直接やるなら、短絡試験端子作ればいいだけだし
ソフトでやるなら、異常を検知した場合の
プログラムを入力機器で模擬的に走らせればいいだけ。
そんな難しい話じゃない。
試験をさぼってるだけ、技術力がないだけ。 昨年の11月に納入されたのに、何で5年になっているんだ?
更新前の旧機種からずーっとそうだったという事か?
https://www.nikkei.com/article/DGXMZO51778400U9A101C1NN1000/
2019/11/4 20:00
東京証券取引所は5日に株式取引のシステムを更新する。
東証が株取引システム「アローヘッド」を刷新するのは約4年ぶり。 >>424
やらない理由を顧客に説明した上で検収されている。
逆に聞くが、
・メモリ故障時の切り返えテストを実施した経験があるの?
・どうやったの? 原因不明のハードウェアトラブルのままだと膨大な検証をしないといけなくなるから、
人為的な設定ミスですぐに復旧可能という小さいトラブルに落としてきたな(笑)
怒られるけど被害は小さい 一度稼働したら実際にトラブルで停止するまでその機能を検証できないからね(笑)
南無八幡大菩薩・・・しかない 再発防止策:以後気をつけます(笑)
しか言いようがないだろ >>428
金融の仕事したことないだろ
テストできないのでテストサボりまーす♪
で検収されるなら誰も苦労せんわw
> ・どうやったの?
ケースバイケース
テスト機を用意できるなら壊れるの覚悟で抜いたこともあるし、本番機しかないような環境ならソフト的(擬似的)にエラーを発生させてやる >>433
>テストできないのでテストサボりまーす♪
やらない理由を顧客に説明した上で検収されている
って書いてるの読んで無い?検収の意味が分からなかったとか?
>テスト機を用意できるなら壊れるの覚悟で抜いたこともある
別のマシンで試してもテストしたことになるわけねーだろクソが
>本番機しかないような環境ならソフト的(擬似的)にエラーを発生させてやる
OS上で動作するアプリでなく、BIOSが検知するハードエラーの話してんだよね
BIOSって何か分かってないでしょ
君、アプリ屋だよね。アプリのテストの視点なら言ってる事全部正しいよ
インフラ扱っててその認識なら家で資格の勉強でもしててねってレベル そもそも最初から「ON」にしておけば、なんら問題なかった。 これまで「OFF」でも
切り替わる仕様だったのは、運が良かっただけでしょう。
お、ようやっと外国のせいにする方法を見つけたかwwwwwwwwwwwwwwwwwwwwwwwww
これは真相を言うと
単に冗長化プロセスの一部を省略していただけ
そして、(ここ大事w)理由はないwww
単に何となく省略していた
なんか勿体ない感じがしたとか
そういうどうしようもないクルクルパーな理由
で、今更恥ずかしくて原因が言えないwwwwwww
かと言って富士通のせいにしたら反論されて蜂の巣になるwwwwwww
しょうが無いからアメリカのせいにして
「なんかアメリカが悪いんだけど、今回は許してやるよ」的にしてるwwwwwww
原因を徹底的に究明して、二度と再発させないようにすると言うセンスと
どうやったら誤魔化せるかと言うセンスとは
両立するわけがない
予言しとく
つまり、東証はまたやらかす
>>413
> 数千ページある全マニュアルのうち1ページが改定されてた、あたりだからな
この手の製品マニュアルで数千ページとか聞いたことないなぁ。
大量の設定レジスタがあるワンチップマイコンのデータシートでも、せいぜい
1000ページかそこらしかないし、全部を読む必要なんてない。 ONTAPが7モード高なんだか切り捨てたデカいバージョンアップした時に
もっと気をつけて検証するべきだったんだよな。 こんなに重要なシステムの場合、バックアップ機能が働くかどうかを
半年に1回程度の頻度でテストするのが常識だろう。
5年間も放置していたなど、杜撰極まりない。 あくまでも自分たちのミスはマニュアルへの記載漏れだと
矮小化する富士通(笑) >>434
横からゴメンなさい。
>やらない理由を顧客に説明した上で検収されている
それで顧客がリスクを受け入れているなら、リスクのレベルが東証の件と違うと思います。(周りが混乱するので)今回の東証のシステム障害に比喩として出すべきでは無いと思います。
>別のマシンで試してもテストしたことになるわけねーだろクソが
顧客に納品するシステムで行うテストと、テスト環境で行うテストの切り分けが出来ていれば、十分に可能ではないでしょうか。
ソフト屋ハード屋、あまり関係ない様な気が…。検収を通すと言う意味では実務時のノウハウ? >>66
同意見
こう言う直感で分からない元の状態でおかしい
奥が深い症候群と関係あると思う アメリカのせいにしないと自尊心が保てないんだね日本人は。 福島でも非常装置が1度もテストしていなかったんだよま
米国では毎年やっていたのに >>406
テストする方法がないバックアップ装置かよ >>428
故障するメモリを用意する
エアバッグは不可逆動作だけど
このシステムに求められているのはノンストップ >>412
そういうことだわな
何の説明にもなってない
テストしてれば気がついてたわけだから >>1
↑
「なんでテストしなかったの?」の一言で終了してしまう
わけで
これ色々言ってるけどなんの説明にもなってないw 中央管理型にしすぎなだけ。
時代なんだろうけど、こけた時の被害が尋常じゃないレベルになりすぎてる。 バックアップの意味を理解してない幼稚園児みたいな連中の集まりだったわけか これつまり色々言ってるけど
東証がテストやって無かったことが確定したってことだからなw 富士通は下請けのソフト会社に設計ミスだのと散々
言って排除したくせに、こんな適当な設計ミスをするのかw
いい加減な会社
今までくそみそやってくれて、うったえたるわ >>444
現実として、東証の現場は試験をしないで機器を置き替えています。
BIOSというかファームウェアで検知する障害対応は電気的な故障であり
実機での試験をしない理由は>>274の通り
BIOS、ファームウェアが仕様通りに動作するのかは構築運用の現場ではなく
販売元が動作を保証します(>>409の「ETERNUS NR1000」は〜の部分)
(当たり前ですが製造元の試験結果と品質を精査した上で保証します)
原因も責任も富士通にあると明言しているのは>>409の通り >>463
そんなものは理由になってない
他の国のシステムではテストやってるんだから
>>461
いや富士通じゃなく東証のミス
単にテストやって無かっただけw 納入する実機でやってないとか、ファーム変更にともなう仕様変更があったとか後付け
の言い訳で、ファーム変更前の製品バージョンで、一度でも富士通社内の検証機で評価
する際にテストしていれば、OFF設定でも15秒後に切り替わったからOKという結論では
なく、設定を見直した上で再検証して、ONで出荷すべきという結論が出ていたんじゃ
ないかな? そもそもシステム全体として自動で切り替わらないのが一番の問題じゃなくて何で監視で異常気づけなかったの?、というところじゃないの
気付ければ手動で切り替えるのが数時間でできたわけで
設定の仕様が、というのは問題の矮小化 >>468
いやテストは東証がやるもんだろ
機械納入後のことなんだから >>1
>2015年9月のシステムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだったが、
>機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。
>これを富士通が把握せず、「オフ」にして東証に納入。>マニュアルにも反映させなかったため、東証は気付かないままシステムを運用していたという。
つまり東証がテストを行なっていなかった。
>>474
テストが富士通の責任なら、
今度は東証はテストしろと要求する義務があるだろ >>1
コストカットでケチったんだろうな。
一般企業なら十分なチェックレベルかもしれんけど、東証で同様のチェックレベルを適用させちゃってることが明らかになっちゃったし、
今後、防衛省とかに納入してるのもチェックレベルが適性か疑義が生じるんじゃないか。 >>475
でもお客様は、おまえらに任せたと思うw >>474
こんなもん政治家が「秘書が勝手にやった」って言ってるのと
同じことだろ
アホなのか? >>433
>テスト機を用意できるなら壊れるの覚悟で抜いたこともあるし、本番機しかないような環境ならソフト的(擬似的)にエラーを発生させてやる
そう言えば休日の合同待機の時に、本番稼働前の装置で冗長化のテストの為とかで、
ディスクを無理やり引っこ抜いて、スペアディスク切り替わってそのままでも稼働できる事
が確認できたから、今度は引っこ抜いたディスクをまだリビルドが完了していないのに
無理やり突き刺してRAIDグループをぶっ壊したやつがいたのを思い出した。
本来なら一度抜いたハードディスクは取り外し、中身が空の新しい保守部品を挿入しないと
ダメだが、抜いたディスクをそのまま挿入したもんだから整合性がおかしくなり、RAIDグループ
自体がデグレード状態になり、「どうやったら元に戻る?」、「見に来て」とか平気で言われたよ。
当然、保守の対象外なので有償対応。休日の合同待機の時だったので、その後どうなったのか
しらんけど。
ハード保守をする立場からすると「無茶苦茶な事をするやつやな、こいつあほか?」と
思いましたよ。>>433 のようなやつが、こういう事をするんですね。
データの入ったハードディスクと冗長化された電源ユニットを抜くのとではわけが違う。
ハードディスクやメモリを壊れる覚悟で抜くとか信じられない。 >>478
あのな
東証は東証で顧客がある
その顧客にシステムが確実に動く保証をする義務がある
つまり富士通がチャンと動作テストやってるのか
確認する義務があるに決まってるだろ >>482
そういうことじゃねえ
顧客に損害与えてんだから
東証のせいに決まってるだろが
>>478
あのな
東証は東証で顧客がある
その顧客にシステムが確実に動く保証をする義務がある
つまり富士通がチャンと動作テストやってるのか
確認する義務があるに決まってるだろ バックアップになってなかったバックアップ。アホでしょ。 ・例外の検出
・例外発生時の動作
この2つが、個々のモジュールでちゃんと設計されてたとしよう
ハードの故障を示すような例外を発生させることは、大概ソフト的に可能だ
だからちゃんとそれを検出して、サブに切り替わるかどうかは確認する手段があったと考えるのが自然だろう
それをしなかっただけだ
ハードの故障そのものを完全再現することは難しいかもしれないが
例外を検出できるかどうかは単純だからチェックしておくべきだろう >>481
メモリの様子がおかしくなった場合
メモリがおかしいって信号が
プログラムを走って
切替プログラムが作動するだけだろ。
強制終了するわけじゃない。
メモリの様子がおかしいっていう疑似信号を
試験時に入れるだけじゃん。
仮にメモリを抜く試験するなら
疑似的に抜いたのと同じになる試験端子ぐらい作れよ。
メチャクチャすぎるわ。
バックアップの試験は、したことありませんし
やる必要ありませんって
どこの福島原発なんだよ。 >>434
> やらない理由を顧客に説明した上で検収されている
だからそのやらない理由が「やれませんから」じゃ納得されねーっていう話な
> 別のマシンで試してもテストしたことになるわけねーだろクソが
(型名は当然同じ、その前提で)ソフトのテストを全部現用機でやるってか?
> BIOSって何か分かってないでしょ
> 君、アプリ屋だよね。アプリのテストの視点なら言ってる事全部正しいよ
ごめんね、組込屋なのよw
まあ専門はプリンタなんだけどね
BIOS呼び出しトラップしてエラーをシミュレートするとかそんなに珍しい話じゃないよ >>493
> メモリの様子がおかしいっていう疑似信号を
> 試験時に入れるだけじゃん。
今回トラブった装置には、
メモリの様子がおかしいっていう疑似信号入れる仕組み
があるの? >>495
多分無いんだろうな。
それがおかしすぎるだろ。
丸投げ外製しか出来なくなった
没落企業の末路。 >>481
RAID構成がスワップディスクに切り替わってリビルド中にHDD追加したら勝手にRAID構成に追加するってどこのメーカーのディスク装置なんだ?
そもそもディスク台数増えてるやん
RAID-5構成がRAID-6になるのかよ
お前スワップディスク持ってるRAIDディスク触ったことないだろ
話ごまかそうと必死なのはわかったけど捏造するならもっとちゃんとやれよw >>1
バックアップ機器への切り替え設定がオフなのに切り替わっちゃうのは仕様というより不具合だろ
こんなんいつ変更されてもおかしくないわ データのバックアップは完璧な(はずな)のに
リストアの実施テストを一度もやってないシステムってあるよねえ >>500
あるね
製品導入時にテストやる人員も予算もとらないずマニュアルすら用意せず、
突然トラブル発生したときにさあやれ、今やれ、完璧にこなせって圧力かけられても困るわ うちで昔使ってた汎用機のマニュアルが「オンにしてください」が「オナにしてください」になってた クラウド大丈夫な
免許証かくにんできませんとかになるかな この説明されてもピンとこない奴が東証と金融庁で権限持ってるのが問題なんだな 金融庁の黒崎クンは、権限だけじゃなくて、キンタマも握ってますけどね。 アップデートで切り替えがOFFになるようなシステム任せなのが問題 原発の緊急炉心冷却装置みたいなもんだな
「異常時に備えた完璧な安全装置があります」と言いつつ1度もテストはできてなくて、いざというときには使い物にならない >>498
切り替えないで放置するメリットってあるの?
あるならわかるけど無いならバックアップするのが当たり前。
しない結果がこれじゃん。 >>507
そんな難しい話ではないはずなんだけど
今の富士通なら十分
あり得るだろうと思ったんだよね。 やっぱり富士通の責任か
テレワークとかやってる場合じゃねーだろ。緩みすぎ >>1
なんでオンにしなかったんだろ。
頻繁に切り替わるから? 富士通製品のせいで写真消えて以来ここはテロ製品製造会社と思ってる >>516
バックアップも取らないお前がバカなだけだろ無能。 壊れてないのに切り替わることがあるからOFFにしておくってのは良くある話 >>507
あるだろうけど、そんなのはメーカーにしかわからないように作られているのだろうね
OEM先にわざわざそんなこと教えないでしょ バックアップを設計する時点でオカシイ感じするけどな
2重システム両稼働で良い様な気もする
バックアップがちゃんと動くか?って検証稼働にもリスクあるしな >>510
そやねんな
稼働してるシステム以上の安全なんて無い
冗長稼働が一番かと思うんやけどな >>440
この装置だけじゃなくてシステムを形成する全ての装置のマニュアルやらを合わせて数千ページになるはずだ
そいつらを繋ぎ合せて出来上がるシステムそのもの=アローヘッドのマニュアルだって100ページくらいはなるんじゃあないの
東証システムのマニュアルが50ページくらいしかないペラいものだとは考えられない 2015年9月のシステムの仕様変更前までは「オフ」でも15秒後に予備に切り替わる仕組みだったが、
機器を製造した米メーカーが「オフ」時にはバックアップを作動させない方式に変更。
ワロタw米のトラップか >>525
富士通がOEMで売ってる装置なんだから改訂版のマニュアル読んでないとオカシイんだよなぁ >>517
メモリで故障が起きた後の切り替えができる、できないの話をしてるんでしょ。 納期優先が、アホな障害起こす主な原因だろね。
富士通のような有名企業が、高い開発費もらって
トッップの開発要員あたりに1千万円以上の報酬出して
アホな醜態さらすのは、やっぱひたすら納期遅れが恥ずかしいという
固定観念に従ってるからよ。 >>1
結局、人為的ミスだったのか
絶対に止まってはいけないものを、5年間一度もテストしなかったっていうのも凄いな 1日5時間しか動いてない
1週5日しか動いてない
それで実証テストせず5年後に事故る
日本の技術力、こんなもんだよ
原発で気づかない奴らがどうかしてる
日本の技術力や信頼というものは
あくまで想定の中での話
自衛隊は世界最強です!と同じ論理 まあ衰退国日本の実力()よね
こりゃネトウヨも擁護するの疲れたろ 人のこと笑えん…systemdのRestart設定忘れてて一晩自社サービス止めちゃった。 >>470
故障には気は付いてるだろうし手動で切り替えはできただろう、ただ相場だから、数時間後に再開は難しいのと違うか?社会情勢はその間も変化しとるからな。 無難な言い訳考えたなぁ〜
システム障害ならえらい事なんで
さすが不治痛 >>528
メモリの故障だから切り替えできなかったって説明してたけど、それは嘘
どんな故障だろうが切り替えが動いてなかった >>540
今回の原因は、技術的なものでなく品質管理な
技術に限界があるなら、その限度で製品を作ればいいだけだが
品質管理が糞だと、何をやらしても駄目
つまり、もっとひどい >>541
メモリ故障以外だと、panicしたノードはリブートして、立ち上がってくるからではなくって?
重箱の隅を突いている感じだけど。 >>435
ほんとこれ
たかだか15分のためにOFFに設定するメリットがない 日本人はハード優先だからね
こういう装置を導入したら万能だとおもってしまう
マニュアルやテストや教育、そういったソフト面がおくれているな 不実通はハードはまあまあだけどソフトがくそ
だったと言うこと >>525
仕組みであって仕様でないことが重要
バージョンアップによって仕様外の挙動が変化するのは当たり前のこと
日本のSIerは仕様外の挙動に依存しがち ハード優先の発想からぬけられない
ソフトの裏打ちがないシステムには脆弱性
大鑑巨砲主義だったむかしをわらえないな 要するに自社OEM製品の改訂版マニュアルを読んで無いだけでしょ
アホの盆踊りでも起こってんのか富士通じゃ
自社製品と銘打ってる製品のマニュアルを読んでねーんだもん
自分らが売ってる製品について何一つ知らねえんじゃねえかこいつら >>557
マニュアル作ったのはOEM元。それが改版されてなかったから気付かなかったって話しなんだが。
まあ、仮に改版されてたとしても読まなかった可能性も高いとは思うが。 バックアップがオフなのに切り替わる仕様って、要するにバグじゃないの?
仕様書オフでも切り替わるってに書いてあったのか??? 機能しないバックアップシステムに毎年数百億払ってた東証は
損害賠償請求して良いよね >>559,560
仕様でもバグでもない仕様外動作
富士通がベンダに問い合わせ時点のバージョンでは OFFでも15秒後に切り替わる ような作りになっていたが
その後のバージョンアップで変化した
ただそれだけのこと いや。それは原因
東証の要求仕様はメモリエラーでも問題なく稼働する
でしょ バックアップ有りで売買しないとまずいからか?
バックアップに自動で切り替わっても、壊れた方をすぐ予備機に交換できる体制が取れてないのでは?
予備機に入れ替えてもバックアップなしの時間が結構あるだろな 自社OEM製品のエラッタやら改訂版マニュアルやらが全然送られてこない連絡体制、ってことなんでしょ
コミュニケーション能力が無いんじゃねえの
動作が変わったのを誰も知らない、しかも自社OEM製品、じゃあどこの誰がマニュアル管理してんだよ
連絡の不備どころじゃねえだろコレ netappが国内企業だったらめっちゃ叩かれてそう >>561
バックアップ系はなかなか運用されんから事故りやすい。
整備しても意図して動かさないと事例が作れないから、整備の一環として稼働テストしなきゃいけないけど、
なかなかやれないよね… >>569
週5日、5時間しか動かないシステムだぞ?
テストする時間なんていくらでもあるよ
24時間稼働とは訳が違う >>570
俺もそこは気になった。
まあでもバックアップ復元系統を動かすのはオシッコチビりそうになるのは確か。
今回はそこまでやらずに、片方の鯖が動かないようにしてテストデータ流して、切り替わるか試すってやればいいのかな…。 変な記事だな
米メーカーが悪いって話か?
富士通が受託してたんじゃないの?
どういうことだ?
米メーカーに外注したんならもろもろひっくるめて富士通の責任じゃないの?
ジャップはいつもこうやって逃げるんだがこんな話ゆるされるのか? >>572
富士通の責任だよ。
東証が契約でそこまで要求してたかも重要だが テストで稼働してる奴とレプリケーションのデータ間不整合が起きる状態を意図的に作らなきゃいかんと思うが
仕様を理解して熟練してないとできないよなぁ…。
こういうのって職人技なのに、鯖管理者って給与低いよなぁ…
めったに稼働しないからなんだと思うけど…。 >>566
どうでも良い情報で大洪水だったんじゃ無いの!
下らないミス防止チェック項目やらされてる内に
重要なの見逃す。
野狐禅出来な仕事してると起きるよ。 富士通、NetAppのデータマネジメントソフトを活用したストレージ「ETERNUS」4シリーズを販売 - クラウド Watch
https://cloud.watch.impress.co.jp/docs/news/1262371.html
富士通、ストレージシステム「ETERNUS」シリーズで9機種を販売 - ZDNet Japan
https://japan.zdnet.com/article/35145137/
こんだけドヤ顔で売ってんのに仕様変更知らなかったのか?
他人に売ってる3800万円のシステムもOFFの挙動が変更になったんだろ >>570
バックアップ系への切り替えテストは日頃から訓練しておかないと
必要なときに対応できないよな
今回もオペレーターは異常に気づいていながら手動切替せずに眺めてただけ
訓練してないんだから対応できないのが当然 マニュアルの誤りを無くすパーパスのもと、DXで設定をONに!!! これで完璧 これさあ、仕様が変わったのは5年前なんだけと
それ以前はどうだったんの
切替え試験はやっていたのかね
納入いらい数十年、いちども試験してないじゃないの >>537
気づかなかったんだよ、6時間くらい
午前1時くらいに障害は発生してて、午前7時に気づいた 障害がある程度は起こり得るものとして社会が成り立ってないのが
日本の強さであり弱さでもあるって感じだな
安全神話まであるのに日本以外では全然売れてない新幹線が良い例だけど
欧米は1日止まってもOKみたいな良い意味でのルーズさが社会に根付いてるから
クラウドサービスとかAWSとか生まれたんだろうなって気がする >>587
欧米に限らず、鉄道も飛行機も時間遅れやキャンセルなんか日常茶飯事だよな
昔、イタリアの鉄道で、何時も遅れるのに珍しく時間通りに来たなと思ったら、1日遅れだったわ こういうスレでお互いを罵倒し合うのではなく、このケースから得られる教訓を議論するくらいになって欲しいなあ もうさ、
不実痛といい密菱といい
かわいそうになってきた >>588
イタリアの行動様式は
熱中症をふせぐのが主目的だったりするから
ほんとうなら日本でも採用すべきなんだよね >>592
米国企業なら安心、と言いたい?
それとも中韓? 文系の学問の問題
ドキュメント管理要員がいない
なのでエラッタをキャッチすることすらも出来なかった
全装置のマニュアル取り説合計数千ページを管理するドキュメント要員がいないだろコレ
文書の扱いほど日本で軽んじられるモノはない
だからマニュアルは形式上の紙束で、一切活用されて無い
双方に無意味な納入品の域まで達してる
だから文系はアホだと言われる
で、ドキュメント管理要員の発言力を上げようとすると、色々横槍が入って計画は頓挫する
これが日本風の政治世界だからもうダメだろ
全部を一切見捨てるしかない >>589
そういうのがやりたいならTwitterでやったら?
昔から言われてるけど、ここは便所の落書きやぞ?w >>595
そのくせドキュメントの「てにをはチェック」にはやたら厳しいw 把握してないなら取引が止まっても
フクシマが爆発しても仕方がない
責任をアベスガに取らせよう! 昭和の富士通のバックアップ
ホットスタンバイ
暖かい待機系の<シリーズw パナソニックの炊飯ジャー
二台同じのを買って
壊れてもいいようにいつでも
釜の中の米を入れ替えて
炊飯スイッチいれるだけ 要は富士通って名ばかりIT企業であって、実態は
外部から製品買ってきて、まともな検査もせずに、横流しして
稼いでいる、ゴミ会社ってことだろ。
確かに昔から富士通は産廃作るのが得意だった 原発もこんなノリで運営されているんだろうな。バックアップが動きません、とか非常用電源が浸水でおしゃかを思い出す。
いずれも現場が弛みきっているのかねぇ?それとも偉い人の監視体制が悪いの?これ 5年間壊れず、メモリーとしては良く生きた。さすが。 バックアップへの切替テスト自体やったかどうか怪しいわ OFFで切り替わるとしてもわざわざOFFで運用するなよ >>26
まぁ、Fだからあるあるだよね
Fに限らずだけどFなら いま日経の記事読んだんだけど、NASは富士通のOEMですよね。つまり、
富士通ブランド、製品責任は富士通
ということは、OEMの製品担当部門の
試験部署が仕様変更を見逃した
責任を取らせたと言っていたように思うけれど、担当役員辞めさせたのでしょうか? >>28
それな
アメリカから買った機器を、何の仕事もせずに中抜きして
ホイッって東証に渡しただけ
東証の幹部は東芝からキックバック貰ってウハウハ
そして問題が起こっても誰も責任を取らない日本式
完全犯罪成立 把握漏れってこえーわ。気をつけても起きるときは起きる でもやっぱり自社OEM製品の変更把握出来ないのは大問題だろ
自社ラベル付けて売ってるワケだし
一台数百万数千万とかしてるし
連絡体制の不備か嫌がらせかもうわかんねえな
それで2.5兆円が消えるんだからスゲーよ
一日の取引が兆ってるシステムで、まさにドル箱、
カネのなる木なら管理に10億程度掛けてもいいのにそうなってない
システム管理に必要な人材が削られてんじゃねえか? >>595
ぼくちん有能なのに不遇な理系なんでちゅーwww
地方国立の半端な電電出た子会社の兵隊らしいセリフ 「JPXの清田CEO「責任を痛感」 東証障害巡り謝罪」
時田社長さんは、OEM製品担当の責任でよかったですね。SEが第一責任者でなくて。 >>606
やってねえから仕様変更にも気付かないわけで >>12
OFFだと15秒後に切り替えされる仕様ていうのも
変だろw 要は前の仕様が絶対切り替えバッグするぜ仕様だったのが
おかしいw 15秒間でユーザーになにをやらすつもりで設定したのかw >>604
わろた
偉いひとなんて飾りです。なんにもわかってないんですよ。 テストしないのもなんだが
せめてswは入れておけよ
炊飯器のswじゃないんだから >>「オフ」でも15秒後に予備に切り替わる仕組み
紛らわしい >>18
ピンポイントで踏んだんじゃなくて、色々なエラーは起きるもので本件以外はクリアしてたってことでは。ハードの故障含めてエラーが起きない前提は日本人好み ネトウヨ「でも逆に言えば、5年間バックアップ要らなかったということだよな。さすが日本の技術力!すごいぞニッポン!」 日本人はバックアップのやり方も知らないw
サーバ管理会社が契約更新ミス 「ふくいナビ」全データがクラウドから消失、復旧不能に - ITmedia NEWS
https://www.itmedia.co.jp/news/articles/2011/09/news064.html >>610
わいなら退任させて、子会社役員として任命するかな
次同様のことが起きた時わいが責任とらされるかもしれんからな ■ このスレッドは過去ログ倉庫に格納されています