0001田杉山脈 ★2021/12/29(水) 14:58:25.98ID:CAP_USER
京都大学学術情報メディアセンターは28日、日本ヒューレット・パッカードが開発したスパコン用ストレージバックアップするプログラムの不具合により、大容量ストレージ(/LARGE0)の一部が意図せず削除されたと発表した。
不具合が発生したのは、2021年12月14日〜16日の内、12月3日17時32分以降更新がなかったファイルで、消失ファイル数は約3,400万、容量は約77TBに達する。ファイル消失の原因は、バックアッププログラムの機能改修において、不用意なプログラムの修正とその適用手順に問題があったことで、本来は不要になった過去のバックアップログファイルを削除する処理が、/LARGE0ディレクトリ配下のファイル群を削除してしまう処理として誤動作した。
日本HPでは、京都大学宛の報告書で「弊社100%の責任によりLustreファイルシステムのファイル消失の重大障害を来し、多大なるご迷惑をお掛けしたことを深くお詫び申し上げます」と述べている。
現在はバックアップ処理を停止しており、プログラムの問題を改善し、確実に再発しない対策をした上で1月末までにはバックアップを再開する予定。
また、ファイル消失後にバックアップが実行されてしまった領域のファイルの復元ができない状況となったことから、将来的にはこれまでのミラーリングによるバックアップだけでなく、1世代分の増分バックアップを残す等の機能強化を検討する。
https://pc.watch.impress.co.jp/docs/news/1378005.html >>100
「再読み込み」とかデタラメな説明で言い訳していて酷いね 0243名刺は切らしておりまして2021/12/30(木) 18:32:55.73ID:0GsEefGx
これストレージ全体だと240ペタバイトあるシステムで、復元不能になったのは77TB中の28TBだそうなので0.1%でしかないw
スパコンの膨大な計算結果の一部とかじゃない？それ作るのに何日かかるか知らんけど
>>198
スレタイがおかしいのかと思ったら元々のお詫び文でそう書いてあるね。
不具合じゃなくて作業ミスなのに。 データ消えても損害額を公表してない時点でゴミデータなんだろ。
77TBって全然大した事ない
8TBのHDDが一万円で買える時代
8TBにAVでいっぱいの十台以上あるし
それが全部飛んだって家庭用の話？
>>236
不用意な改修と手順ミスってテストとか以前の考慮漏れっぽいけどな >>238
おじいちゃん、いまは、えるてぃーおーって言うんですって。 0250名刺は切らしておりまして2021/12/31(金) 12:48:36.02ID:YM9OWUYv
会社の支店が管理している鯖のデータを削除したアホが出現してからもう3年か
どうにもならない事が判明してシュレッダーにかけられる直前の伝票類から全部手で入力するしかないとなった時は他人事にしか思えなかった
日本中の支店から代わる代わるエンジニアやキーボード入力の速い人が出張していったっけ
でもあれだろ、スパコンのデータて要はデータを計算させるための一時的なものだろ？
共用のスパコンでそのストレージにいつまでもデータ残しとくものでも無いだろ？
0252名刺は切らしておりまして2021/12/31(金) 18:34:04.31ID:u3/hQsGM
大晦日に2021年最低のバカを見た気分
>>247 0253名刺は切らしておりまして2021/12/31(金) 18:44:18.57ID:oQZAUqG4
>>252
これ関連のニュースでは何故か容量自慢のアホが沸くな
しかも大半がAV保存
アホかと 0255名刺は切らしておりまして2021/12/31(金) 23:48:07.13ID:DO4by5Lv
みずぽの影に隠れたな
>>254
AVはギャグだが
8TBのHDDが一万円で買える時代に
それか10台分飛んだから何って話 0257名刺は切らしておりまして2022/01/01(土) 13:28:23.00ID:NDqKnNiJ
>>1
誰も読まないだろうけど、ポイント書いておく
・バックアップ処理中にバックアップのスクリプトを書き換えた
・バックアップ処理をバックアップ用マシンではなく、ストレージ用マシンで実行する構成になっている 0258名刺は切らしておりまして2022/01/01(土) 13:34:30.15ID:NDqKnNiJ
>>1
>・バックアップ処理をバックアップ用マシンではなく、ストレージ用マシンで実行する構成になっている
いくらか正確でない
ストレージをマウントして直接操作できるマシンで実行している、ということ
バックアップのサーバーとエージェントの構成にするのが常識 最近はみずほといい基幹要素のポカミスが多いね、天才が書いたコードはメンテできないからな。
0260名刺は切らしておりまして2022/01/01(土) 15:23:36.61ID:UthNUoKU
やっぱ外資はクソだな
アマゾンも障害起こしてばかりだし
0261名刺は切らしておりまして2022/01/01(土) 16:02:39.95ID:pIVTCYj2
>>238
>DLT
「DLTは、家庭用VTRやDATドライブなどで採用されているヘリカルスキャン方式ではなく、
固定式のヘッドを採用」
へー、ドラムじゃなく固定ヘッドなのか。磨耗に強いから信頼性も高いのかね 0262名刺は切らしておりまして2022/01/01(土) 16:40:45.03ID:vbw01/Yj
>>258
>>>1
>>・バックアップ処理をバックアップ用マシンではなく、ストレージ用マシンで実行する構成になっている
そんなこと>>1には書いてない、お前の妄想はちゃんとそう書け
>ストレージをマウントして直接操作できるマシンで実行している、ということ
スパコンなんだからメインのマシンは計算用、それ以外の雑務をやるのをストレージ用と言ってるわけで、もちろんバックアップも
ストレージ用でやるのも当たり前
>バックアップのサーバーとエージェントの構成にするのが常識
何を言ってるのか全く意味不明だったのでちょっとググったら、サーバのGUIででバックアップのやり方を細かく制御するとかいう馬
鹿丸出しのことやって悦に入ってる馬鹿がいるのかwww
ずぶの素人の発想はともかく、そんなややこしいことやったらバックアップミスが増えるだけだっての 0263名刺は切らしておりまして2022/01/01(土) 16:46:43.84ID:4qA5gTV5
>>261
DLTは昔のDECのミニコン用テープが起源
テープの癖にランダムアクセスが出来るという無茶仕様だった ビジネス板ということで、電子帳簿 ハードディスク飛んだらどうなるんだろう
0265名刺は切らしておりまして2022/01/01(土) 17:22:20.64ID:NDqKnNiJ
>>262
読んだんだね。えらい
一部だけ説明してあげよう。認識が甘くて危ないからね
>>もちろんバックアップもストレージ用でやるのも当たり前
こんなことを平気でやるから、本体のデータを平気で消すのである
今回の事象は発表(ぐぐれ)によると
本来は不要になった過去のバックアップログファイルを削除する
↓
/LARGE0 ディレクトリ配下のファイル群を削除してしまう
・バックアップマシンが、マウント出来なければ消すことも無い。エージェント(or そういうストレージ仮想化の機能)にやらせれば安全
・状況としてバックアップログが/LARGE0配下にあるのはほぼ確実(ぐぐれ)。本番ストレージにバックアップログがあるなど安易で危険で無駄遣いでしかない 0266名刺は切らしておりまして2022/01/01(土) 17:36:56.14ID:OQ8U9/Eu
年始返上でバグ修正とデータ復旧やってんだろ
まさかこれだけ騒がして休んでねーよな
0267名刺は切らしておりまして2022/01/01(土) 17:53:00.56ID:QEEC0TIc
>>266
プログラムにバグがあったという案件ではないだろ 0268名刺は切らしておりまして2022/01/01(土) 18:05:18.12ID:vbw01/Yj
>>265
>>>もちろんバックアップもストレージ用でやるのも当たり前
>こんなことを平気でやるから、本体のデータを平気で消すのである
せっかく詳しく説明してやったのに、このスパコンには計算用とストレージ用って分類しかないことすら分かってないのか
もちろんストレージ用の一部をバックアップ専用に使うのは可能だが、そんなややこしいことやるとミスが増えるだけ
>・バックアップマシンが、マウント出来なければ消すことも無い。エージェント(or そういうストレージ仮想化の機能)にやらせれば安全
素人の発想って、甘いなあ
今回の事例に類似した事故としては、エージェントの更新時にミスって、復元した昔のファイルが最新のファイルと同じパス名になった
結果最新のファイルが消えちゃうなんて事態は起きうるんだよ
仮想化なら、バックアップ用のディレクトリ作ってその下でさらに世代ごとにディレクトリ分けとくって程度のなんちゃって仮想化だけでよ
かったのに、findで古いファイル消すとかいうわけわからんことやってたから、こういう結果になっただけ >>268
まあね、OSのバグ、ファームのバグ、ミドルのバグ、運用のバグ、いろいろあるよね
御主張の構成で、仮にストレージが全損したらバックアップログも消えるから、戻すときに確認できなくなるけどね(引っ掛け問題) 0270名刺は切らしておりまして2022/01/01(土) 18:25:14.19ID:fpB8XIMh
同じものが２つ以上存在していることをバックアップという定義すら理解できてないのか京都大学は・・・
仮にバックアップしたデータが消えても元データが残ってるってのが常識なのに
0271名刺は切らしておりまして2022/01/01(土) 18:27:06.39ID:vbw01/Yj
>>269
たとえテープ使ってても、ストレージが全損したら最新もバックアップも含めて全データ消えるのに、どこがひっかけだよ >>271
あはは、御主張の構成は危険だと理解したという事だね
バックアップを本体のストレージから切り離す理由のひとつも解ったようだから
とてもよろしい
終了としてよかろう
でも、ひっかけにはかすりもしていないから頑張って 0273名刺は切らしておりまして2022/01/01(土) 18:45:58.53ID:vbw01/Yj
>>272
>あはは、御主張の構成は危険だと理解したという事だね
ねーよ
テープ使おうがエージェントとやら使おうが、ストレージは地理的に分散させないと火事とかでデータ全損するって
いう基本中の基本の話なのに、お前ほんと何もわかってないな 0274名刺は切らしておりまして2022/01/01(土) 21:52:20.07ID:avoxiBzc
システム構築をベンダー任せにしてBCP対策を怠った京大の責任でしょ。
だからHPが「100%うちの責任」って言う必要ないでしょ。
京大の情報システム担当のレベルもたかが知れてるとわかったわ。
0275名刺は切らしておりまして2022/01/02(日) 13:11:16.97ID:TNVt3MMr
>>1
ヒューレット・パッカード製の新品のパソコンに
パスワード盗み取るキーロガーが入っていたと、数年前にニュースになっていたよね
この会社は毎回やってくれるね
ま、それを採用する奴がアホだと思うけど 0276名刺は切らしておりまして2022/01/02(日) 13:55:59.20ID:hhVQ+EEy
>>274
文句があるならPCインプレス誌の記者へメールしたら？
署名も有るんだから簡単でしょ？
あんたそれも出来ないの？ 賠償金幾らだろうか
重要な研究成果が消えたのかな
自分なら個人的にもバックアップとるけどな
0279名刺は切らしておりまして2022/01/02(日) 15:17:01.38ID:XxBrHms+
そこまではレベル低くないと思う
0280名刺は切らしておりまして2022/01/02(日) 15:34:21.89ID:ThogY4zG
>>277
データ使えなくて処理止まってると思うから、
１００億円はくだらんと思います。 0281名刺は切らしておりまして2022/01/02(日) 17:52:46.82ID:ThogY4zG
>>277
データ使えなくて処理止まってると思うから、
１００億円はくだらんと思います。 0285名刺は切らしておりまして2022/01/03(月) 03:44:50.72ID:vhJJHBH9
>>283
hpは部品を輸入して日本で組み立ててるだけ
日本製と連呼すれば情弱が買うからな 0286名刺は切らしておりまして2022/01/03(月) 06:51:15.38ID:0xnjLJio
どんだけエロ動画ため込んでたんだよｗｗ
0287名刺は切らしておりまして2022/01/03(月) 07:41:17.09ID:TVnh9Jbw
77TPとかはずかしくないか
ユーチューブなら5分ぐらいしかもたんぞ
>>285
日本で組み立てたらMadeinJapanだろ
都合が悪くなった途端に「日本製」アピールから逃げるのやめろよ