【瓦記録】SMRのHDD 8台目【ﾌﾟﾗｯﾀ枚数減】
■ このスレッドは過去ログ倉庫に格納されています
!extend::none
!extend::none
プラッタ枚数を減らし、価格が安くなるかわりにがランダム書き込みが致命的に遅くなる技術
Shingled Magnetic Recording (SMR)を採用した、通称瓦記録のHDDについて語りましょう
Shingled Magnetic Recording: Boosting Capacity and Lowering Costs
https://sata-io.org/developers/sata-ecosystem/shingled-magnetic-recording-boosting-capacity-and-lowering-costs
HDDの大容量化をけん引する瓦記録技術 - 東芝
https://www.toshiba.co.jp/tech/review/2015/08/70_08pdf/a08.pdf
SMR におけるビット信頼度への隣接ビットの影響 - 日本磁気学会
https://www.magnetics.jp/kouenkai/2015/doc/program/44ALL.pdf
スマートストレージ・スタックベースHBAおよびRAIDソリューションでのSMRドライブの使用
https://storage.microsemi.com/nr/pdfs/microsemi_adaptec_smr_whitepaper_ja.pdf
前スレ
【瓦記録】SMRのHDD 7台目【ﾌﾟﾗｯﾀ枚数減】
http://egg.5ch.net/test/read.cgi/jisaku/1561881186/
VIPQ2_EXTDAT: none:verbose:1000:512:: EXT was configured 特にDM-SMRの場合はI/Oブロックサイズの影響を強く受ける
仮想化ブロックI/Oシステムとファイルシステムを明確にせずに語っても無意味 >>239
mdadmでraid5の動画倉庫で問題出てないよ
まとめて移動してビルドだかシンクロだか言うても数十ギガ程度だし、月に一度全域のスクラブかけてるし >>248
ビルドで何GB書くのかなんて、それこそおま環じゃろ
最大容量まで積めてるNASだったら、全領域一気書きの苦行だぜ？ >>250
おま環なんて知るかよ、チラ裏にでも書いとけ つか最近は数十GBのファイル移動をビルドと言うのか？ >>253
単純なビルドではない
データを書き足しつつ最後の一台の全領域を時間をかけてシンクロさせた
fsと連動させてるので比較的低負荷で可能 >>248
最終的に数十ギガしか使わないならRAIDにする意味も無いと思うけど？
なんかビルドを理解してなくないか？ >>255
RAIDのビルドの話ししてたんじゃなかったのかい？
>>256
差分コピー？何と何の？
本来はファイルシステムの層とディスクアレイの層は違う事をわかってる？ >>255
意味なんて利用者次第だろ？
変なやつだな >>257は257でパリティの解釈か何かを勘違いしてる気がする 何だろ
専門用語使って分かってる風を気取ってるけど
その実何もわかって無い的な >>260
mdadmの人です
>>261
専門用語って何？どれ？ 安価も無いのに自分の事だと思ったって事は思い当たる節が有るってことです。 結局説明できんてことじゃん
ほのめかしは詐欺師の常套手段やぞ >>265
せやなｗ横文字並べて解りにくくした上で適当言う政治家みたいなもんだｗｗｗ >>259に痛い所突かれて反論もできず個人攻撃で話題そらし >>259
パリティの話？
それはどこから始まってる？ まあ茂のSMRも俺環では使えるよ、と
反例を出されたのが悔しかったのは
分かったよ ついでだから俺環境の再掲
OS: Linux
RAID: mdadm RAID5 bitmap付き
HDD: 茂6TB x6 SMR
fs: ext4 ＞ファイルシステムの層とディスクアレイの層は違う
これが全てを物語ってるつうね >>270
誰も使えないとは言ってない
作り的にCMRよりランダム書き込みのパフォーマンス落ちるから向いてないってだけ
特に初期ビルドやリビルドにはやたら時間がかかる
コンシューマ用HDD内部でメディアキャッシュを使い512Bセクタをエミュレートするのではなく
HGSTのエンプラ用の様にサーバ側の大容量メモリキャッシュでブロック単位の操作をするならまた別 >>272
ファイルシステムとディスクアレイ
何故論理と物理が同一線上で語られてるのか
パリティとディスクアレイならRAIDの構造としてまだ理解できるが
それにしてもRAID5だとパリティも分断されてるから層と言えるような物でも無いし
誰かが言ってる通り知ってる横文字を並べてるだけ >>272
MDADMでext4だとbitmapで連携出来るんだよ
だからわざわざ書いたの
意味わかってないでしょw >>275
>>276
ビルドがいつの間にかビットマップに置き換わってんぞｗｗｗｗｗ
お前がビルドって言ってたのはそれの事か？ｗｗｗｗ
ほんとめちゃくちゃだなｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
>>255
大正解
248 名前：Socket774[sage] 投稿日：2020/09/05(土) 04:13:25.00 0
>>239
mdadmでraid5の動画倉庫で問題出てないよ
まとめて移動してビルドだかシンクロだか言うても数十ギガ程度だし、月に一度全域のスクラブかけてるし
254 名前：Socket774[sage] 投稿日：2020/09/06(日) 17:19:34.56 0
>>253
単純なビルドではない
データを書き足しつつ最後の一台の全領域を時間をかけてシンクロさせた
fsと連動させてるので比較的低負荷で可能 黙っていればまだあやふやな状態で終わって余計な恥をかかずに済んだものを自ら止めを刺すタイプ >>277
RAIDをデータ書き足しながらシンクロさせることは
当たり前にやってる話なんだが？
その際、書き換え範囲はビットマップで最小化される
ここが肝
ビルドをなにか別の作業だと思ってるの？ bitmapはRAIDを作る段階で全領域を同期させずに、書き換わったとこだけ同期させるためじゃん
それがなんで置き換えたって話になるの？
意味わかってないでしょw >>277-278は 怒涛の発狂連投
＞bitmapはRAIDを作る段階で全領域を同期させずに、書き換わったとこだけ同期させるためじゃん
まぁた、知ったような口調でまるでビットマップ無しだと毎回全領域書き換えされるような言い方を
つか最近は数十GBのファイル移動をビルドと言うのか？
以下ループ ワザと人が勘違いする書き方をして人を馬鹿にする新しいタイプの荒らしだな
まぁその前に延々スレチ続けてる時点で >>284
いや、本人はいたって真面目だから余計に質が悪い 普通ファイルの書き込みに対しビルドとは言わないし
同期もミラーリングに使う言葉でRAID5には使わないし
色々とごっちゃにしてる印象 これも
＞本来はファイルシステムの層とディスクアレイの層は違う事をわかってる？
ディスクアレイってのは物理ドライブに対して使うもの
多分レイヤーの事言ってるんだと思うけど
RAIDの話が始まってからずっと中途半端な知識で分かった風な事を言うからボロが出る >>283
ビルドの話じゃなかったのかよ？
なんで話そらすの？ >>287
層と書いてんだからレイヤと同義だよ
くだらねえwわかってねえw >>286
RAID5が同期しないと断言しちゃったよこの人
今から訂正しな 260 名前：Socket774[sage] 投稿日：2020/09/07(月) 04:28:05.43 0
俺様RAIDの人だからｗ
これにつきる >>286
ビルドで同期を省略したから追記の段階で同期してるんだよ
>>292
反例としては充分だよ
俺環を否定するなら同じ環境を準備しなきゃw >>291
誰かさんが数十GBのファイルの同期の話を
RAIDアレイの書き込み同期完了の話にすり替えてるからしょうがない 284 名前：Socket774[sage] 投稿日：2020/09/09(水) 18:42:30.94 0
ワザと人が勘違いする書き方をして人を馬鹿にする新しいタイプの荒らしだな
まぁその前に延々スレチ続けてる時点で
ほんとこれ 安けりゃ買っても良い派だが
薄いからお立ち台やガチャポンで使いにくいんだよなぁ RAID組む時参考にしたサイトで聞きかじったうろ覚えの知識で語ってるからか
mdadmやext4のRAID支援機能をRAID5の話としてごちゃにしてる節も有るから余計ややこしい まぁソフトウェアRAIDだし構築の段階からごっちゃにしてる所も有るからしょうがないが >>294
それにしたってミラーリングではなくデータとパリティの分散書き込みなRAID5じゃ同期とはあまり言わん
データとパリティの計算書き込み終了までをビルドだの同期だの言うのはﾅﾆｶﾁｶﾞｳ
それで思い出したけどデータとパリティの書きかえ全てが終わる前に停電なんかが起きるだけで不整合起きるわけで
遅延書き込みの起きる瓦での運用はリスクが増す 落雷停電対策を施しもせずRAIDなストレージの電源を停電無防備で運用するような
バカはまさかココにいないだろう。 で、明後日辺りにRAID5ではなくRAID5+1だったと言う酷い後出しが来ると >>303
いや、ここRAIDスレじゃなく貧乏人の味方SMRスレだからｗ >>302
SMRの遅延書き込みはメディアキャッシュ（MC）のデータを瓦に書き込むだけだから
その点に関してはRAIDには影響しないと思う
ただ、MC溢れたら応答が異常に遅くなって故障HDDとみなされて終わるとは思うが >>303
停電に限らず何かしらシステムに障害が起きたら要リビルドの可能性
外部のスタンドアロンアレイじゃ無い上にソフトウェアRAIDと成ると尚の事 >>271
ビルドってのはRAIDの構成をディスクアレイに書き込む工程って感じかな
主に実行するのはRAIDを始める時とHDD壊れて復旧する時
例えば RAID5 だったら HDD 1台壊れても復旧できるのがウリなわけで
復旧はまず壊れたHDDを引っこ抜いて代わりの新しいHDDを入れる事になるが
当然新しいHDDに元のHDDのデータを書き込まなければならないわけで
それは他の全てのHDDのデータを読みつつそこから
元の壊れたHDDのデータを算出して新しいHDDに書き込む事になる
つまり 6TB のHDDで構成してるなら最大で全てのHDDから一気に6TBの読み書きが発生する事になる
その際に SMR 特有の書き込み遅延が発生すると異常なHDDと見なされビルドが失敗する事があると
そういった事が実際WDのHDDで発生したとの噂がある >>302
残念ながらmd（マルチディスク）関係は全部syncという呼び名で管理されてるんだな
いや残念だなー >>295
何と何を勘違いしたのかな？
書けないような勘違いなのかな？
いや残念だなー >>308
5 Tips To Speed Up Linux Software Raid Rebuilding And Re-syncing
https://www.cyberciti.biz/tips/linux-raid-increase-resync-rebuild-speed.html
リビルドのためのリシンクなのよ >>311
お、おう
どんな小細工をしようがリビルド時にHDDフルサイズ分書き込みが必要になるのは変わらんよな
そしてそれがSMRでちゃんと動いてくれるかは未知数と >>309
IT業界って面倒だからって略しちゃって日本語だと残念な認識に成っちゃう事も多々
ミラーリングの場合は書き込まれるのは各HDD全く同じだから同期だけど
RAID5の場合使うとしたらどちらかと言えば動作的には同調の方だな データは分散だから各HDDバラバラだし
パリティに至っては後から計算して書き込んでも良いしなｗ synchronism
synchronisation
synchronous
synchronise
synchrony
synchronicity
synchroneity
全部sync WD緑のヘッド退避ですら問題に成る環境も有ったのに
RAIDに瓦なんて不安定要素を入れるのは自己責任で有って
綱渡りしつつ問題無いと言われても決して自慢には成らないのは肝に銘じとけと ふと思ったんだけど
ソフトRAIDとか全部内蔵ベイで構築してたり
ほぼマザボのSATAで構築されてたりする印象なんだけど
障害起きた時はホットスワップ対応してない場合障害出たHDDから電源引っこ抜いて
通電してる状態で交換したHDDに電源とSATAケーブルぶっ差すのか？ しかも6台も有るとうっかり別のHDD止めた時点で終了じゃね？ >299
4TB薄いぶんエアフローが横漏れ横入りして困ったりする
>312
いいえ
フルサイズは不要だと>>282にはじめから書いている
>294
まだ分かってないんだw
>282
>313
日本じゃないしIT業界でもない
FSFとその近辺、あるいはLinux界隈
英文のを出してんだからチラッとでも見ときなよ
オンラインマニュアルでもソースコードでもsync >>311
因みにそのページにはリビルドのためにリシンクするなんて事は書いて無いと思うけど
何故ならページのタイトルが
「LinuxソフトウェアRAIDの再構築と再同期をスピードアップするための5つのヒント」
だからな
そのページはリビルドとリシンクを高速化する方法を書いていて
リビルドの高速化方法としてリシンク挙げてるわけではないと思うけど >>319
じゃあRAID内の6TBフルに書き込まれたHDDが壊れたので新しい6TBのHDDに入れ替えてリビルドする場合
リビルドの際に新しいHDDには何TB書き込まれるんだ？
俺は壊れたHDDに書き込まれてた6TBがそのまま書き込まれると思ってるけど >>306
> 応答が遅くなる
なるよ
>312
未知数じゃないよ
茂のアレイずっと動かしてんだから
約2年てとこかな
自動的にcronにスケジューリングされる月イチのスクラブ(全面読み出し)でも問題は出てない
bit腐敗(CMRでもありうる)の可能性を除いては
>316
その言い分はまあ分かる
初日は2日間放置してたかな
自慢とか言い出すのはアレな子過ぎる
>>316
500GBが約1万円だから10年ちょい前かな、HGSTのファームのバグ、LBAオーバランでも外れたよ
LinuxのSATA HD汎用ドライバが、実装範囲外のLBAを読み書きしようとしたら警告返してくれる仕様を期待してるのに、日立ドライブのファームだけだんまりだったんで待ち時間エラーが出てディスクアレイから外れまくった >>320
リビルドとリシンクはイコール
その前提で読まないと意味が通らないのに何を言ってるのかな？
びっくりしたあ >>317-318
man mdadm 見なよ
ネット上にも転がってる
日本語訳はたしか脱字があったと思うけど
理解はできる >>323
？？いや俺は >>311 に「リビルドのためのリシンクなのよ」って書いてあるから
そうではないんじゃねって言ってるだけなんだけど
それに少なくともそのページの著者はリビルドとリシンクはイコールでは無いと思ってるから
わざわざ並べて書いてあるんだろ
俺も厳密な定義は知らないが >>321
320と同じ人だよね？
文章中でリビルドとリシンクはイコールだということは理解できた？
時間はそりゃかかるよ
322にも書いたけどだらだらと2日はかかってたはず
同期中も読み書きはできる、一応ね >>325
いや管理者の意識だとリビルド、管理コマンドのメッセージとしてリシンク
これは単に管理者とプログラマの視点の差でしかないよ >>327
そんな事が >>311 のページに書いてあったか？ >>328
またびっくりした
怖いよアンタw
前世紀の人工無能相手にしてる気がしてきた
管理ツールでステータスでresyncと出て、さらにnow rebuildingだもの
これをアンタはどう解釈するわけ？ バカにしようと思っていた相手が自分より賢かったので延々とごまかし続けるのって辛いよね。 >>319
つまりお前さんが勝手にsyncを全部同期と訳してるから話がややこしくなってるってこった
>>322
リビルドも2日掛かりその間CRCエラーやコマンドタイムアウトの一つでも出れば終了
リビルド中下手にアクセスなんてしたら瓦の特性上長時間反応無しなんて当たり前
つかRAID5組んどいてbit腐敗心配するとかやっぱその程度の鵜呑み知識じゃん
bit反転してHDDのCRCチェックもスルーしRAIDのパリティチェックもスルーするとか
宝くじで一億連続して当たるよりないわ
たまに海外のレポート出してくるの居るけど個人的には懐疑的で
相当数のファイルが変化してるとか中身もかなりのヶ所が変化してるとかで尚の事
時期的に容量デカいHDDに更新してシステムの最大容量超えて論理障害起こしてるか
メモコンとL3キャッシュ内蔵したCPUが連続駆動でやらかしたとかそんなとこ
もしNASやファイルサーバでの運用だとすればLANのどっかで化ける場合も有るし
>>324
そして答えづらい事はスルーか丸投げ 世の中RAWフォーマット一つとっても昔からの知識で工場でやる物を思い浮かべ家じゃ無理だろと思うのも居れば
HDDのRAW化RAW状態からの初期化を思い浮かべるのか普通に家でやるフォーマットを思い浮かべるのも居るのよね
誰かさんは自分ではわかってるから他人も分かってるだろって前提なのか略したり言葉足らずだったりが過ぎて
天然なのかわざとなのか同様のすれ違いを誘発してる >>329
リビルド イコール リシンクだとしたら何故統一しないのか疑問も持たないのか？
統一しない理由がわからないとイコールだと決め付けられないと思うけど
linux raid resync でググった最初のページだと resync は verify で rebuild は構築っぽいけど
お前の環境は知らんが 人に優しいRAIDシステムだと障害が出た物として外したHDDが間違ってた場合を考慮して
残ったHDDの整合性をチェックし場合によっては人為的ミスに対し警告をどうのこうの 瓦スレで延々RAIDの話をしといてそれぐらいもわからないのかｗじゃリビルドが必要だ罠 難しい話はわかんないんだけど、SMRってRaid5が駄目なら記憶域のパリティも使うことできない？
ディスク交換するときに弾かれることになるのかな >>339
パリティ云々ではなくSMRの高負荷かけると極端に遅くなる事がある特性が
不良HDDと判断されて弾かれる事があるんじゃないかと思ってるけど 残念ながら難しいことわからない奴がSMR買ってしまうんや…
わかる奴は最初から回避するからな ■ このスレッドは過去ログ倉庫に格納されています
