【瓦記録】SMRのHDD 9台目【ﾌﾟﾗｯﾀ枚数減】
■ このスレッドは過去ログ倉庫に格納されています
!extend:checked:vvvvv:1000:512
プラッタ枚数を減らし、価格が安くなるかわりにがランダム書き込みが致命的に遅くなる技術
Shingled Magnetic Recording (SMR)を採用した、通称瓦記録のHDDについて語りましょう
次スレ作成は >>950
Shingled Magnetic Recording: Boosting Capacity and Lowering Costs
https://sata-io.org/developers/sata-ecosystem/shingled-magnetic-recording-boosting-capacity-and-lowering-costs
HDDの大容量化をけん引する瓦記録技術 - 東芝
https://www.toshiba.co.jp/tech/review/2015/08/70_08pdf/a08.pdf
SMR におけるビット信頼度への隣接ビットの影響 - 日本磁気学会
https://www.magnetics.jp/kouenkai/2015/doc/program/44ALL.pdf
スマートストレージ・スタックベースHBAおよびRAIDソリューションでのSMRドライブの使用
https://storage.microsemi.com/nr/pdfs/microsemi_adaptec_smr_whitepaper_ja.pdf
SMR（瓦記録）のHDDは本当に遅いのか試してみた
https://ameblo.jp/iso5210/entry-12426001030.html
前スレ
【瓦記録】SMRのHDD 8台目【ﾌﾟﾗｯﾀ枚数減】
https://egg.5ch.net/test/read.cgi/jisaku/1567896896/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>312
LBAを頭から尻まで、シーケンシャルにコピーしてれば遅くならないかもだ
あとは実証あるのみ シゲSMRに貯め込んだデータの整理を行ってるが、
空き容量数十GBまで書き込んだ状態のドライブ。
GB単位のデータを数個〜数百個の単位で複数のドライブ相互で書き込みと消去。
USB接続なのでたいした速度は出ないが、
Fastcopyのベリファイ付きで完了時の転送レート表示は40〜50MB/secくらい。
HOSTのPCが組んで以来動きっぱなしなi5の3000代のWindows7機だけど。
こんな感じで気が付いたら20台以上使ってるが
極端な速度低下にはまだ遭遇してない。 mdadmの人です、
RAIDでCMR→SMRディスクに換装
備忘録：mdadm ディスク交換により再構成 2020/11/06
備忘録代わりに置いておく
TOSHIBA MD04ACA400 (FP1A) [CMR]
録画置き場として古めの2014年※製ディスクで2018年※※に組んだディスクアレイ、
6台のうち1台がSMARTで不良セクタ十数か所発生し交換、交換先は
WD WD40EZRZ-00GXCB0 (80.00A80) [たぶんSMR]
こちらは単品で使ってた2019年製
2020/11/06 23:15 開始
(-r)してmdadm止めて(-S)、電源落としてディスク外して付けて
パーティション切ってあるディスクを再投入、
パーティションテーブルはGPTなので、長いパーティション名が付けられる
なので用途と切った日が付けてある パーテションテーブルはこんな感じ
$ sudo gdisk /dev/sdm
Number Start (sector) End (sector) Size Code Name
1 2048 7814035119 3.6 TiB FD00 md46_4_14-12-28※
換装したディスクの追加
$ sudo mdadm /dev/md46 -a /dev/sdn1
$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[>....................] recovery = 0.0% (343808/3906884352) finish=2083.0min speed=31255K/sec
bitmap: 15/30 pages [60KB], 65536KB chunk
md60 : active raid5 sdd1[3] sda1[0] sde1[4] sdb1[1] sdf1[6] sdc1[2]
29301946880 blocks super 1.2 level 5, 512k chunk, algorithm 2 [6/6] [UUUUUU]
bitmap: 0/44 pages [0KB], 65536KB chunk
md60に比べmd46のチャンクサイズ、ちょっと小さかったかな……
ちなみに md60 は6TB x6、ST000DM003-2CY186 (0001) (全部SMR)
常用してるやつです 進捗その1
2020/11/06 23:36 10分経過、1%越えた
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[>....................] recovery = 1.0% (40728960/3906884352) finish=1849.5min speed=34837K/sec
bitmap: 14/30 pages [56KB], 65536KB chunk
ディスクアレイの状態
$ sudo mdadm -D /dev/md46
/dev/md46:
Version : 1.2
Creation Time : Sat Aug 25 04:05:32 2018※※
Raid Level : raid5
Array Size : 19534421760 (18629.48 GiB 20003.25 GB)
Used Dev Size : 3906884352 (3725.90 GiB 4000.65 GB)
Raid Devices : 6
Total Devices : 6
Persistence : Superblock is persistent
Intent Bitmap : Internal
Update Time : Fri Nov 6 23:44:25 2020
State : active, degraded, recovering
Active Devices : 5
Working Devices : 6
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 128K
Consistency Policy : bitmap
Rebuild Status : 1% complete
Name : ******:md46 (local to host ******)
UUID : 48a7e068:2be787f5:6250c029:5c11da89
Events : 57002
Number Major Minor RaidDevice State
0 8 161 0 active sync /dev/sdk1
1 8 145 1 active sync /dev/sdj1
2 8 129 2 active sync /dev/sdi1
7 8 209 3 spare rebuilding /dev/sdn1
4 8 193 4 active sync /dev/sdm1
6 8 177 5 active sync /dev/sdl1 進捗その2
2020/11/06 23:56 40分経過、2%越えた
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[>....................] recovery = 2.0% (80586112/3906884352) finish=1879.2min speed=33934K/sec
bitmap: 14/30 pages [56KB], 65536KB chunk
ほぼシーケンシャルだからSMRといえど、それほど時間はかからないはずだが……
まあ数字通りには終わんないのが常
以上！ >>320
mdadmの人ですって書いたのも読む余裕ないのかｗ
こんな時間に監視してるなら、役に立つ情報の一つも貼りゃいいのにな ところで、スレの24時間監視ってソレで食っていけるのかな？
賤業とは言わないが 2020/11/07 09:21
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[======>..............] recovery = 33.9% (1328283168/3906884352) finish=1099.2min speed=39096K/sec
bitmap: 7/30 pages [28KB], 65536KB chunk
なんか速度上がってるな
bitmapでスキップしたからか？ 2020/11/07 17:36
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[============>........] recovery = 64.1% (2505908792/3906884352) finish=606.5min speed=38496K/sec
bitmap: 1/30 pages [4KB], 65536KB chunk 2020/11/07 22:43
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[================>....] recovery = 82.1% (3208165076/3906884352) finish=347.7min speed=33490K/sec
bitmap: 2/30 pages [8KB], 65536KB chunk さて数字上のお時間なのでトイレついでにチェック
多分終わってないだろうなー 2020/11/08 03:50
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[===================>.] recovery = 97.1% (3796889856/3906884352) finish=68.0min speed=26910K/sec
bitmap: 2/30 pages [8KB], 65536KB chunk 終わる直前
2020/11/08 04:57
md46 : active raid5 sdn1[7] sdk1[0] sdl1[6] sdm1[4] sdi1[2] sdj1[1]
19534421760 blocks super 1.2 level 5, 128k chunk, algorithm 2 [6/5] [UUU_UU]
[===================>.] recovery = 99.9% (3906148976/3906884352) finish=0.4min speed=25738K/sec
bitmap: 2/30 pages [8KB], 65536KB chunk 総評
bitmapのおかげで実質はSMRに対し4.7TBの
シーケンシャル書き込みだったことに留意しとくべきである
複雑な上位レイヤ※は避けたほうがいいのか悪いのかは不明
$ df --si
Filesystem Size Used Avail Use% Mounted on
/dev/md46 20T 4.7T 15T 25% /media/***/md46_14-12-31
経過時間が30hだったとしてだいたい 156.6GB/h = 43.5MB/s か
糞遅ぇw そら訴えられるわ
金曜日の晩に始めてよかった
※btrfsやzfsなどは、CRCに重複排除と盛り沢山 mdの状態
$ sudo mdadm -D /dev/md46
/dev/md46:
Version : 1.2
Creation Time : Sat Aug 25 04:05:32 2018
Raid Level : raid5
Array Size : 19534421760 (18629.48 GiB 20003.25 GB)
Used Dev Size : 3906884352 (3725.90 GiB 4000.65 GB)
Raid Devices : 6
Total Devices : 6
Persistence : Superblock is persistent
Intent Bitmap : Internal
Update Time : Sun Nov 8 04:58:52 2020
State : clean
Active Devices : 6
Working Devices : 6
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 128K
Consistency Policy : bitmap
Name : ******:md46 (local to host ******)
UUID : 48a7e068:2be787f5:6250c029:5c11da89
Events : 98565
Number Major Minor RaidDevice State
0 8 161 0 active sync /dev/sdk1
1 8 145 1 active sync /dev/sdj1
2 8 129 2 active sync /dev/sdi1
7 8 209 3 active sync /dev/sdn1
4 8 193 4 active sync /dev/sdm1
6 8 177 5 active sync /dev/sdl1 >>336
訂正
頭寝てたわこりゃ
SMRへの書き込み量は 4.7TB/5
書き込み速度は 0.94TB/30h
（計算時間を考慮していない値）
それ以降も悲惨な数値
= 31GB/h = 8.7MB/s 32GBのoptaneとかをHDDのキャッシュに振っても書き込み時のバッファにならないて事であっていますでしょうかMC切れ対策と言うか NVMe SSDにoptaneが用意される時代だからなぁ 皆クイック削除無効で使ってんの？
外付けHDDタイプでもSATA接続と遜色無いベンチマークだらけなのは古いWindows10の設定のせい？ >>340
なるはず
ところで32GBって、シーゲイトのメディキャッシュサイズがそのくらいでなかったかな？
・理屈の上では
SMR側の制御が正しく、シーケンシャル書き込みは直でいってるはずという前提で
ランダム書き込みは上層の後付キャッシュ(オプテインとかフラッシュとか)と下層のSMRドライブが内蔵してるメディキャッシュが負う、はず
・現実の方策としては
理屈の前段、シーケンシャルがナンタラの保証がどのくらいのもんかはメーカーしか知らない
なので、オプテインありと無し、条件を揃えて実測してみるしかない
・小理屈
CQとか転送絡みのATAコマンド発行はデバイスドライバに必ずあるはずの動作なので、それを受けるSMRドライブのファームウェアはそのコマンドをトラップしてるはず
>>342
クイック削除をどの段階でなぜ使うのか
から、もう分からない
読み取り性能はCMRとSMRで差はないよ
書き込みはメディキャッシュ量未満なら、これも見かけ上は差がない >>343
クイック削除無効だと書き込みが5MB/sになるんだけど >>344
クイック削除有効は書き込み動作すべてをいったんキャッシュでまかなってる状態、
ライトバックモードか
それが今のWin10はデフォルトで無効ってこと？
しかしキャッシュ効かないにしても数値が悪すぎる
どこ製のディスクだか >>346
上層の記憶域に組み入れてんの？
入れてるとしてキャッシュ有効にすれば？
>>336 に書いたけど、複雑な振る舞いでメーカーも想定してないのでは >>316
今更だけどWD40EZRZはCMR
WD20EZAZとWD60EZAZがSMR >>348
ありがとう
となると瓦化対策の買い置きとしては、一応正しい選択ではあったのか
てっきり失敗してたと思ってたのに
ここにもCMRとあるな
https://wikiwiki.jp/wdc/%E3%83%97%E3%83%A9%E3%83%83%E3%82%BF%E5%AE%B9%E9%87%8F%E5%88%A5%E3%83%A2%E3%83%87%E3%83%AB%E4%B8%80%E8%A6%A7
となると30MB/s前後のmdstatはなんの数字だったんだろ
>317 0分
recovery = 0.0%
speed=31255K/sec
>318 10分
recovery = 1.0%
speed=34837K/sec
>319 40分
recovery = 2.0%
speed=33934K/sec
>327 9時間50分
recovery = 33.9%
speed=39096K/sec
>328 18時間10分
recovery = 64.1%
speed=38496K/sec
>329 23時間13分
recovery = 82.1%
speed=33490K/sec
>333 28時間20分
recovery = 97.1%
speed=26910K/sec
>335 29時間
recovery = 99.9%
speed=25738K/sec 次の交換は絶対瓦の茂4TB買ってみよう
幸い？にもmd46の別のディスクでまたも reallocated なセクタがチラホラ出てるのだ…… WDはGoldとかの10TB越え大容量モデルにはHGSTのヘリウムもってきてるけど
下位グレードとか低容量モデルのCMRはもう何年も新しくしてないんだよな
現状近年の技術使った数TB程度の低容量CMRはIronWolfくらい
SeaGate以外にしたいからそろそろ更新してほしいわ 繁瓦6TB(ST6000DM003)x3台で RAID-Z1組んだ。
そこにSAMBA共有フォルダを作りWin10のPCからGbE通してFireFileCopyで合計200GBほどのファイルを転送した。
転送終了まで95MB/s前後をキープ。 SMRでエラー吐かないなんてそのRAIDコントローラ大丈夫か? >>353
念のため追記
このスレほとんどがソフトウェアRAIDの話題ですよ >>356
ではどのレスがハードウェアRAIDなのかアンカーで示してください
とか書くと、即逃げ出す小物ｗ >>358
お前がソフトraidの話題しか書かないだけだろ基地外
だから妄想くんなんだよ
一人でRAIDで騒いでいるのはお前だけ >>359
妄想でないことはさんざん実例として示したよな
RAIDもハードディスクの利用の仕方だ
不向きと言われるSMRでも、苦しいながらも使おうとすれば使える実例だ
にも関わらず妄想だとレッテル貼って煽るお前がおかしいんだよ
煽り専門スレ24時間監視小物 もしかして、>>353へのレス>>355 でハードウェアRAIDとの対比としてソフトウェアRAIDと書いてたのも読み取れなかったのかな……
ちなみに >>353 はプロクシ越しだね
まぁ煽りだけの人※はおいといて、zfsやbtrfs、>>342 >>346 みたいなWindows記憶域での利用が知りたいわ
※
正規表現で
ﾜｯﾁｮｲ ..73\-
また自己紹介レス付けるのかな 正規表現で
ﾜｯﾁｮｲ ..73\-
これしたらなぜかAMD関連スレのコピペAAキチガイもあぼーんされてしまった
煽り専門どころか十年近く暴れてる元から会話が成り立たない二重三重にやべえやつだった、とかないよね？
>>350
CMRの予備が発掘されたので予定変更
ディスクを空けたら再同期して放置
ただのRAIDスレになりかねないが、他のCMRとの比較で速度低下が固有のものかどうかの判断材料となるので、長々と続けないで結果だけ貼る予定 JANEでいえばNGExで「SMRのHDD」、「73-」で登録すればいいよ
73-の範囲は同じ回線プロバイダーならかぶるからね 途中からほんと読むに堪えんスレだな
不毛な煽り野郎と日記帳垂れ流し野郎両方いらねーわ消えろ >>376
消えろ消えろ言うやつが本当にmdadm運用してんの？と疑ってきた風だったから仕方なくやってんだよ >>374
約30時間で終了した
前回と大差なし
特記事項もなし https://17inch.blog.ss-blog.jp/2018-08-04
SMRの発展型にTDMRというのがあるそうだけど
実製品はまだ存在しないのかな? >>379
シーゲートの説明で一部製品に使われてる記載なかったけ？ 結局SMRは書き込みの遅いHDDという認識でOKかな。 >>383
CD-R
DVD-R
BD-R
に対しての
HD-Rと思っておけば良いかと >>374
ほんとに各地にAA貼ってたｗ
こいつだったのかー 家庭内バックアップと写真、動画保管庫として、NAS運用にSMR考えているのだけど、
RAID1と、シングルx2(1本は、NAS内でのバックアップ)でどっちが安定してるかな？ >>389
毎日バックアップを取る前提ならシングル2本じゃ無い？
RAID1はバックアップにならないし（スナップショットと併用するって手は有るけど
自分は2台のZFS mirror運用で、バックアップが1台、そのバックアップのバックアップが1台（SMR）で運用中
Mirror＋バックアップで十分なんだけど、昔電源故障でこの3台丸々死亡したので、
USBで外付けでさらに予備1台って感じ。
USBなのは時々認識してないこともあるから内蔵HDDにもバックアップ取ってる感じ
USB接続のは東芝のDT02ABA600使ってるけど、普段は殆ど気にならない感じですわ
こいつもZFSのシングル運用です 間違って削除したら両方から削除するのがRAID1
バックアップではない >>391
CMR+SMRのシングル運用が鉄板ですかね〜
電源故障で同時死亡って結構あるのですか？
3.3,5V系に12Vかかったりすると、確かに死ぬけど。。。。 >>393
今のところ、1回だけですね
ただ、データの復旧に基板交換とか力業で復旧させたのと
(かなり前なので大事なデータはBD-REにバックアップがあった)
とか復旧に色々手こずったので
安心料として＋1〜2万円で済むなら良いかなと。
NAS内蔵はRAID1運用で外付けUSBとかへバックアップって
構成の方が安心出来ると思いますよー >>392
RAIDはバックアップでは無いが
RAIDは自動で即時復旧用データが作られるのに対して
バックアップは適宜実行しなければならず
漏れも発生する
どっちもどっちだろう RAID1はリアルタイムバックアップだよ
リアルタイムならではのメリットデメリットがある
ガイジには理解できないけどなw >RAID1はリアルタイムバックアップだよ
クソワロタｗｗｗｗ 事故発生時に再構築できるユーザさん限定でRAIDは有意義だけどね。
世の中壊れたRAIDを再構築できずお手上げサン大杉さんだそうで。
RAID再構築専門の復旧業者さん、大儲けとかいううわさ そもそもRAIDはシステム止めないで復旧するための機能なんで
システム止めたらやばいという事情がない一般人が使う意味はないのである RAID1は、
二台の装置に同時に同じものを書き込むもので
片方の機械が壊れても、もう片方が生き残れば
壊れた方を交換して生きている方のデータをコピー
保存されたデータのハード的トラブル運用停止の防止
ハード面での二重対策であって
リアルタイムで稼動しているから
データーバックアップとは、ちょい意味が異なる
どちらかと言うと、データ・アシスト的なもの 「バックアップ（英:�backup）とは、コンピュータシステムで主にデータやシステムの状態を複製し、問題発生時の復旧（リストア）に備えることを意味する。」
この定義からすると
RAID1はバックアップ バックアップと言えるか言えないかといったくだらん議論よりも
メリットデメリットを語る方が有益
文系じゃあるまいし 文系とか関係なくRAID1はバックアップじゃないだろｗ RAID1がバックアップって思っている奴はいつまでたってもなくならない
知能足りてない
RAID1で間違って書き換えたファイルをリストア出来ることを照明出来たらバックアップと認めてやるよ 二重系をバックアップと呼ぶかどうかだが、まあ呼ぶわな
パソコンの世界しか知らない人には違和感あるだろうけど RAID1はバックアップではありません
デマに惑わされないように RAID1=ハードウェアのバックアップ（ハードウェア故障からの保護であって、オペレーションミス等バックアップとしては機能してない
データコピーしたバックアップ＝ファイルのバックアップ（データの誤編集などからの保護
こういう事をまとめてバックアップと言ってるから話が混乱する
RAID1等を組んで、ハードウェア耐障害性あげた上で、オペレーションミスに関してはスナップショットで保護するって手も有る
(ファイルシステムの実装ミスなどによる論理的損傷には無防備だけど)
意味判らん人は、複数台のHDDを定期的にコピー取る運用した方が良いだろうね 一般人は、むしろUSB外付HDD複数台でバックアップした方が単純で良い
自宅で録画した動画を外で視るためのメディアサーバが欲しければ、話は別
なおスナップショットもバックアップではないので念のため ■ このスレッドは過去ログ倉庫に格納されています
