【瓦記録】SMRのHDD 4台目【ﾌﾟﾗｯﾀ枚数減】
■ このスレッドは過去ログ倉庫に格納されています
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
プラッタ枚数を減らし、価格が安くなるかわりにがランダム書き込みが致命的に遅くなる技術
Shingled Magnetic Recording (SMR)を採用した、通称瓦記録のHDDについて語りましょう
Shingled Magnetic Recording: Boosting Capacity and Lowering Costs
https://sata-io.org/developers/sata-ecosystem/shingled-magnetic-recording-boosting-capacity-and-lowering-costs
HDDの大容量化をけん引する瓦記録技術 - 東芝
https://www.toshiba.co.jp/tech/review/2015/08/70_08pdf/a08.pdf
SMR におけるビット信頼度への隣接ビットの影響 - 日本磁気学会
https://www.magnetics.jp/kouenkai/2015/doc/program/44ALL.pdf
スマートストレージ・スタックベースHBAおよびRAIDソリューションでのSMRドライブの使用
https://storage.microsemi.com/nr/pdfs/microsemi_adaptec_smr_whitepaper_ja.pdf
前スレ
【瓦記録】SMRのHDD 3台目【ﾌﾟﾗｯﾀ枚数減】
https://egg.5ch.net/test/read.cgi/jisaku/1541073336/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured 意図的にアイドルタイムを設けるコピーツールとか誰も作らんだろな ベンチマークやっても実際のSMR領域ではなくメディアキャッシュ領域の結果が出るから意味ないんだよなこれが >>108
それが本来の使い方だろう
わざわざキャッシュ漏れの結果を知ったところで使用上は意味がない >>99
瓦と非瓦とまぜてバックアップするのはいいかもな。
通常使用は瓦で徐々にデータを貯めていき、一括バックアップのときは非瓦に。
瓦をバックアップに使うときはリアルタイムバックアップで。
これでデータが3セットできるからだいたい大丈夫だろう。 >>108
そうね。SMRはランダム書き込みが遅いとかいう風説は小さな勘違いがあるんだよなあ。
アレは実はメディアキャッシュのフラッシュ方式の遅速の問題に過ぎず、
SMRの瓦バンドそれ自体のデータ転送能力のことじゃないんだよね〜
Seagate disks are known to clean during idle times and to have static mapping [1].
Therefore, they have high throughput while the persistent cache is not full, and ultra-low
throughput after it fills. The difference in the time when the throughput drops suggests that
the persistent cache size varies among the disks. Western Digital disks, on the other hand, are
likely to clean constantly and have dynamic mapping [9]. Therefore, they have lower throughput
than Seagate disks while the persistent cache is not full, but higher throughput after it fills.
https://www.usenix.org/system/files/conference/fast17/fast17-aghayev.pdf
海門のメディアキャッシュは静的マッピングで、フラッシュはアイドル時なのでランダム書き込みは
キャッシュがオーバーフローする迄は高速。オーバフロー後は劇遅い。
対してWDのメディアキャッシュはダイナミックマッピングでフラッシュは随時。ホストPCが連続書き込み
sている場合でも随時瓦バンドに吐き出し続けるので海門比較では通常時の書き込み速度は遅い。
しかしオーバーフロー後でも劇遅にはならない。
ちなみに、ST8000AS0002の瓦バンドサイズは30MBメディアキャッシュはおよそ25GB。 ↑論文で挙げられているWDのSMR HDDは WD40NMZW 2.5inch 4TB。 >>102
4に関しては初期のSMRのドライブでないなら、小さなファイルの大量書き込みを避ける。(初期のSMRドライブは何でもメディアキャッシュに書き込むドライブもあるらしい。そういうドライブは工夫でどうにもならんと思う。)
具体的には圧縮ソフトでも使って、大きな一ファイルにしてしまえば良い。
圧縮ソフトのtempフォルダをSMRドライブ以外に設定する。（圧縮済みファイルを編集する時） 今日のテスト結果
今回はWin10 PCでやりました。
[3] CDMによるベンチ測定
OS:Windows 10 pro 64bit
SMR IOデータ製外付けHDD(ドライブ：ST4000DM004)
テストサイズ 50MiB
Seq.Write 118MB/s (ばらつきが大きい)
テストサイズ 1GiB
Seq.Write 174MB/s
CMR WD青6TB(HDDケースで外付け)
テストサイズ 50MiB
Seq.Write 258MB/s
テストサイズ 1GiB
Seq.Write 158MB/s
CMRのテストサイズ50MiBで、Seq.Write 258MB/sという結果が出たけどこれは何？
これがWin10の力？ [4] Fastcopyで121GBのデータのコピー実施
OS:Windows 10 pro 64bit
ソース：約20MBのファイルがおよそ6200個 合計121GB
Fastcopyで121GBのデータのコピー実施
Buffer 256MB
SONY MRW-E90(XQD) → SMR IOデータ製外付けHDD(ドライブ：ST4000DM004)
転送速度 99MiB/s
所要時間 21min00sec
SONY MRW-E90(XQD) → CMR WD青6TB(HDDケースで外付け)
転送速度 122MiB/s
所要時間 17min04sec
Win7での結果に比べると、SMRは所要時間が短くなったけど、CMRは逆に長くなっちゃった。 今、Win10 PCを使って、Fastcopyで121GBのデータのコピー(対 CMR)を、コピーツールを使わずに
標準のコピーで実効中だけど、これが一番速いな。転送速度は安定して150MB/s前後出てる。
Win10 PCで対CMR HDDならコピーツール不要ってことか。
テストサイズ50MiBでSeq.Write 258MB/sという値は伊達じゃないってわけか。
対SMR HDDだとどうなんだろう？ [5] OS標準コピーでの121GBのデータ(XQD)のコピーの所要時間
OS:Windows 10 pro 64bit
ソース：約20MBのファイルがおよそ6200個 合計121GB
SONY MRW-E90(XQD) → SMR IOデータ製外付けHDD(ドライブ：ST4000DM004)
転送速度 100MB/s
所要時間 19min50sec(1190sec)
SONY MRW-E90(XQD) → CMR WD青6TB(HDDケースで外付け)
転送速度 150MB/s
所要時間 13min35sec(815sec)
Win10では、SMRもCMRもOS標準のコピーを使った方がFastcopyを使うよりも速かった。
またWin7でFastcopyやマッハCopyを使った場合よりも速かった。
結果的に、この作業を行うには、Win10でOS標準のコピーを使うのが一番速い。
ただSMRとCMRでは依然として差はあって、SMRの方が1.46倍時間がかかる。
問題はこのSMRとCMRの差ですね。
あとはディスクの内周まで書き込みが進んだ場合にどういう挙動になるかですね。 >>116
> 今、Win10 PCを使って、Fastcopyで121GBのデータのコピー(対 CMR)を、コピーツールを使わずに
> 標準のコピーで実効中だけど、これが一番速いな。転送速度は安定して150MB/s前後出てる。
コピペで日本語がおかしいので、訂正。
今、Win10 PCを使って、121GBのデータのコピー(対 CMR)を、コピーツールを使わずに標準のコピー
で実行中だけど、これが一番速いな。転送速度は安定して150MB/s前後出てる。 >>115
バッファがデカすぎじゃね？
256MBってなんか根拠あるの？？ fastcopyのバッファを変化させたデータも取ったほうがいいんじゃ？
256MBを32MBに落とすとか512MBにするとか StoreMIとSMRのHDD合わせると調子よかったりするのかな？ >>3
記憶域プールのパリティ書き込みは瓦じゃなくてもそれくらい遅いぞ >>126
ホントだ基本的な比較もしてない
>>3はひっどい記事だな SMRっぽい6TBの型番が判明したころからそうだったけど >>106
>HDD上の空き断片に遭遇したり
これが問題なんだよなぁ。使い込むに従って断片は増えていくわけで。
あれ？メディアキャシュフラッシュする時って、以下のどっち？
1.可能な限りブロックそのまま吐き出す
→シーケンシャルに吐き出せる。そのブロックが本来の場所になるようにする。
2.本来書くべき場所に吐く→吐き出し時にランダムアクセス多発？
1だと断片化がえげつなくなりそうだし、2だと、フラッシュが長くなる＆空き容量が減ると恐ろしや。
もっと上手くやる手段があると信じてるが… NAS用アイアンウルフですらPMRなのは10TBなんだな
お値段倍近い赤なんて無理だよ 鉄狼8TBはSMRでそれ以下の容量もSMRらしい
10TBはCMRだけどそれより上は知らない 〃´⌒ヽ
., -―― ﾒ／_´⌒ヽ
／ ／￣ ´ヽ ヽ
./ , /// ﾄ. ! ､ 丶ヽ
l / /（(（リ从 ﾘﾉ）） '
| i l ． ヽﾉ ．V l
l ,=! l /// ///l l ねんがんの１４ＴＢをてにいれたぞ！
l ヾ! ', l ヽ_フ l l
| ヽヽヽ //
l ヾ≧ , ＿_ , イ〃
li （´｀)l {ﾆ0ﾆ}､ |＿"＿＿＿
li /l, l└ ﾀl」／| ＨＤＤ |
ﾘヽ/ l l__ .／ |＿＿＿＿＿|
,/ L__[]っ ／ ( ⌒ ) ／
::::::::/ ヽ、 :: ::: ::: :::::::::::::::::::::::::::::::::
:::::/ lﾊ ::: : :: :::::::::: :::::::::::::::::::::::::::::
::::l l /ﾉﾘ ::: : :: ::::::::::: ::::::::::::::::::::::::
:::| /） / ::: : :: ::::::::: :::::::::::::::::::::::::::::
::l /ｲ/| . :. :. .:: : :: :: :::::::: : ::::::::::::::::
/ / ||/ /￣￣￣￣￣７l:::::::::::::::::::
i /_,／i! /⌒⌒⌒⌒⌒/ ,l::::::::::::::::
l 人 /⌒⌒⌒⌒⌒/ /::::::::::::::::
l / /⌒ヽ⌒⌒⌒⌒⌒/ /::::::::::::::::
l /iｌ | ） ⌒⌒⌒⌒/ /::::::::::::::::
ll l i! ｀ｰ、＼_＿＿＿_/ｎ/::::::::::::::::
lヽ l |＼. ＼ /⌒〉:::::::::::::::: ええええええIronWolf4TB買っちまったよおい
SMRなのか！！！！！！ぎゃああえいういのりま」るそらこやそこたねふこえかとゆそほ 調べてみたけど本当ぽいね
IronWolf←SMR(8T以下) 本当にうざいわ
HDD買う時にイチイチSMRかどうか確認すんのメンドウなんだよ
しかも開示してないから分からねーし 古いモデルをまだ売ってるうちに買い溜めしておけってことなのかね
WD青6TBぽちぽちぽちぽちぽちぽち…… >>140
…と思ったが、確定的な情報じゃなかったわ
すまん
ちなみにSMRと断言してるレビューが幾つかあったのは確認してる メディアキャッシュ搭載とごっちゃになってるだけじゃないの？ キャッシュ容量が128とか256だからSMRってわけじゃないぞ？
最近の大容量モデルはキャッシュ増やす傾向
だから余計わかりにくい …かもしれない
8Tと10Tで挙動が違うのは事実(他のモデルは不明)
8Tに大容量連続書き込みを行うと、例のArchive HDDと同じ挙動(メディアキャッシュ搭載だと同じになるかも?)
ただし、10Tでは速度低下は起きない(これがよく分からないが10TがCMRなのは確定してる)
なので、現状は鉄狼の8Tはあやしいとしか言えないか… キャッシュだけで判断するのは愚かだと昔から言われてんだろ
CMRのIronwolfもプラッタ上にメディアキャッシュは搭載されてる
メディアキャッシュに書き込んでるときの速度と比較して多少遅いくらいならSMRじゃないと思うが
速度低下とやらがどれくらいの値なのかを教えてほしい >>132
> 使い込むに従って断片は増えていくわけで。
この正月休みに、ノートPCにつなげてある外付HDDを10台を全台デフラグしたんだが
デフラグはするもんだなあ。Windows 10のエクスプローラで外付間のファイルコピーのほとんどが
110MB/s 以上コンスタントに出るようになった。コピー後の生成ファイルの99%が断片ゼロ。
使用率99%51GBや使用率95%の8TBのAS0002やかつて断片60万個以上あった4000DM002でも。
Windows10のエクスプローラはファイルコピーの際に、可能な限り断片を作らないように空き地を
確保するファイルアロケーションで実行動作している。ある糞ツールは5GBのファイル1個生成する際
2万個以上の断片をオニギリして吐き出すにだが、そんなボロボロなファイルでさえエクスプローラは
フラグメント・ロンダリング、断片洗浄してキレイなファイルを精製するのよ。だからファイルコピーで
ディスク整理を頻繁に行なっても、実は断片は殆ど増えない。というのが俺の実感。 > あれ？メディアキャシュフラッシュする時って、以下のどっち？
> 1.可能な限りブロックそのまま吐き出す
> →シーケンシャルに吐き出せる。そのブロックが本来の場所になるようにする。
> 2.本来書くべき場所に吐く→吐き出し時にランダムアクセス多発？
これは 2 でしょ。あるデータブロックをどこに配置保存するかを決めるのはOSの仕事で
HDDのファームが勝手に恣意的に行う事はない。あるファイルがどこにどのように保存
されてあるかというファイル配置(ディレクトリ)情報は NTFSならHDDの外縁部の12.5%を占める
MFTに記録される。HDDがそれを自己都合で任意に書き換えたりはしない。だから、
フラッシュを行う際には大量のヘッドシークを伴うランダムカキコになるはずですね。
ただし、メディアキャッシュの在り処がHDDの最外縁部にありディレクトリ情報保存のMTFと
隣接しているためディレクトリ情報更新のヘッドシークは最小限になるはず。また最近の
WindowsはランダムアクセスをWindows自体の内部処理としてオンメモリで処理して、HDDの
ヘッドを省力するようなキャッシングをサポートしているので、処理の軽重はアプリ次第で
改善の余地はあるらしい。 >>150
鉄狼8Tのamazonや価格のレビュー見たら分かるが、100G超えの書き込みで三分の一以下に落ちるらしい
これをどう判断するか… >>153
うちはなんともない
つーか筐体見たら8TBは6プラであることはすぐに分かる
これをわざわざSMRにする理由が無い
ガセネタを広めるのはやめろ メディアキャッシュ領域とディスク内周のランダムライトなら3分の一くらい普通にありそうだけど・・・ シーケンシャルでも最外周と最内周で2倍違うのとか知らないじゃね
価格の情弱レビューだし >>153
4000DM004の ultra-low throughput after it fills は1/3なんて生易しいもんじゃないよ。
1/100〜1/200以上。 120MB/s〜 が 500KB/s 〜 2MB/sに落ちるし。
1/3 程度、つまり 30〜50MB/s 程度で速度低下が収まっているのであれば、それは普通の現象。
コピー元のソースファイルの断片化が禿げし過ぎる場合はCMR／SMRに関係なく普通に生じる。
断片サイズが200〜400KB以下の場合、5GBのファイルが万単位の断片断片のおにぎりの場合、
コピー速度は40MB/sを下回ることが多い。断片の数だけ読み出し時にヘッドシーク動作が挿入
されるからコピー速度が劇遅になるのは当然。CMRもSMRも同様。
対策としては、断片大量含量ファイル生成時に他ドライブへコピーするとかオンドライブでデフラグ。
或いはファイル整理時にエクスプローラで低速承知でコピーするとかで、断片洗浄する。
洗浄後無断片になれば、50-100MB以上のサイズがあればSMRで100MB/sを下回ることはほぼなくなる。 断片含有ファイルの断片洗浄ツールとしてみるとエクスプローラは優秀だと思う。
万単位の断片を含む糞ファイルでさえ断片洗浄し無断片な一本ファイルを精製する。
それに対して、Windows10のアップデーターは糞の類。Cドライブをデフラグした時
テンポラリ名を持つシステムファイル4本がシステムファイルであるがゆえに
書き換え拒否されデフラグ不能。それらはアップデートのたびにドライバーなどを結合統合した
起動イメージのスナップであろう。が数十以上の断片で構成。起動を遅くする原因を
Windows自らアップデート度に作っている。ように見える。 >>153
3分の1なら30MB/s,40MB/sとかか
SMRなら0MB/sまで落ちても不思議ではないので、CMRだろ
1.33TB×6枚プラッタだろうし、100GBとか移動したならおそらくメディアキャッシュ切れで速度低下したんだと思うけど
知ったかぶりが、速度低下したからSMRだ！とか書いてるだけだろ SMRの8TBとか一気に書き込むとどれくらい時間かかるんだろ
東芝8TBのCMRでもだいぶかかったけどそれの2-3倍かー >>168
だいぶ とか曖昧な表現をする奴に価値は無い >>170
Yahoo知恵遅れは昔っからの呼び名だよ >>152
メディアキャシュの時点で本来の場所以外に1クッション噛ませる仕組みがあるからとも考えたけど、やっぱり普通に考えて2だよなぁ
って事はフラッシュ時にあっちこっちのSMRブロックの読み書きが必要って事で…フラッシュ終了の期待時間ってどのぐらいなんだ？
メーカーはフラッシュのシミュレートデータ持ってるハズだから出してほしい…SMRすら言わないんだから無理かww そもそもメディアキャッシュの前にキャッシュに書いてるので2クッション 読み出しヘッダーと書き込みヘッダーを少しずらして配置して、
少し先を読み出しながら書き込むようにすればメディアキャッシュは不要なんじゃないかな？
ブロック内のちょっとした書き換えでも、SMRブロックを丸々一つ分書き込まないといけないのは変わらないけど。 HDDの大容量化に合わせてアロケーションユニットサイズも大きくすべきだろうが、
そうなるとクラスタギャップ分の損失がどれだけ出れるだろうか……
を知りたくて、それをシミュレートするためのツールを自作したっけ そりゃもちろんアロケーションユニットサイズ＝ＳＭＲブロックサイズにすべきでしょ >>174
昔の3ヘッドのカセットレコーダーのようだ >>174
SMRブロックサイズ未満のデータを貯めておくところが必要だし、
一部書き換えのデータが連続で来た場合に
SMRブロック更新を順番に行いながらデータ転送を受け入れるような
とても遅いドライブになると思うが。
同時にヘッド動作させるなら読み出したいトラックの位置と書き込みたいトラックの位置それぞれに
微調整しないといけないのにヘッドアーム1つじゃどうしようもない。 そういえばSMRのHDDの故障しやすい問題はファームウエアで完全に直ったのかな？
故障しにくいHDDはHGST安定なのは相変わらずのようだ、うちのHGST HDS5C4040ALE630も
46000時間越えが2台あるが、まだ壊れそうな気配すらない。
http://gigazine.net/news/20181017-backblaze-hdd-stats-q3-2018/ >>178
----------------------------------------------------------------------------
(2) ST2000LM007-1R8174
----------------------------------------------------------------------------
Model : ST2000LM007-1R8174
Firmware : SBC1
Serial Number : ********
Disk Size : 2000.3 GB (8.4/137.4/2000.3/2000.3)
中略
-- IDENTIFY_DEVICE ---------------------------------------------------------
中略
060: FFFF 0FFF 0000 0007 0003 0078 0078 0078 0078 0100 >>179
SMRは本質的に遅いだから、見た目の書き込み速度を稼ぐにはフラッシュ時のペナルティやベリファイのやりにくさを受け入れメディアキャッシュを使用するしかない
JVMのメモリ同様キャッシュは大きければ大きいほど良いのではなく、サイズや吐き出しタイミングのバランス等はメーカーの腕の見せ所で、是非宣伝材料にしてほしいが…
ところでSMRってドレだっけww 一般的な家庭用録画機、TVの外付けならスペック的に無問題。
24時間全録な録画用、リニア編集なプロ用とかなら、鉄狼や赤色
みたいなNASスペックが必須かも。 シーゲイトのPR記事では複数ストリームの同時記録みたいなことは苦手って言ってなかったっけ？
だからレコーダーの2番組同時記録とかするのならSMRは止めたほうが良い。
乗せるのならAVコマンド対応のドライブ。
WDのAV-GPや紫、東芝の末尾Vシリーズ、シーゲイトのSkyHawkなど どっちがデマなのかわからん？
3番組録画出来るの？出来ないの？ シーゲートの人がSMRは同時録画用途には不向きと記事で言ってたのは見たことある AVコマンド対応ドライブがみんな非SMRなことから考えてみれば、答えは出てると思うけどね。 まだSMRを表に出してた頃の記事だけど
https://akiba-pc.watch.impress.co.jp/docs/sp/680650.html
普通のTV録画用として使う分には問題ありませんが、多数のストリームを常時同時に録画する、という用途には向いていないかもしれません。
今の世代のSMRでここが改善されてると思えば使えばいいんじゃないかな。
今のSMRはいろいろと別モノだと思うし改善されてる可能性もあるとは思うけれど、
録画失敗のリスクと価格メリットを考えてどっちを取るかだと思うよ。
自分で判断できないのならテレビやレコのメーカー推奨ドライブ買うしかない。 同時録画はAVコマンドが無いCMRの青でも
うまくいかなかったりするよ
SMRの方が遅いなら難しいんじゃね >>194
１時間録画してインターバルが数時間ある。そして２〜３番組録画をしないって条件ならSMR処理が間に合いそうだけど、
そんな気を使うレコーダーなんてイヤだw >>192
その記事は5年前のだね。
海門の正規代理店やってるエレコムがパッケージングして量販店に出している4TB、
初期ロットはDM005だったが最近のはDM004に変更されている。どっちも録画用で
4K、スターチャネル録画などで使用している。2番組同時録画もするが無問題ね。
最近のregza は6TBサポートが公式。当然SMR HDD 対応でしょうねえ。
Seagate 3年保証 4TB TV 録画 外付 HDD 4K テレビ PS4 対応 静音 ハードディスク 3.5 インチ USB3.0 シーゲイト 日本正規代理店品 安心コールサポートあり
https://www.amazon.co.jp//dp/B07FN69HLW >>183
ドライブ側の遅延でリアルタイム録画の書き込みが追いつかなくなった場合に、レコーダー側がどう対処反応するかが不明
録画を停止するか、壊れるか
一度内蔵HDDにでも録画した番組を外付けSMRHDDへダビングして保管するなら、リアルタイム性は要求されないので問題ないように思われる >>186
あのPR記事は、たったの24時間の録画しか検証してないから
まだ容量が膨大にたくさん残ってる状態で検証しても、SMRドライブの動作傾向を知るのになんの参考にもならない >>198
SSDじゃないから残り容量なんて関係ないんだよなあ >>200
ガベージコレクションの関係で空容量は関係あるだろう >>200
膨大な連続空き領域が残っている状態での検証で、フラグメントが分散している状態で発生するSMR特有の挙動が解かるわけないだろ >>204
録画機のHDDがOS無縁で勝手にガベコレするわけ？ ガチ無知さん乙w >>フラグメントが分散している状態で発生するSMR特有の挙動
どういう挙動なのさ？ >>205
ドライブマネージメントってそういうものでしょ。ホストマネージメントなら勝手に動きはしないけど。 ■ このスレッドは過去ログ倉庫に格納されています
