X



【瓦記録】SMRのHDDを語るスレ 2台目【プラッタ減】
レス数が950を超えています。1000を超えると書き込みができなくなります。
0001Socket774 (ワッチョイ 7bec-53i4)
垢版 |
2018/07/31(火) 13:13:55.58ID:hBuf3/Eu0
プラッタ枚数を減らし、価格が安くなるかわりにがランダム書き込みが致命的に遅くなる技術
Shingled Magnetic Recording (SMR)を採用した、通称瓦記録のHDDについて語りましょう

Shingled Magnetic Recording: Boosting Capacity and Lowering Costs
https://sata-io.org/developers/sata-ecosystem/shingled-magnetic-recording-boosting-capacity-and-lowering-costs

HDDの大容量化をけん引する瓦記録技術 - 東芝
https://www.toshiba.co.jp/tech/review/2015/08/70_08pdf/a08.pdf

SMR におけるビット信頼度への隣接ビットの影響 - 日本磁気学会
https://www.magnetics.jp/kouenkai/2015/doc/program/44ALL.pdf

スマートストレージ・スタックベースHBAおよびRAIDソリューションでのSMRドライブの使用
https://storage.microsemi.com/nr/pdfs/microsemi_adaptec_smr_whitepaper_ja.pdf

最近の磁気ディスクドライブに於ける高遅延特性の観測とデータベース処理性能への影響の考察
http://www.tkl.iis.u-tokyo.ac.jp/top/modules/newdb/extract/1516/data/DEIM.pdf

Seagateのシングル磁気記録で容量の壁を超える | Seagate
https://www.seagate.com/jp/ja/tech-insights/breaking-areal-density-barriers-with-seagate-smr-master-ti/

“10TB時代”に向けた最新HDD技術「SMR」のポイントをSeagateに聞いてみた
https://akiba-pc.watch.impress.co.jp/docs/sp/680650.html

前スレ
【瓦記録】SMRのHDDを語るスレ【プラッタ枚数減】
https://egg.5ch.net/test/read.cgi/jisaku/1522207268/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:----: EXT was configured
0851Socket774 (ワッチョイ b98e-JHIh)
垢版 |
2018/10/27(土) 17:04:46.56ID:odkdP4um0
>>845
でかいデータは直接SMR部分に書き込むと勘違いしてるみたいだけど
そんな賢くないぞ、どんなデータもとりあえずメディアキャッシュに書き込んで
それからSMR部分に移動だからな
0852Socket774 (ワッチョイ 6fa3-Hga/)
垢版 |
2018/10/27(土) 17:07:41.29ID:EUcrBtr30
>>850
と偉そうに書いてしまったけど、頭の中で単純化しすぎで、後処理のこと忘れてたわ

>>842
と言うことでごめん、ナシにして下さいな
0854Socket774 (ワッチョイ 3f05-JHIh)
垢版 |
2018/10/27(土) 19:30:51.94ID:koqwqjwl0
まだ誰も問題があると検証してない
いや、出来ないと言うべきか

正確には検証方法が存在しないと言うべきだろうか
0856Socket774 (アウアウウー Sa5d-S3gW)
垢版 |
2018/10/27(土) 20:03:55.18ID:jKv1ur9fa
大きめなシーケンシャルデータを多数書き込んだ後
複数のデータ消して歯抜け状態の状態で新たに別の
シーケンシャルデータを書き込めばSMRの弱点を
突くこと出来ないかな?
0857Socket774 (ワッチョイ d3e0-3UDA)
垢版 |
2018/10/27(土) 20:09:12.02ID:yLce1drp0
>>853
東芝の資料にそう言う方法も開発したとあるね
実際にそれを採用してるか不明。他社なら尚更分からない
0858Socket774 (ワッチョイ 7389-nh9x)
垢版 |
2018/10/27(土) 20:11:14.63ID:PVd7+ZeD0
>>853
HDDはいつの段階でSMR直書きできるシーケンシャルだと判断できるんだよ。
結果的にそういうシーケンシャルライトだったとしても、その書きはじめの段階でそうだと分からなければメディアキャッシュに受けざるを得ないんじゃないかな。
0861Socket774 (ワッチョイ 6fa3-Hga/)
垢版 |
2018/10/27(土) 22:23:46.05ID:EUcrBtr30
しかし現状、fsより低レベル、つまり物理寄りにブロックの予約を伝える手立てが無い気がする
0862Socket774 (ワッチョイ 5756-dBpb)
垢版 |
2018/10/27(土) 22:40:52.18ID:qMlllNk10
>>858
瓦ブロックより大きいキャッシュを用意したHDDなら、RAMによるキャッシュしてる内に直書き出来る部分は簡単に判別出来ると思うよ。
0863Socket774 (ワッチョイ 1f89-FpYz)
垢版 |
2018/10/28(日) 01:05:07.18ID:pNIS+ORz0
>>841
なかなかチャレンジャーだなw
raidとか記憶域プールとかこの手の技術も鬼門だと思う。

因みにUSB2とかIDEとかも混ぜちゃダメだぞw遅いの混ぜるとかなり足を引っ張られる気がする→やるなら低速上等専用プールで。全部遅いのならマダ精神衛生上 許せる気がするしww
0864Socket774 (ワッチョイ 7389-nh9x)
垢版 |
2018/10/28(日) 01:38:12.28ID:Bx+KSsh40
>>862
瓦ブロックのサイズが40MBだったとして、40MB全部受けるまでメディアに書かずにRAMだけに置いておくの?
0865Socket774 (ワッチョイ 817c-3UDA)
垢版 |
2018/10/28(日) 03:05:12.41ID:ummOoZEu0
>>892
瓦書きするんだから、ライトキャッシュは書き込み単位となる
トラック・サイズより大きいのは当たり前だろうね。
>>864
そのブロックサイズの大きさって実際にはどれくらいなんだろうね?

そういえば、海門の2TプラッタHDDのpdfマニュアルに
メディア・キャッシュっていう語は無いんだよね。ライトキャッシュという語はある。
0866Socket774 (ワッチョイ a187-pP8n)
垢版 |
2018/10/28(日) 03:22:53.33ID:4w9RFhSm0
<月刊 SMR瓦まとめ>
・製品
低容量版のは価格維持のためで置かれているだけなので、キャッシュがたりない。
システムで使うには、デフラグするときにキャッシュ未満でやってく必要性がある
Webブラウザーのキャッシュは別パーティションに書き込みさせることが推奨で、環境変数の変更がいる。
しかしハードディスクなのに、キャプチャーやリアルタイム録画への汎用性を持たないという
糞!仕様なので。
エンコードしたデータはまずSSDかふつうのHDDに入れてから、SMRに突っ込むわけだが
キャッシュが溢れるたびに一時停止をくりっくしないといけないので(人柱報告)
システムで利用する場合は
「China中国」のはいらんねん!「フィリピンのをくれ!」、SMR?しかないの 
しゃあない。それにするわ。っていうことになると思われ。

ネトゲのログ書き込みなんだが
全く大丈夫ではないと思う。SMRはそのような汎用性をもっていない。
Ryzenなのに動画再生中に「っか!」ってプチフリした場合なんだけど
その時点でいろいろOUTになっちゃうんで
一応HDDは満4年は使えるから、2016年に買ったのならば2020年までCristalDiskで様子見しながら回しておく方がまだまし。
もしくは賞味期限3年(消費期限4年?)のCN製 中国組み立てになってるやつを買うか。
それかWebをがりがり使う場合 消費期限満3年のSSDをシステムにして。 データ用にSMRっていうかCN以外のHDDを購入

・まとめ
SMRを買うくらいなら。CruicalのBX300でも買っとけ。それにシステムとゲーム入れろ。
汎用的な利用でSMRを買うのはダメ。もちろん録画につかうのもだめだ。コピーはいいけど(1手間必須になるけど)。
0870Socket774 (ワッチョイ a18e-JHIh)
垢版 |
2018/10/28(日) 09:04:30.86ID:IMLOcjbB0
ドライブマネージドSMRは今のところ低価格デスクトップモデルだけだろ?

避けるのなんて簡単じゃないか。
0871Socket774 (ワッチョイ a1a3-p7w7)
垢版 |
2018/10/28(日) 09:07:42.40ID:M/AtS48c0
避ける(私的な自衛・安全)だけじゃなく知らしめろ(公的な安全)ってこと
0872Socket774 (ワッチョイ a1a3-p7w7)
垢版 |
2018/10/28(日) 09:13:42.32ID:M/AtS48c0
>>866
まとめを自称しつつ散漫、かつ根拠のほうがおざなりだなあ
ちゃんと根拠となるレスへのリファレンスは残せよ
0873Socket774 (ワッチョイ 53ec-Y1Ee)
垢版 |
2018/10/28(日) 09:16:19.46ID:07C6H3PU0
>>868
2.5は壊れやすいし、コスパ悪い、遅い、長時間の稼働できない。
3.5のCMRまだ売ってるんだしCMR選んで買えばいい。
0874Socket774 (ワッチョイ 817c-3UDA)
垢版 |
2018/10/28(日) 10:59:55.46ID:ummOoZEu0
>>867
Tanks so much
20-40という数字の出所はチトよく分からないが、バンドのアベレッジサイズは30MiBで
1ドライブは26万バンド以上。という記述があるからまあ、そんなものなのかもね。

>>529 の論文を斜め読みしてみたが、面白いですねえ。DM(DraiveManaged)-SMR HDD に
最適化されたLinuxのext4の改良版ext4-lazyの開発ネタで、ベンチマーク的に原版の1.7〜5.4
高速化できたんだとか。LinuxなのでmetadataとかJurnalとか系に関わる話だけれども、
ファイルシステムレベルの改良を行えばDM-SMRでも高速化は可能ということを実証している。
逆に言えばファイルシステムがタコだとDM-SMRの実力を引き出せない可能性もある。つーことみたいね。
0875Socket774 (ワッチョイ 817c-3UDA)
垢版 |
2018/10/28(日) 11:10:49.97ID:ummOoZEu0
DraiveManaged >> DriveManaged

SMR技術は高密度大容量HDD必須の技術で今後の大容量HDDの大半はSMRになるだろう
という指摘もあるが、特に気になった点は、persistent cacheの扱いがWDとSeagateでは異なる点。
キャッシュマッピングのやり方でWDはダイナミックでSeagateはスタティックなんだと。なので
キャッシュがオーバーフローするまではWDがもたつき、オーバーフロー後はSeagateがもたつく。
と推測されているみたいね。SMRといっても特許領域の技術であるし、HDDメーカー毎にHDD毎に
実装実態が全く異なるからSMRという語でオーバーオールでSMRガ〜と語るのは、まあ、いかがなものかとおもたw
0877Socket774 (ワッチョイ a1f8-NcUb)
垢版 |
2018/10/28(日) 12:15:54.29ID:F0Gj3W7v0
なんつーか、大半のユーザーは、CMRの10TBまでのHDDで間に合っていて、それ以上が欲しいユーザーにSMRが
必要になる割に、安定したレートで書き込みできないから特別な配慮が必要とか、ほんと迷惑。

今後、4K/8K録画に10TB以上のHDDが必要になってくるけど、高ビットレートの書き込みに追いつけないとかほんと死に規格。
HAMR(熱アシスト)やMAMR(マイクロ波アシスト)の登場であっという間に消え去る商品だろうな。
0879Socket774 (ワッチョイ 3f05-JHIh)
垢版 |
2018/10/28(日) 13:14:17.12ID:QsjQ9aJ70
原理からしてファイルシステムやファームウェアの改良で誤魔化せるような代物ではなさそう
0880Socket774 (ワントンキン MM57-VDwY)
垢版 |
2018/10/28(日) 13:38:46.80ID:pEIu3lOhM
>>877
> 今後、4K/8K録画に10TB以上のHDDが必要になってくるけど、高ビットレートの書き込みに
>追いつけないとかほんと死に規格。

こういう書き込みを見るにつけ、少しだけ失笑してしまうw
大昔から録画機はせいぜい3チューナー裏番組2放送同時録画可能が常識ライン。
現在の地デジは16Mbps。2番組同時録画で32Mbps。つまりおよそ4MB/s。
BSのWOWOWだと48Mbps。2番組同時録画で48M bps。つまりおよそ6MB/s。
特殊な例だと東芝の液晶TVのタイムシフト。6番組同時録画は外付けHDDが二台必要で
地デジのみ。つまり外付けHDDにかかる負荷は16*3=48Mbps。およそ6MB/s。
重負荷な超例外はやはり東芝のタイムシフト録画機で7番組同時。ただし内蔵HDD。
外付けはHDD二台をhub接続。4K録画は今のところ1番組録画対応機のみ。30mbps。
8Kは圧縮が256で60mbps〜100mbps 実機詳細は未定。

TV録画機の世界は上限がせいぜい6MB程度、USB2.0で十分過ぎる低レベルな
通信容量が仕様として守られている保守的な世界なの。こんな低レベルな書き込み
速度さえ維持できないHDDを探すのはPATAでも難しいと思うね。
0881Socket774 (ワッチョイ 0387-7TBo)
垢版 |
2018/10/28(日) 13:43:12.88ID:6CuJXPyx0
超大手の需要が容量第一になっている以上SMRは主流・一般化する
残念ながら読み速度に関して全く問題がないこと
それでいて約1.4倍まで高密度化できてしまう
とにかくHDDは容量を増やすことしか大手は要求していない
速度が必要な場合はSSDキャッシュなり、他にいくらでも対応できてしまうし
0882Socket774 (ワッチョイ a18e-JHIh)
垢版 |
2018/10/28(日) 13:44:55.35ID:IMLOcjbB0
>>878
高性能のドライブもHAMRやMAMRの次は二次元や三次元記録になるから
SMR的なブロック書き込み処理になるよ。

なので容量を犠牲にしたCMR(アシスト記録)か、
つかいやすさを犠牲にしたSMR(二次元三次元)になる
0883Socket774 (ワンミングク MM1b-VDwY)
垢版 |
2018/10/28(日) 13:45:49.47ID:iPbLYp31M
BSのWOWOWは24Mbpsね。赤緑同時録画でさえ48Mbps。
0884Socket774 (ワッチョイ 5927-7TBo)
垢版 |
2018/10/28(日) 13:53:30.58ID:RjuUg7Hu0
地デジの単一ストリーム録画程度で失敗してる人はチューナーに問題がないか確認したほうがいいと思うの
BS合わせた4ストリームをベンチの裏で実行させたけど録画失敗しなかったし(これだけで問題ないと結論付けはできないが)
0885Socket774 (ワッチョイ a1f8-NcUb)
垢版 |
2018/10/28(日) 14:07:49.40ID:F0Gj3W7v0
>>880
今のところ、8Kの高画質で1時間番組を3本録画すると150GBくらいになるんだけど、1時間以内に書き込みを終えることが
出来るかどうか不安が残るんだけど。
処理が遅延しているときに次の録画予約が始まったら破綻しそう。
結局、キャッシュできている間のビットレートなんてどうでも良くて、1ファイルの総容量を短時間に書き込み終えることが出来るか
どうかが大事なんじゃないかなー。
0886Socket774 (ワンミングク MM1b-VDwY)
垢版 |
2018/10/28(日) 14:30:02.68ID:iPbLYp31M
>>885
ノンリニア編集で4k/8k あるいは劇場用とか。というなら機器メーカーに
問い合わせた方がよいでしょうね。

何年か前にピクサーは自前で10GBのイントラバックボーンにペタバイト級の
HDDアレイ鯖繋げていつでもどこでも社内で編集できるノンリニア編集システムを
自前でLinuxをカスタマイズして構築したという話だけども。技術力があるプロは
既製品なんか買わない。自前らしいですよ。御自分でどうぞ。
0887Socket774 (ワッチョイ a1a3-Hga/)
垢版 |
2018/10/28(日) 16:54:51.79ID:M/AtS48c0
>>879
>>874くらい見なよ


>>886
> 技術力があるプロは
> 既製品なんか買わない。自前らしいですよ。御自分でどうぞ。

だんだんキレてる感触
なんで?
0891Socket774 (ワッチョイ d14e-SwYg)
垢版 |
2018/10/28(日) 18:37:27.76ID:mC3YvA8s0
>>874にも書かれてるが、>>529の論文をちょっと読んでみた

SeagateのDrive Managed-SMRは、とりあえずキャッシュ領域がいっぱいになるまで書き込んで、アイドル状態等になればSMR領域に書き込む方式
だからキャッシュに書き込んでるうちは、書き込み速度はCMR以上または同等だが、キャッシュがいっぱいになると随時キャッシュから読み込んでSMR領域に書き込みをしていくので、急激に速度が落ち込む
Windowsのエクスプローラで0MB/sと表示されるのは、キャッシュ領域がいっぱいになってて書き込めなくなるから、ということかな

対してWDのDM-SMRは、キャッシュに書き込みながら、随時SMR領域に書き込んでいく方式
だから書き込み速度はSeagate方式よりも遅くなるが、Seagateのようにキャッシュ領域がいっぱいになることはまずないので、速度の低下もあまり起こらない

論文で書き込み速度を比較しているが、DM-SMRは、SeagateもWD共に初めはCMRよりかなり早い
Seagate方式はキャッシュ領域がいっぱいになる(100s以内)と急激に速度低下し、その後0.01〜0.03MiB/sをキープ
CMRの正確な速度がつかめないが、仮に0.5MiB/sとすると、CMRと比較するとかなり遅く感じ、最初の書き込み速度から考えると、かなり遅く感じるはず
対してWDは、200sを超えたあたりでCMRと速度が逆転、これはキャッシュが埋まっていっているからだろう
ただそれでもSeagate方式のように0.01MiB/sとかにはならず、0.1MiB/sを下回るくらい
CMRと比較しても5分の1程度、ちょっと遅いとは思うが、めちゃくちゃ遅いとは感じない程度じゃないかな?
ただ、もっと続けてキャッシュ領域がいっぱいになると、Seagate方式のように急激に遅くなるのかも?

また論文にはST8000AS0002の図が載ってるが、キャッシュ領域は25GiB、SMR領域は8TBだそう(GiBとTBは論文表記まま)
8TB HDD以外で25GiBもキャッシュ領域があるかは不明だが、SeagateがDM-SMRと黙ってコンシューマー用に採用する理由は、一般人が普通に使う分にはキャッシュが溢れることはないだろう、って考えてるからなのかもしれないなと

SeagateのDM-SMRの評価は多く聞くが、WDのDM-SMRはまだ出始め(WD製外付けにはあったが)ってことで評価がまだ分からない
どっちが優れているのか、なかなか見ものだなと思うね
0892Socket774 (ワッチョイ 5387-o1DS)
垢版 |
2018/10/28(日) 19:45:41.21ID:ETH4+eVm0
現在の両社のドライブがどういう制御になってるかは分からんけど、
現在でも>>529と同じ制御であれば、個人的には無反応になるよりかはWDの制御のほうがいいかなぁ
しかしWDの方はかなりヘッド忙しそうだなw
0893Socket774 (ワッチョイ 7389-nh9x)
垢版 |
2018/10/28(日) 19:57:01.58ID:Bx+KSsh40
>>891
ロクに読まずに聞くけど、Seagate はキャッシュがいっぱいにならなければヒマでもSMRに書き戻しに行かないってこと?
0895Socket774 (ワッチョイ 5387-o1DS)
垢版 |
2018/10/28(日) 20:23:20.77ID:ETH4+eVm0
>>893
だったらいつSMR部分に書きに行くんですか!w
暇なときやっとかなきゃいずれ常時遅くなっちゃうじゃないの
0896Socket774 (ワッチョイ bfec-o90R)
垢版 |
2018/10/28(日) 20:51:44.96ID:B4RazBUj0
メーカーによってSMRの挙動が違うのか
面白くなってきたねー君達
0897Socket774 (ワッチョイ d14e-SwYg)
垢版 |
2018/10/28(日) 20:52:26.61ID:mC3YvA8s0
>>893
書き込みがなくなれば、キャッシュ領域からSMR領域に移す
HDDが暇になれば、SMR領域へ移動させてるって感じ
ただキャッシュからあふれるくらいのデータが入ってきたらHDDは暇になれず、キャッシュパンパンの状態でSMR領域へ移動させることになるから、激遅になる
0898Socket774 (ワンミングク MM3b-VDwY)
垢版 |
2018/10/28(日) 21:42:44.53ID:9onBgld3M
>>891
その0.1とか0.01とかの数値は4KiBの極小ファイルを連続的に書き込んだ場合の値ですね。
linuxのファイルアロケーションは基本的にランダムで完結的。ファイルが重なってフラグメントを
生成しないように配置するアルゴリズムで動くので、単純に4Kファイルを連続生成した時の
時系列な表のようですね。

Seagate ST8000AS0002 DM-SMR disk that was recently studied in detail .
With an average band size of 30 MiB, the disk has over 260,000 bands
with sectors statically mapped to the bands, and a --25 GiB persistent cache
that is not visible to the host. The STL in this disk detects sequential writes and
starts streaming them directly to the bands, bypassing the persistent cache.

↑引用の最後部分にあるように、AS0002は入力データがセクターランダムじゃなく、
シーケンシャル書き込みであると判断した場合、キャッシュをバイパスしてスッ飛ばして
バンドに直書きする。らしいですね。ファイルコピーのような連綿連続書き込みする場合は
単純に直書きするだけみたい。俺のトランセンドの8tbはこの AS0002内蔵だけれど
ファイルコピーは実に高速なので、上記の解説と動作が合致しているように思える。
0899Socket774 (ワッチョイ a1a3-Hga/)
垢版 |
2018/10/28(日) 21:44:21.11ID:M/AtS48c0
>>891
CMRの仮定速度が変
平均100MiB/sくらいはあるんじゃないの?

あと方式違いで減速時0.1MiB/sと0.01MiB/sだったとしたら、【誤差】みたいなもんになって論ずる必要もないのでは
0901Socket774 (ワッチョイ a18e-JHIh)
垢版 |
2018/10/28(日) 22:11:01.22ID:IMLOcjbB0
>>890
7枚はヘリウムじゃないとダメ言われてたのについに7枚の薄いプラッタでも空気中で回せるようになったのね。
0902Socket774 (ワッチョイ d14e-SwYg)
垢版 |
2018/10/28(日) 23:09:20.49ID:mC3YvA8s0
>>898
適当に読みすぎていた、大変申し訳ない
シーケンシャルであれば特に問題はないけど、ランダムだと明らかな速度低下が見られるということですな
0903Socket774 (ワッチョイ 5387-o1DS)
垢版 |
2018/10/28(日) 23:37:06.26ID:ETH4+eVm0
今のSeagateの4TBは上の資料の8TBのディスクよりも大きなバッファを持ってるんですねぇ…(128MB→256MB)
25GiBのキャッシュと書いてるがこれも今はもっと大きいんだろうか
いずれにしろ無反応に近くなるのは嫌だな…
0904Socket774 (ワッチョイ f925-JHIh)
垢版 |
2018/10/29(月) 08:22:55.88ID:0OI0tPE40
検索してたらSeagateのFirmware部門の人の発表スライドあった
https://www.snia.org/sites/default/files/SDCEMEA/2018/Presentations/Techniques-for-Shingled-Disks-SNIA-SDC-EMEA-2018.pdf
そのグダグダ発表映像 HM-SMRの話題が中心でDMについてはさらっと流してる
https://youtu.be/nGcwVYbkePs

https://youtu.be/nGcwVYbkePs?t=271
俺自身は気付かねーがへビーユーザーならDM-SMRだと遅くなるのに気付くかもしれん
でも顧客は90%以上のケースでCMRと置き換えて問題なく使ってるって報告聞いてるからええやろ
https://youtu.be/nGcwVYbkePs?t=1297
詳しいことは省略するがDM-SMRは持続的ランダム書き込みが問題
でも新ファームウェアなら512Kサイズくらいまでのランダム書き込みでCMRよりも高性能だぞ
https://youtu.be/nGcwVYbkePs?t=1379
たくさんの監視カメラで同時録画すると90%書き込んだ辺りでファイルシステム(Ext4)のメタデータ更新
のせいでキャッシュを使い尽くしてモッサリし始め100%になるとはっきり性能が落ちるぜ
CMRと違ってDM-SMRは性能がディスクの使用状況に左右されるから注意しろよ

HDD使い倒す一般ユーザーだっているんだから他にCMRが選択できる間はやっぱりSMRを明記すべきかな
0906Socket774 (ワッチョイ ff7c-7TBo)
垢版 |
2018/10/29(月) 09:09:49.11ID:oA5nb2oh0
CMR-メディアキャッシュでは問題ないんかね?
溢れそうになったらメディアキャッシュ使わないだけなんだろうけど。
0907Socket774 (ワッチョイ 1711-1fdV)
垢版 |
2018/10/29(月) 10:28:09.93ID:Lct9MSwz0
>>847
>SSDある時代にHDDでRAID0なんてやらないでしょ
ひどいなぁ。エンコード用の一時データ置場にSSDはもったいないじゃない。
シーケンシャル早くて大容量ならなおよし。信頼性は要らない。まさにRAID0。
0909Socket774 (ワッチョイ 1711-1fdV)
垢版 |
2018/10/29(月) 13:34:09.85ID:Lct9MSwz0
>>908
そういう発想なんだろうね。
データは使い捨てだけどシステムは使い捨てじゃないからね。
Writeのワークロードが多いからSAS HDD入れてるよ。
0910Socket774 (ワッチョイ edfd-NcUb)
垢版 |
2018/10/29(月) 13:50:53.24ID:2tmNhL6O0
SMRって明記しなくてもいいけど、「このHDDは、連続した25GB以上の書き込みを推奨しません」ってパッケージか
ラベルに書いてもらえると助かるなw
0913Socket774 (アウアウクー MM23-heIY)
垢版 |
2018/10/29(月) 14:21:44.13ID:ZPzi3OsqM
連続しなければいいだろ
0914Socket774 (ワッチョイ 5387-o1DS)
垢版 |
2018/10/29(月) 15:09:56.61ID:9gju/IhI0
>>904
んん?良く分からん
512kぐらいまでのRandomWriteなら持続的に書き込み続けてもキャッシュ食いつぶすことは無いってこと?
0916Socket774 (ワッチョイ ff7c-7TBo)
垢版 |
2018/10/29(月) 15:57:33.23ID:oA5nb2oh0
今後も使われるブロック書き込みのアルゴリズムなんだし、
技術アピールで発表はしても、肝心な部分は言及無しなんじゃないのかね。
0918Socket774 (スップ Sddb-SwYg)
垢版 |
2018/10/29(月) 17:24:39.30ID:jGUKQ2N+d
海門のSMRの仕様だけなのかはわからんけど、ST8000AS0002は、シーケンシャルライトと判断すればキャッシュじゃなく直接書き込みするので、CMRより早い
しかしランダムだと一旦キャッシュに溜め込んで、暇になったらSMRに書き込みにいくので、キャッシュがいっぱいになるとかなり遅くなる
0920Socket774 (ワッチョイ d3e0-3UDA)
垢版 |
2018/10/29(月) 17:37:30.95ID:O2ExhHPv0
って事はHDD内部で判断してるわけね
東芝の資料にあった「そういうのも開発した」と言うのが最初のSMR製品で既に使われていると
0921Socket774 (ワッチョイ a1f8-NcUb)
垢版 |
2018/10/29(月) 17:56:32.33ID:2qOgI9py0
>>918
あの、シーケンシャルライトなら8TBを最後まで100MB/秒程度で書き終えることが出来るなら使い勝手が良くなるよ?
でも、実際はそうじゃないから面倒なことになってるんだよね?
0925Socket774 (アウアウウー Sa5d-S3gW)
垢版 |
2018/10/29(月) 19:20:35.53ID:T5wbD/DKa
SMRは書き換えが多いデータの格納は不向きだから
ゲームのデータみたいなROM的な使い方は良いよね
録画なんかは同時に複数のファイルをオープンする
上に消去上書きでファイル構成がバラバラになりやすい
傾向があるからCMRの方がパフォーマンス維持ができる
0926Socket774 (ワンミングク MM3b-VDwY)
垢版 |
2018/10/29(月) 19:57:06.53ID:aZJRDVqYM
>>921
最後まででは知らんが、エクスプローラのステータス赤なAS002同士のGBファイルコピーでは
今だに120MB/sで完遂できている。快適。

>>924
残念ながら常に読み込みは速い。というわけではない。BTで15本同時DLしたファイルみたいな
ファイル生成時にブロックセクターランダムでアペンドされ続けられたファイルみたいに読み出し
途中でヘッドシーク不可避なファイルの読み出しは遅い。20-60MB/s程度。100超えない。winの場合。

>>925
所謂録画機はLinux系のファイルシステムなので、HDD使用率が90%程度まででは
基本的にフラグメントは生じない。だそうです。なので録画機にはデフラグツールは無いし
一般的なLinuxのディストリでもデフラグツールは常備されてはいない。winでは事情異なるけど。
0927Socket774 (ワッチョイ d14e-SwYg)
垢版 |
2018/10/29(月) 20:29:42.60ID:cdca0WKn0
一直線で書き込んでいくデータだと、書き込みも読み込みも早いってことかな
ランダムアクセスができる磁気テープ、と例えたら分かりやすいかも?
0928Socket774 (ワンミングク MM3b-VDwY)
垢版 |
2018/10/29(月) 21:30:12.57ID:aZJRDVqYM
>>927
一気書き一気読みしかできないテープ装置と一気書き一気読みが最高速というSMRは似ているかもね。
大昔、MT-2というテープ装置のドライバーを書いた時、重要だったのはデータファイル間のギャップ処理。
ココを間違えると書き込みデータが潰れる。後年のFDDとかHDDにはCRCエラーチェックでデータの正確さを
確認するものだが、セクター間のギャップが崩れる事がファイル破壊と同義。

セクター単位でRWするCMRなHDDはデータを書き込む際、上書き込みセクターの数だけ、このギャップを
壊す危険性がある。ところがSMRなHDDは基本バンド一本をギャップ込み込みでまる書きするのでギャップを
壊す可能性は少ない。たぶんギャップのサイズも短くして容量を増やしているのかもしれない。
たとえ話で言えば、100円ショップで商品を100個買って百円玉100個で支払うのがCMR。1万円1枚で支払うのがSMR。
百円玉決済だと計数中に2枚重なっていて数え間違えると支払いはおかしくなるが1万円札なら大丈夫かもね。みたいな。

SMRなHDDが鯖用途でよく使われているのは、単に容量だけでなく、この一気書きが書き込み精度向上に
役立つ技術だから。かもしれない。 コレは単なるヨイショネタですけどね。
0929Socket774 (ワッチョイ 5b7c-7TBo)
垢版 |
2018/10/29(月) 22:15:19.08ID:F3VhGLES0
どうでもいい能書きばっかだな
SMRでIntel Optaneメモリ試したとか
上手い使い方試す奴はいないの?
0933Socket774 (ワッチョイ 3f05-JHIh)
垢版 |
2018/10/29(月) 23:54:50.00ID:61OW6Yy30
未だ大多数を占めるであろうWindowsユーザに、救済措置はなさそうだな
SSD使え、SSD(MS)
ってことなんだろうなw
0934Socket774 (ワッチョイ a1a3-p7w7)
垢版 |
2018/10/30(火) 04:29:24.98ID:we4j/VBG0
>>928
ユーザーがヨイショするのは「今回買い物に失敗したかも知れんけどよかった探し」の
心理以外にないで!
0936Socket774 (ワッチョイ 817c-VDwY)
垢版 |
2018/10/30(火) 07:21:40.17ID:l1Nl/a290
>>935
Extending Magic Pocket Innovation with the first petabyte scale SMR drive deployment
https://blogs.dropbox.com/tech/2018/06/extending-magic-pocket-innovation-with-the-first-petabyte-scale-smr-drive-deployment/

↑みたいな鯖屋の例が面白い。SASな14TBのHDDを搭載した20コア96GBの鯖ユニットに
切り替えたことで筐体サイズ同様で2.24のストレージ増強できて費用コストを大幅に下げられた。
らしい。NICは50GB/s。これで40〜45GB/sのスループットを実現しているんだと。
さらにRAIDはあまりにwrite cacheエラー多過ぎで廃棄し、SSDで代替。トランザクションを
最高速で保護しているのだとか。スループットの高速化はバックアップ 能力の高速化も兼ねる。
鯖屋にとってストレージパワーは企業の収益力と同義だから右肩上がりで増強するのが当たり前ですからね。

Dropboxごときでこんなのであるから、YouTube/Googleの鯖なんて想像を絶するほどに
スゲーだろうな。と思う。
0938Socket774 (ワッチョイ 1f84-XO7P)
垢版 |
2018/10/30(火) 08:04:16.37ID:LJ2z0IoX0
その辺のクラスのサービスやってるとこがハードウェアRAID嫌うのは分からんでもない
ぶっちゃけブラックボックスだからな
0939Socket774 (オイコラミネオ MM4b-2Rl4)
垢版 |
2018/10/30(火) 08:59:38.88ID:x73HrHTIM
SMRが鯖で使われるのはHGSTのホストマネージドなドライブも有るしわかるんだけど、
「よく」使われるの?
CMRよりも使われるの?
という意味でした。

最大の問題であるドライブマネージドからくる問題も無いだろうし
デスクトップ環境よりは使いやすいんだろうけど。
0940Socket774 (ワッチョイ edfd-NcUb)
垢版 |
2018/10/30(火) 10:41:33.97ID:7o0hqALi0
フラッシュメモリーでは、部分的に1回書き込み(SLC)で消費する領域をキャッシュにすることで速度を稼いでいるけど、
SMRのメディアキャッシュも同じように瓦処理しないでCMRのように1回書き込みする領域の事をいうのかな?
0941Socket774 (ワッチョイ 73a7-JHIh)
垢版 |
2018/10/30(火) 15:56:18.90ID:Sd6PXJl30
>>720
本体が3.5インチに比べるとかなり軽いしね
当たり前だけど、
3.5インチは重いから衝撃に弱いし、数cmの低い位置でも落としたら衝撃がすごい
0942Socket774 (ワッチョイ 73a7-JHIh)
垢版 |
2018/10/30(火) 15:59:10.27ID:Sd6PXJl30
リロードしたつもりがされてなくて、すんごい亀レスになってしまった
ごめん、無視して
0945Socket774 (ワッチョイ 53ec-Y1Ee)
垢版 |
2018/10/31(水) 09:11:20.03ID:fOMqrtU40
>>944
かなり前の話題はアンカーつけないとわからない

>>841のリンク先の事象なら明らかにおかしい。
RAID5は最低3台を同時に使うからRAID5のパリティ処理があってもHDD1台より早くなる。
10MB/secならだれもRAID5なんて使わない。
RAID5系はenterpriseのRAIDでもっとも使われている構成だよ

RAIDでSMR HDDが使い物にならないなら今後もCMR HDDは売られるの確実だな
0946Socket774 (オイコラミネオ MM09-nh9x)
垢版 |
2018/10/31(水) 09:18:56.58ID:Sa43yTLGM
>>945
>パリティ処理があってもHDD1台より早くなる
読み込みは速くなるが書き込みは速くならないだろ。
パリティ更新するには今上書こうとしているデータとそれに対応するパリティを事前に読み出して再計算した上で書き戻すか、同じチャンクのデータを全部読んでパリティ計算して書き戻す必要があるんだから。
0947Socket774 (ワッチョイ 53ec-Y1Ee)
垢版 |
2018/10/31(水) 10:04:19.24ID:fOMqrtU40
>>946
パリティ計算で負荷あるのは事実だけどwrite 10MB/sはおかしいでしょ
software RAID5のbenchmark探してみたがもっと速かった。
SMR特有の問題としか思えない
0949Socket774 (ワッチョイ 1f84-XO7P)
垢版 |
2018/10/31(水) 10:33:05.74ID:r/LKFrTt0
>>944
Storage SpacesとハードウェアRAIDごっちゃになってる人いるね
ハードウェアRAID5ならSMRでも問題ないって報告してた人が前にいたような
レス数が950を超えています。1000を超えると書き込みができなくなります。

ニューススポーツなんでも実況