617を書き込んだ者です。

infinibandを買ってみました。
Connectx-2 を二枚とケーブルで送料とか全部込みで6000円弱でした。ebayとかヤフオクで。ebayは初めて使いました。

Connectx-2のinbinibandモード（40Gbps）はFreeNASが対応してない？ので、イーサネットモード10Gbpsで動かしました。
購入したケーブルは安物の規格のものらしいので、本来の性能が出ていないのか、iperfで測定して5.2Gbpsでした。
https://imgur.com/pxQJ0vD
システムモニタでは5.4Gbpsですが。

SMBマルチチャンネルも使っているので、ネットワークの最高速度はConnectx-2 5.2Gbps + オンボードLAN 1Gbps で約6.2Gbps＝770MB/sになっています。
Windowsのシステムモニターでみると両方のグラフがあがります。

ディスクに実際に書き込んでみるとシーケンシャルはネットワーク速度と同じぐらいの速度で頭打ちになっているようです。
https://imgur.com/mvWAas4

WD Red 8TBのカタログスペックが210MB/sなので、680MB/sはその約3倍程度の速度ですね。
HDD　6台なので、最大6倍の速度？だと1260MB/sで10080Mbps＝約10Gbps程度ですか。
そこまで速度をもっていくのは面倒なのでしばらくこのままで使っていきます。