0001しじみ ★
2018/10/25(木) 04:47:21.45ID:CAP_USERABCIは富士通が開発を担当し、2018年8月から本格運用を開始した。2018年6月に発表されたスーパーコンピュータ性能ランキングの1つである「TOP500」では、世界5位、国内1位を獲得している。今回の展示では、ABCIの計算ノード内部も公開され、国内初披露となった。
■LINPACKピーク性能は19.88PFLOPS
ABCIは、演算を実行する「高性能計算システム」と足回りの役割を担う「大容量ストレージシステム」で構成する。
高性能計算システムは、計算ノードとして富士通製サーバ「PRIMERGY CX2570 M4」を採用し、1088台の計算ノードを集積する。システム全体のメインメモリは476テビバイト(TiB)。理論ピーク性能は、FP16(16ビット浮動小数点)で550PFLOPS、FP64で37.2PFLOPSとし、TOP500でベンチマークとして用いられるLINPACKでは19.88PFLOPSを達成した。
計算ノード1台の構成として、CPUはIntel Xeon Gold 6148を2基(システム合計で2176基)、GPUはNVIDIA Tesla V100を4基(同4352基)、メインメモリはDDR4-2666規格で384ギビバイト(GiB)、ローカルストレージはNVMe(Non-Volatile Memory Express)接続のIntel SSD DC P4600(容量1.6Tバイトモデル)を搭載する。各計算ノード間と大容量ストレージシステムのインターコネクトには、InfiniBandを用いる。
CPUとGPUの冷却では水冷と空冷を併用。「計算ノード内に3系統設置した冷却ラインで、インレット側が30℃、アウトレット側が40℃の温水により直接水冷を行っている。システムの負荷によって、各ノード内に流れる冷却水の流量を調整しており、最小で毎分2L、最大で毎分6Lとなる」(産総研担当者)。
暖められた冷却水は、計算ラック上部に設置されたCDU(冷却水循環装置)とFCU(ファンコイルユニット)で熱交換され、発生した熱気は屋外設置されたパッシブ冷却塔とアクティブチラーにより冷却する。この冷却システムにより、ABCIの平均PUE(電力使用効率)は1.1以下となった。
■豊富なソフトウェアスタックを用意し、コンテナエンジンもサポート
産総研の担当者は「ABCIは単なるスパコンセンターではない。AIサービスを提供するプラットフォームの役割も担っている」と語る。ABCIを利用したAI開発を加速させるため、AI開発においてデファクトスタンダードとなったソフトウェアをABCIでは広く採用し、ソフトウェアスタックを構成した。
ディープラーニング(深層学習)フレームワークでは、Caffe、Caffe2、TensorFlow、Torch、PyTorch、Chainerなど多種にわたりサポート。開発環境、コンパイラもPythonを始め、GCC、Ruby、R、Javaなどを取りそろえ、もちろんCUDA SDKも用意されている。
特に、DockerとHPC分野で利用が拡大しているSingularityのコンテナエンジン2種をサポートしたことにより開発時の利便性を大きく高めたという。「技術の進歩が著しく速いAI分野では、OSやディープラーニングフレームワークのバージョン管理が課題となる。コンテナサポートによって、ユーザーは希望する計算環境が簡単に整備できるようになった」とした。
続きはソースで
■ABCIの計算ノードである富士通製サーバ「PRIMERGY CX2570 M4」の内部
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image01.jpg
■2基のIntel Xeon Gold 6148とメインメモリ 右:水冷ヒートシンクが外されたNVIDIA Tesla V100
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image06.jpg
■左:水冷ヒートシンク 右:冷却システムの概要
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image07.jpg
■サポートするソフトウェア
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image06.jpg
■ABCIの選べる資源タイプ
http://image.itmedia.co.jp/mn/articles/1810/19/mat20181018aist_image07.jpg
http://monoist.atmarkit.co.jp/mn/articles/1810/19/news039.html