NECと米ホートンワークスは2018年10月15日、ビッグデータ向けの高速分析プラットフォームを共同で開発することを発表した。NECのスーパーコンピューター「SX-Aurora TSUBASA」上で、人工知能(AI)などアプリケーションの処理効率を上げ、高速化を実現する。

NECが17年10月25日に発表したスーパーコンピューター「SX-Aurora TSUBASA」。写真は拡張カード型のモジュール「ベクトルエンジン」を8個搭載したラックマウント型の例

具体的には、ビッグデータの分散処理を支えるプラットフォーム、Apache Hadoop/Spark環境上でCPU(中央演算処理装置)やメモリーなどのコンピューターリソースの各ジョブへの割り付けやスケジュールを管理する基盤「YARN(ヤーン)」に新たに対応する。これにより、Hadoop/Spark向けに開発された解析プログラムがSX-Aurora TSUBASA上で利用できるようになる。同時に解析に必要なリソースを大幅に減らせる。

NECが開発した機械学習向けのデータ処理ソフト「Frovedis(フロベディス)」をSX-Aurora TSUBASA上のSparkに新たに組み込む。これにより、AIの機械学習アプリケーションが最大100倍高速に動作するという。また、Spark用の機械学習用のライブラリ「MLlib(エムエルリブ)」などを、Hadoop/Spark向けと同じ管理環境で利用できるようにする。

SX-Aurora TSUBASAはNECが開発したベクトル型のスーパーコンピューター。高性能計算(HPC)用途のほかに、需要予測など企業のビッグデータ解析の用途を開拓することを期待している戦略商品だ。今回の関連製品の共同開発で、金融や流通、医療、画像解析といった新分野でのビッグデータ分析やAI、機械学習といった領域への売り込みの拡大を目指す。

■NECが17年10月25日に発表したスーパーコンピューター「SX-Aurora TSUBASA」。写真は拡張カード型のモジュール「ベクトルエンジン」を8個搭載したラックマウント型の例
https://www.nikkei.com/content/pic/20181016/96958A9F889DE1E4E7E6E3E0E5E2E3E4E3E2E0E2E3EAE2E2E2E2E2E2-DSXZZO3654129016102018000000-PN1-4.jpg

日本経済新聞
https://www.nikkei.com/article/DGXMZO36541270W8A011C1000000/