【スパコン】AIスパコンの能力が「ゼタフロップス」に突入、最強マシンはここにある [すらいむ★]

**すらいむ ★** · 2024/10/19(土) 22:56:19.37

AIスパコンの能力が「ゼタフロップス」に突入、最強マシンはここにある
中田敦

　生成AI（人工知能）に欠かせない高性能なGPU（画像処理半導体）を搭載したAIスーパーコンピューターの処理能力が「ゼタフロップス（FLOPS）」の単位に突入した。
　米NVIDIA（エヌビディア）の最新GPUを10万個以上搭載するゼタFLOPS級AIスパコンが、2025年は複数稼働する見込みだ。

　ゼタFLOPS級AIスパコンの稼働計画をいち早く発表したのは米Oracle（オラクル）だ。
　同社は2024年9月に開催した自社イベントの「Oracle CloudWorld」で、2025年第1四半期に提供を開始するGPUクラウドの1つが、エヌビディアの次世代GPUである「B200」を13万1072個搭載し、その処理能力が2.4ゼタFLOPSになることを明らかにした。

（以下略、続きはソースでご確認ください）

日経クロステック 2024.10.18
https://xtech.nikkei.com/atcl/nxt/column/18/00692/101700143/

**名無しのひみつ** · 2024/10/19(土) 23:01:42.46

ゼータの鼓動

**名無しのひみつ** · 2024/10/20(日) 00:35:17.58

数字だけ見て富岳の2000倍！って考えてしまいがちだが
AIスパコンは単精度で
従来の流体・弾性体計算なんかに使うスパコンは倍精度だから
その差はずっと小さくなるか

とはいっても50倍以上富岳の先に行ってしまった

ラピダス製GPUでも量産しないとダメかなこれは

**名無しのひみつ** · 2024/10/20(日) 01:08:57.71

スパコンっていうか、AI研究者の裾の根を広げるための投資が必要
学生にAIのクラウドをタダで使えるように学校にAIサーバーを増やしたり
ガチのAI研究者に対する補助金を増やさないと

**名無しのひみつ** · 2024/10/20(日) 07:56:47.49

来年あたりGPUの時代が終わってしまう可能性も…

**名無しのひみつ** · 2024/10/20(日) 08:01:02.34

>>5
一度ニューラルネットが出来てしまっていれば
それを流用した推論だけならCPUでも
十分な性能を出せる技術というのが
今年の年始くらいに出来ていたな

だが推論ならできるけど学習はこの手法だと無理って聞いたが、どうなった

あるいは量子コンピュータや光量子コンピュータに期待する人たちもいる

**名無しのひみつ** · 2024/10/20(日) 08:29:53.18

B100って1機1千万くらいだろ
それを13万て…
イーロンも500万円のH200を20万機とか言ってるしすぐ兆円規模投資するな…

**名無しのひみつ** · 2024/10/20(日) 09:29:57.71

>>3
精度の違いに加えて、AIサーバーは単ノードの理論 FLOPS 総和してるだけ。分散処理のスケーリング問題とかボトルネックになる通信速度を無視してるので HPCの演算速度とは比較の土台が違う。
話題の分野ということを主張したいのだろうが、車の馬力を新設工場の生産台数分総和しているようなもので、他に表現なかったの？という、、、

**名無しのひみつ** · 2024/10/20(日) 10:58:46.20

今推論を増やして精度高めたり、シンセティックな学習データ作ったりするようになってるから
GPUいくらあっても足らんよ
日本のスパコン事業なんて金ドブの最たるもんだ

**名無しのひみつ** · 2024/10/20(日) 11:06:13.19

>>8
良い指標を考案して論文上納すれば業績になるから頑張りたまえ

**名無しのひみつ** · 2024/10/20(日) 11:19:43.12

もしもFP2でゼータフロップスだったりしたら、あまり意味が無い数字だな。

**名無しのひみつ** · 2024/10/20(日) 12:08:02.17

AMDのAI GPUや非GPUのAIアクセラレーターをnvidiaのGPUと同様に使えるようにするためのソフトウェア環境の整備もOSSで草の根的にやったり、逆に国費投入に向いてるのでは
GPUだけだと金かかりすぎるし半導体の生産も追いつかない

**名無しのひみつ** · 2024/10/20(日) 15:17:42.99

これAzureやAWSに乗っかってる全計算能力と富岳を比較してるようなもんじゃねーの？

**名無しのひみつ** · 2024/10/20(日) 23:24:38.05

子供の頃はエクサなんて単位は雑学以外で用いる日など絶対無いだろうと思っていた
が、気がつけばそれを越えた単位が扱われている…

**名無しのひみつ** · 2024/10/20(日) 23:50:15.71

キロはK、メガはM
エクサとかゼタとかの記号は何かな？

**名無しのひみつ** · 2024/10/20(日) 23:52:42.86

森羅万象わかっちゃう？そろそろ
神性を備えたかな

**名無しのひみつ** · 2024/10/21(月) 01:49:30.89

1bitでやるとか言ってたよな符号あり1bitだと実質2bitなのかしらGPUよりそういうAI処理専門の
プロセッサ作ったほうが安くてはかどりそう

**名無しのひみつ** · 2024/10/21(月) 05:26:42.21

>>17
それだと既に作られたニューラルネットモデルを使った推論はできるが
データセットを使った学習の性能は上がらない

**名無しのひみつ** · 2024/10/21(月) 13:18:57.45

で、そのAIスパコンの利用用途は何なのだね？

**名無しのひみつ** · 2024/10/21(月) 14:17:49.23

>>19
生成AIとか
深層強化学習による経路・スケジューリング最適化とか

強化学習はロボットの行動決定にも有用だ
しかしその動作をロボット端末内で決定出来ないなら
これらのスパコンにサーバー機能を持たせて
ロボットのセンサー各種(カメラ含む)からこんな状況なんだが次の動作の決定をと知らせてきて
こっちで決定を行ってロボットに送り込むのもあり得るか

**名無しのひみつ** · 2024/10/21(月) 15:56:46.34

>>19
ゴールドラッシュで儲けるコツは、ジーンズを売ること。

**名無しのひみつ** · 2024/10/21(月) 21:51:59.78

そんだけリソース割いても、今の所出来ることがちょい優秀アシスタント程度なのが辛いところだな

**名無しのひみつ** · 2024/10/22(火) 05:57:24.49

端末側のリソースは大幅に削減されそうやけどな…サーバー側はまだ聞かんけど

**名無しのひみつ** · 2024/10/23(水) 01:52:51.04

>>22
人が出来ることを遙かに上回るからこれだけリソース割いてるんじゃ
廃業職種これからどんどん増えてくるからどんな未来になるか

**名無しのひみつ** · 2024/10/23(水) 01:57:03.55

例えだがNHKがニュースを極一部AIに読ませてる。あれ聞く限りニュース読みの地上波職員全員クビにしても大丈夫
そんな職種がどんどん増えてくる

**名無しのひみつ** · 2024/10/23(水) 06:45:24.12

femto, pico, nano, micro, mili, Kilo, Mega, Giga, Tera, Peta, Exa, Zeta, Octa, Nona,

**名無しのひみつ** · 2024/10/23(水) 08:31:49.48

>>26
メガマックはパティ4枚でメガだからという事で独自の演算で
エクサマックやヨッタマックを作っていた人がいたな
今となってはweb初期

**名無しのひみつ** · 2024/10/23(水) 11:40:46.70

>>27
高さエグそう

**名無しのひみつ** · 2024/10/24(木) 06:18:29.82

米国経済しだいやが、数年で一桁上がっていく…10年で1000倍くらいか

**名無しのひみつ** · 2024/10/24(木) 08:01:41.80

立体方向の積層ってどの位出来るのかなあ
細かさが同じでも積層出来れば同じ面積で1億倍くらいになり得る
ただし熱の問題がある

熱を一定方向に逃がす素子がどうたらって話も時々あるが
それを使えるのかどうか

**名無しのひみつ** · 2024/10/25(金) 07:34:08.17

ロジックは知らんが、フラッシュメモリーやと200層超えてるわな

**名無しのひみつ** · 2024/10/26(土) 20:29:06.54

いつ株価バブルがはじけるか興味津々。

**名無しのひみつ** · 2024/10/26(土) 22:42:22.91

チップ1つが100万円とか1千万円とか1億円になったなら、
ほとんどの個人にはもはや関係がない。
秋葉原で i4004を10万円で1つ買うという時代とはまるでべつ

**名無しのひみつ** · 2024/10/26(土) 23:47:45.81

騙されてゼロフロップスのマシンを買わないように。

**名無しのひみつ** · 2024/10/27(日) 04:14:48.69

と言っても、AIがらみはハードもソフトも流動的…Copilot+ PCもパフォーマンス出ないと評判

**名無しのひみつ** · 2024/10/27(日) 19:08:25.43

神が人間を作ったんじゃなくて
神を作るのが人間だったんやんな

**名無しのひみつ** · 2024/10/30(水) 17:00:14.43

神殿のようなサーバー施設を造り、そこに鎮座する全知全能の神としてのAIマシン、
その神に仕えて、お伺いのプロンプトをたてて、お告げを受け取る神官たち。
そのお告げはインターネットを通じて全世界に報じられる。神はかく語られたと。
神殿の庭には二機、裏庭にも二基の原発がある。電源の冗長性を確保するために。
神のお告げに従って電子マネーが発行される。それにはIn God We Trust（神を信じよ）と
いう文字が含まれており、人々が神を信じる限り破綻しないので、じゃんじゃんと発行。
神官たちはホクホクだ。

**名無しのひみつ** · 2024/11/02(土) 08:14:52.50

GOD COINか

**名無しのひみつ** · 2024/11/04(月) 07:38:42.09

AIは大電力を消費するが脳はブドウ糖しか消費しない

コンピュータ以外でAIを組む方法を模索しないと

**名無しのひみつ** · 2024/11/04(月) 08:00:59.92

脳細胞の元になる幹細胞を培養して脳を創るようになるのかな？
人間の脳よりもずっと大規模のバイオ神経回路網を作れるかも。
ただ、学習をどうするのだろうか？

**名無しのひみつ** · 2024/11/06(水) 12:40:33.22

赤子は周りの大人数人から言葉を学習するのに
AIは何万人分もの音声データを必要とする

コンピュータはAIに向いていないのかもしれない。

**名無しのひみつ** · 2024/11/14(木) 21:01:33.83

8/6
【スパコン】理研、「バーチャル富岳」の初版の提供を開始 [すらいむ★]
https://egg.5ch.net/test/read.cgi/scienceplus/1722955395/32-34

11/13
NEC、核融合研究でスパコン受注　45億円で
https://www.nikkei.com/article/DGXZQOUC133R10T11C24A1000000/

**名無しのひみつ** · 2024/11/16(土) 15:39:13.66

NVIDIAとソフトバンク、Blackwell採用の国内最速AIスパコンを構築。
今こそ「ものづくり」に囚われない産業革命の時
https://pc.watch.impress.co.jp/docs/news/1639255.html

**名無しのひみつ** · 2024/11/16(土) 17:43:15.80

>>17
1.58bitね
最近実用的なLLMが出てきて、CPUのみで爆速で実行できたとか
推論はGPU不要になりそう

**名無しのひみつ** · 2024/11/16(土) 17:51:35.56

＞実験室で培養した「ミニ脳」をバイオコンピューターとして使用するというアイデアを研究者が提唱
https://gigazine.net/news/20230302-brain-organoid-intelligence-biocomputer/

これなら電力効率良さそう

**名無しのひみつ** · 2024/11/23(土) 22:57:06.79

天にまでそびえるバベルの塔を作ろうとすれば、
神の怒りにあって、プロジェクトは瓦解する。
それが人月の神話。

**名無しのひみつ** · 2024/12/01(日) 12:19:09.22

人類は何のために超計算機を作るのだろうか。ベンチマークをしてその数値を誇るためだろうか。
ギネスブックに記録を載せるためだろうか。大きな予算を確保してその権勢を誇るためだろうか。

**名無しのひみつ** · 2024/12/03(火) 19:28:36.51

世のパソコンの性能向上がゲームのためになって、
高性能パソコンに対しての熱が冷めてしまったが
それでもスパコンの性能向上にはワクワクする気が少しするね

**名無しのひみつ** · 2024/12/04(水) 02:21:50.88

計算機の性能向上は結構だけど、
その能力を有用とする課題対象へ、
どう可能な限り広範に、有効に
活用するかって視点をおざなりに、
置き去りになってんじゃと危惧。
終わりなき競争の、開発現場も、
推進組織も、行政機関も、せいぜい
ベンチマークで悦に入るようでは、
もうね。

**名無しのひみつ** · 2024/12/04(水) 03:14:40.46

その意味で近年の第三次AIブームは、
確かに革命とも言える大きな進展だ。
ハードウェアもソフトウェアも、
AIに関する投資と開発が進み、
広範な課題に応えていくだろう。

確かにAIの可能性は期待される。
人が思考で成しうる処理のほとんど
すべてを、いずれはAIが可能かも。

現在の人の仕事を支援するどころか、
業務を丸ごと請け負い代行していく。
その日は早晩やってきて、瞬く間に
社会を根底から変えるだろう。

そんな時代の変化に備えるには？

AI関連以外の、
計算機の画期的活用方法、
それが有用な課題対象、
有効なアルゴリズム、
または具現化したモノの実装
（ハードウェアとソフトウェア）を、
生み出すのも一つかと。