【LLM】1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も [すらいむ★]

**すらいむ ★** · 2024/02/28(水) 23:09:44.46

1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も

　2月は中国では春節というお正月があり、春節にはみんな休む。
　それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。
　春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。
　もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。

　そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

　もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。
　しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。
　しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。

（以下略、続きはソースでご確認ください）

wirelesswire　2024.02.28
https://wirelesswire.jp/2024/02/86094/

**名無しのひみつ** · 2024/02/29(木) 09:14:37.68

7年くらい前に
「i7 6700のみを搭載したマシンに比べて
i7 6700 + GTX1080ti搭載マシンで深層学習を行ったら
20倍速かった」って話は出ていた

より性能の低いGPUだと15倍とか12倍とかになったなあ
CPUで10分掛かる計算が50秒で終わっていたり
いずれにしてもCPUだけなら業務時間8時間潰れるくらいの計算が
40～50分あるいは30分以下で終わってくれるなら有難い事だろうな

でも今のcudaコア数が10000を超えるような最新マシンだと
GTX1080tiの3倍以上だからi7 6700だけなら8時間かかる計算が10分で終わる？って考えたくはなるが

まあスレッドリッパー使ったら3～5倍くらい速かったって報告もどっかで見たけどなｗ

**名無しのひみつ** · 2024/02/29(木) 09:23:21.53

log3/log2=1.58ビットということか

あ · 2024/02/29(木) 09:31:49.82

ゲイツさあ

**名無しのひみつ** · 2024/02/29(木) 09:45:17.12

GPUだからってAMDがいいわけじゃない
使用に適したソフト、開発環境そういった
諸々を抑えてるからNVIDIAが優位なわけで
有力な技術がでようが
そう簡単に逆転を許すはずもないね

**名無しのひみつ** · 2024/02/29(木) 09:53:29.20

ゲイツは名誉チャイニーズなのか

**名無しのひみつ** · 2024/02/29(木) 09:56:10.59

MSの中国人はハイプな仕事しかしてない
騙し

今は4bitいや5bitが正解

**名無しのひみつ** · 2024/02/29(木) 10:03:02.64

ハッタリ臭いな。

中国からノーベル賞級の
独創的な発明など未だ無い
もんな。

**名無しのひみつ** · 2024/02/29(木) 10:35:02.36

>>7
ノード数が数十倍に増えるけどなwww

**名無しのひみつ** · 2024/02/29(木) 10:45:06.54

まだ様子見だな
GPU無しでStable Diffusion動くようになったら褒め称えるわ

**名無しのひみつ** · 2024/02/29(木) 10:53:31.33

とりあえず、この技術を使ったデモが見てみたいな
ChatGPTみたいに会話するとか画像生成するとか
そしてそれをどんなスペックのマシンで出来るのか
それを見てみないと何とも言えない

**名無しのひみつ** · 2024/02/29(木) 10:56:50.01

>>18
2行くらい後は読めないのか？

**名無しのひみつ** · 2024/02/29(木) 11:17:44.07

情報理論的にはe(2.6)bitが最適だが

**名無しのひみつ** · 2024/02/29(木) 11:25:46.79

>>11
中国はよくバカにされるが、AI分野では大国だよ。

**名無しのひみつ** · 2024/02/29(木) 11:31:33.77

エヌビディア終わる？

**名無しのひみつ** · 2024/02/29(木) 12:15:04.81

LLVMより早そう

**名無しのひみつ** · 2024/02/29(木) 12:17:10.56

>>15
ひとつ、ふたつ、みっつ、たくさん
ゼロも必要だな。

**名無しのひみつ** · 2024/02/29(木) 12:37:51.34

次は更に減らして01でできるかという挑戦か

**名無しのひみつ** · 2024/02/29(木) 13:22:18.19

>>36
動くぞ
遅いだけだ

**名無しのひみつ** · 2024/02/29(木) 19:27:18.28

単にウエイトの係数の話だろ

**名無しのひみつ** · 2024/02/29(木) 20:42:26.24

１メガショック

**名無しのひみつ** · 2024/02/29(木) 21:39:18.88

いまだに現金使ってる国に言われたくないだろうな

**名無しのひみつ** · 2024/02/29(木) 21:41:17.81

>>48
自国通貨に信用がないだけだろw

**名無しのひみつ** · 2024/02/29(木) 22:23:23.32

今夜のうちにNVIDIAの株売っとけよ

**名無しのひみつ** · 2024/02/29(木) 22:24:23.93

ちょいと調べたけど本物っぽいし

**名無しのひみつ** · 2024/02/29(木) 22:41:58.89

前にも似た話を聞いたきがするのだが
国内の研究だったはず

**名無しのひみつ** · 2024/03/01(金) 07:42:38.57

３レベルロジックって、また古の技術が復活したもんやな

**名無しのひみつ** · 2024/03/01(金) 08:38:30.07

エヌビディアがこれ専用のプロセッサを作ればいいだけでは

**名無しのひみつ** · 2024/03/01(金) 10:26:49.06

東京理科大学のスパースターナリーニューラルネットワークAIチップかな

**名無しのひみつ** · 2024/03/01(金) 13:58:43.65

Microsoftが1.58ビットの大規模言語モデルをリリース、行列計算を足し算にできて計算コスト激減へ
https://gigazine.net/news/20240229-microsoft-1bit-llm/

やっぱりそうだったかという感じ
複雑過ぎるのは脳に無理

**名無しのひみつ** · 2024/03/01(金) 15:05:55.63

>>56
ちょっと意味が分からない
必要な計算してないし結果も正しく求められてないじゃん

**名無しのひみつ** · 2024/03/01(金) 15:41:22.81

nvidia高原からの壮大な滝を見れたら感動するだろう

**名無しのひみつ** · 2024/03/01(金) 18:09:09.27

これ主流になったら記憶素子メーカーの大逆転ありえるな

**名無しのひみつ** · 2024/03/01(金) 20:48:56.07

ソフトウェアもアナログからデジタルに移行って感じか
(ちょっと意味不明)

**名無しのひみつ** · 2024/03/01(金) 23:37:45.08

専用ハード開発しなくてもFPGAで論理回路組めば高速に演算できそう
RTX3060はヤフオクにだしてFPGAボード買うか

**名無しのひみつ** · 2024/03/01(金) 23:47:38.80

これ速さもそうだけど、電力を大幅に節約できるのがでかいだろ

**名無しのひみつ** · 2024/03/01(金) 23:57:51.04

1行も論文見てない驚き屋がBitNet b1.58ではなく
BitNetの論文のリンク張ってて底が知れる

**名無しのひみつ** · 2024/03/02(土) 02:49:10.73

Binary and Ternary Natural Language Generation
https://arxiv.org/abs/2306.01841
W2A8
W1A8

Token-Scaled Logit Distillation for Ternary Weight Generative Language Models

https://arxiv.org/abs/2308.06744
W2A16

驚き屋が驚かなかった先行研究
3値を1.58bitと表現したことで驚き屋が食いついた模様

**名無しのひみつ** · 2024/03/02(土) 03:16:07.86

3値なんだから、マイナス電流使ってアナログコンピュータ化か？

**名無しのひみつ** · 2024/03/02(土) 03:42:13.55

それはちょっと実装に時間がかかりそう
目先は2bitでやるんと違う？

将来的には3値DRAMとかFLASHを応用して超並列化

**名無しのひみつ** · 2024/03/02(土) 13:41:38.30

>>8
ここ科学N+だけど、それでもMSR又はMSRAて有名じゃないのか・・・・・

**名無しのひみつ** · 2024/03/02(土) 13:53:51.51

二値だともっと簡単になるが、三値との比較はだれかやったのだろうか

**名無しのひみつ** · 2024/03/02(土) 14:46:49.73

null,-1,0,+1で実質４値かもしれない

**名無しのひみつ** · 2024/03/02(土) 17:26:37.76

http://rio2016.5ch.net/test/read.cgi/math/1702392788/184-187

**名無しのひみつ** · 2024/03/03(日) 11:54:21.51

パルスの密度で０から１の間のアナログ値を近似すれば、
足し算的な計算（正しい足し算ではない）は２つのお互いに相関のないパルス列のORで、
かけ算の計算は２つのお互いに相関にないパルス列のANDで実現できる。
　ただし、複雑な演算をパルス列のままでやると、相関がある信号同士のANDやORでは
かけ算や足し算にならなくなる。ときどき整流してアナログ値に戻して、そのアナログ
値を元にして再びパルス変調するとか、面倒なことになりそうだ。

**名無しのひみつ** · 2024/03/03(日) 13:51:03.34

オーディオも高速1bitがハイエンドだけど粗密で記憶するのかしら

**名無しのひみつ** · 2024/03/06(水) 09:24:08.99

GPU不要というより、より効率的な新たなデバイスが出来るという事やわな

**名無しのひみつ** · 2024/03/06(水) 23:08:08.15

これCGとかのAI以外のGPUも駆逐する可能性あるな

**名無しのひみつ** · 2024/03/08(金) 13:07:41.15

1月26日LSI合同ゼミ＠Waseda
D級アンプの性能改善
群馬大学大学院工学研究科
電気電子工学専攻小林研究室
趙楠
https://kobaweb.ei.st.gunma-u.ac.jp/news/pdf/LSI-38.pdf

昔から（今から50年以上も前から）D級アンプは使われてた。
電力効率が良いのと、負帰還をかけずに直線性の良い大電力への増幅が
可能だったから。ただしスイッチング素子のオンオフ動作が速いことが前提。
それ以前から（真空管回路の時代、たとえば二次大戦中）似たような概念と
して、チョッパーアンプというものがあり、低周波域での増幅器の1/fノイズを
避けて、直流に低周波に近い信号を高周波にオンオフで変調をかけて、高周波
域でだけ増幅することで増幅素子の非線形性による影響を無くして、
安定に大きな利得を得るという方式も使われて来た。

**名無しのひみつ** · 2024/03/08(金) 19:09:01.25

Tensoftflow でロスが下がるのに待ちくたびれてラーメンを食べに店屋に行って帰ってきてみても
まだやっているのを見て、悟った。Tensorflowは使うのをやめよう、人生の無駄だと。

**名無しのひみつ** · 2024/03/09(土) 14:16:51.59

>>76
gpu使って計算したのか？

**名無しのひみつ** · 2024/03/10(日) 07:48:34.90

先日、発表されたGDDR7のデーターバスが3値らしい
量産の基盤技術はあるという事やな

【LLM】1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も [すらいむ★]

【LLM】1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も [すらいむ★]