【ソフトウェア】単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場 [すらいむ★]

**すらいむ ★** · 2023/02/23(木) 21:41:31.50

単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場

　GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。
　この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモリ容量が限られたGPU単体でも実行するための生成エンジン「FlexGen」が公開されました。

　GitHub - Ying1123/FlexGen: Running large language models like OPT-175B/GPT-3 on a single GPU. Up to 100x faster than other offloading systems.
　https://github.com/Ying1123/FlexGen#readme

（以下略、続きはソースでご確認ください）

Gigazine 2023年02月22日 07時00分
https://gigazine.net/news/20230222-flexgen/

**名無しのひみつ** · 2023/02/23(木) 21:44:24.33

16GBでも何とか動くのが凄いな

RTX4000番台だとRTX4080から使えるって事か
それでもお値段安くないし電気もドカ食いｗ

**名無しのひみつ** · 2023/02/23(木) 23:42:58.43

メインCPUでも16GBなんて無いのに。

**名無しのひみつ** · 2023/02/24(金) 03:49:50.58

い、1060で頼む…

**名無しのひみつ** · 2023/02/24(金) 06:36:23.93

メイン32GBでGBUのVRAMが16GBの構成なら
実用に耐える言語モデルを動かせるようになったか

5年前のBERTなんかは性能も今一つなのに66GB必要だって言われてたなｗ

**名無しのひみつ** · 2023/02/24(金) 07:25:54.32

ベンチマーク環境はわかったけど、なんで16GB T4 or 24GB RTX3090なんだろうな
Hardware: an NVIDIA T4 (16GB) instance on GCP with 208GB of DRAM and 1.5TB of SSD.

**名無しのひみつ** · 2023/02/24(金) 12:43:07.17

>>4
1070ti×2で行けｗ

**名無しのひみつ** · 2023/02/24(金) 13:14:38.78

クラウド使えよ
バカじゃねーの

**名無しのひみつ** · 2023/02/24(金) 19:46:36.50

マイニングの二の舞にするな

**名無しのひみつ** · 2023/02/26(日) 08:28:27.64

Nvidiaが暗躍してんだろ

**名無しのひみつ** · 2023/02/26(日) 13:30:34.50

たった24GBでできます！！
たった24GB！！！
GPUで24GB！
て、手軽だ！！

**名無しのひみつ** · 2023/02/26(日) 15:06:14.07

5年くらい学習させとけよいアルか？

**名無しのひみつ** · 2023/03/01(水) 12:07:48.48

>>6
T4は最新世代の推論専用GPUだから
普通、 AI開発やってるところは学習エンジンにはゲーム GPUは使わない。
学習環境は A100で構築する
A100使ってるところは推論環境もA100をそのまま使う。
推論環境のコストダウンを図りたい場合は T4を使う。
RTX3090とかは小さなベンチャーなら使ってるところも多いかもしれないが
大企業で GPUサーバーで環境構築してることろは RTXだとライセンス違反になる
可能性もあるので基本使えない

**名無しのひみつ** · 2023/03/01(水) 14:12:24.83

IntelのGPUって現時点ではそういう縛りは無いんだよな
まあArc A770じゃ計算能力もRTX3060程度でVRAMは確かに16GBだが
A770でPyTorchを動かした例はLinux上あるいはWin内WSL上でしか
無いみたいだが

Arcシリーズは第2世代のbattlemageで大幅に性能アップと言っているので
そこで計算コア数がRTX3080くらいになってくれることに期待したい、が？？？