【AI】ChatGPTに匹敵する性能の日本語対応チャットAI「Vicuna-13B」のデータが公開され一般家庭のPC上で動作可能に [すらいむ★]

**すらいむ ★** · 2023/04/06(木) 22:34:55.87

ChatGPTに匹敵する性能の日本語対応チャットAI「Vicuna-13B」のデータが公開され一般家庭のPC上で動作可能に

　Vicuna-13BはChatGPTの90％の性能を持つと評価されているチャットAIで、オープンソースなので誰でも利用できるのが特徴です。
　2023年4月3日にモデルのウェイトが公開され、誰でも手元のPCでチャットAIを動作させることが可能になったとのことで、早速使い勝手を試してみました。

　GitHub - lm-sys/FastChat: The release repo for "Vicuna: An Open Chatbot Impressing GPT-4"
　https://github.com/lm-sys/FastChat/#vicuna-weights

（以下略、続きはソースでご確認ください）

Gigazine 2023年04月04日 20時15分
https://gigazine.net/news/20230404-vicuna-weight/

**名無しのひみつ** · 2023/04/06(木) 22:42:35.46

>>1
メモリー64GBでも足りないようなこと書かれてるけど
一般家庭のPCの殆どは無理だろ🥺

**名無しのひみつ** · 2023/04/06(木) 22:49:37.31

メモリ60GB以上で一般家庭は草

**名無しのひみつ** · 2023/04/06(木) 22:51:10.64

むりくりういんどす11かなんか突っ込んだワイのぺーしーも無理だすね
知らんけど

**名無しのひみつ** · 2023/04/06(木) 22:52:22.10

ういんどすは10で最後だと聞いたキガス
そっからの次は～って

**名無しのひみつ** · 2023/04/06(木) 23:13:49.06

>>1
> GPUを利用する場合、GPUメモリが28GB必要とのこと。

必須GPUメモリ28GBとか逸般の誤家庭なら普通だね

**名無しのひみつ** · 2023/04/06(木) 23:37:45.14

一般庶民には関係ない話だったか
EDGEの奴の方が手頃で十分だな

**名無しのひみつ** · 2023/04/07(金) 00:23:12.40

日本政府、ChatGPTが都合の悪いことをベラベラベラベラしゃべりまくるため規制する方針を発表 [314039747]
https://greta.5ch.net/test/read.cgi/poverty/1680793420/

ＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷＷ

**名無しのひみつ** · 2023/04/07(金) 00:53:05.63

ChatGPTやGoogleのBardに匹敵する精度の日本語対応チャットAI「Vicuna-13B」が公開されたので使ってみた - GIGAZINE
https://gigazine.net/news/20230331-chat-ai-vicuna/

vicuna-13b 動作メモ(ROCm で動作検証もあるよ)
https://zenn.dev/syoyo/articles/3146b0b0f1dfba

**名無しのひみつ** · 2023/04/07(金) 00:53:32.80

>>1
メモリを追加して64GBになったので動かせなかった言語モデルを試した - きしだのHatena
https://nowokay.hatenaｂｌｏｇ.com/entry/2023/04/05/213842

大規模言語モデルはこれ以上賢くならず庶民的になっていく - きしだのHatena
https://nowokay.hatenaｂｌｏｇ.com/entry/2023/04/06/192525

**名無しのひみつ** · 2023/04/07(金) 01:07:15.32

AIの欠点は脳よりもエネルギー効率が悪いところ？

**名無しのひみつ** · 2023/04/07(金) 01:20:32.24

昔、人工無能レイコってのがあったな

**名無しのひみつ** · 2023/04/07(金) 01:33:07.91

ChatGPT使うと、他のパチモンがひでぇクオリティで使ってて恥ずかしくなる

**名無しのひみつ** · 2023/04/07(金) 01:44:14.28

失敗作になりそう

**名無しのひみつ** · 2023/04/07(金) 01:57:54.57

電気代が心配だわ

**名無しのひみつ** · 2023/04/07(金) 02:04:47.92

乱立してそれぞれが個性を持ち
競合してシステム障害ぐらい簡単に起こせそう

飛行機止めたり
電車止めたり

**名無しのひみつ** · 2023/04/07(金) 03:23:09.43

財務省の奴等は天下りを守る為に必死だよって教えてくれるAIが出てきたら、いいんだけど。

**名無しのひみつ** · 2023/04/07(金) 07:02:48.09

AWSとかで動かせばいいんじゃね

**名無しのひみつ** · 2023/04/07(金) 07:46:19.02

>>13
そらそうよ。5年以上前のレベルのFreedomみたいなの使ってすげーとか言ってるのは日本の周回遅れを感じる有り様

**名無しのひみつ** · 2023/04/07(金) 07:49:50.33

一般家庭のＰＣてメモリ６０Ｇも積んでるのか

**名無しのひみつ** · 2023/04/07(金) 08:00:53.41

家のはメモリ48GBで4090だから一般家庭じゃないわ
普通の家庭はメモリ128GBでRTX6000くらいなんだろうな

**名無しのひみつ** · 2023/04/07(金) 08:01:11.83

GPT4ALLってのもあるが日本語対応していないのが残念

**名無しのひみつ** · 2023/04/07(金) 10:42:27.03

詐欺投資ビジネス話をこいつに高評価させ広めたらボロ儲けだな
お前ら自分で調べ考えること忘れるなよ(´・ω・｀)

**名無しのひみつ** · 2023/04/07(金) 11:10:44.92

遅くても数年後には本当に一般家庭のPCで使えるようになるだろ

**名無しのひみつ** · 2023/04/07(金) 11:45:24.18

ChatGPTは架空の文章を作るには良いけど
何かを質問した場合、ウソを教えらる事が多い
こんな不完全なツールを法律で規制するとか意味不明

BingAIはもっと酷い　誤りを指摘して修正しようとすると
強制的に話をおわらそうとする　それと、回答の内容のソースが
古かったり素人のURLを参照しがち

よって、現状のAIを信じてはいけない　結局は自分で確認が必要

**名無しのひみつ** · 2023/04/07(金) 11:53:20.35

別にchatgptでよくね？

**名無しのひみつ** · 2023/04/07(金) 12:18:03.45

>>25
自分も信用出来ない

**名無しのひみつ** · 2023/04/07(金) 12:22:50.81

この手の奴らは結局はネットの情報かき集めて出力してるだけなんやろ？

**名無しのひみつ** · 2023/04/07(金) 13:59:27.77

>>6
うんちゃま乙

**名無しのひみつ** · 2023/04/07(金) 14:03:14.64

>>28
人間の脳も似たようなことをやっているだけじゃないの？
世間の情報からパターンを学習して入力と出力との関係を再現しているだけ。

**名無しのひみつ** · 2023/04/07(金) 14:24:09.09

3か4か。それが問題だ。

**名無しのひみつ** · 2023/04/07(金) 14:25:59.27

重要なのはそのAIの性格を決定づける莫大量のデータの質と
そのスクリーニングパラメータの技術だと思うんだが
それらが調整ずみのモデルだと思っていいのか？

**名無しのひみつ** · 2023/04/07(金) 14:51:17.47

>>28
その書き込みに対し、ChatGPTさん自身に反論を考えてもらったらこんな感じになったぜ

もちろん、反論の一例を提案します。
「AIがインターネット上の情報を集めて出力するだけだという考えは、実際のAIの機能や能力を過小評価していると思います。まず、AIは機械学習によって、膨大なデータから有益な知識やパターンを抽出しています。この過程では、AIは複雑なアルゴリズムを用いて、入力データから最適な予測モデルを構築します。
さらに、AIはその予測モデルの評価を行います。交差検証や他の評価指標を用いて、モデルの性能や適用範囲を把握し、より高い精度や一般化性能を持つモデルを選択します。

また、AIは膨大なパラメータ設定を扱うことができます。これにより、AIは異なるデータセットやタスクに対して、最適なパラメータを選択し、モデルの性能を向上させることができます。
これらの点を踏まえると、AIは単にネットの情報を集めて出力するだけの存在ではなく、高度な知識や技術を駆使して、複雑な問題を解決する能力を持っていると言えます。」
このような反論がAIの能力や機能についての理解を深める助けとなることを願っています。

**名無しのひみつ** · 2023/04/07(金) 17:00:43.22

今の家庭用低級PCって凄いんだな
メモリー60G以上でグラボのメモリーも30G以上なんだ
そんなPCが29800円で買える時代になっていたのか
俺情弱すぎるわw

**名無しのひみつ** · 2023/04/07(金) 17:06:25.31

メモリ64GBというのもすごいが
GPU併用しようとしたらGPUメモリに28GB必要というのもすごいな

**名無しのひみつ** · 2023/04/07(金) 19:11:30.50

メモリ64GBすごいすごいと思ってたら、今どきは16GB×2で1万で売ってるんだ
実はすごくもなんともなかったんだ　4枚挿せばいいだけだった
すごいと思ってるのは時が昔で止まってる年寄りだけだったんだ…

**名無しのひみつ** · 2023/04/07(金) 19:32:36.33

日本製とか大丈夫なんかな

**名無しのひみつ** · 2023/04/07(金) 21:28:24.33

8GBのPCしかもって無い俺は傍観者w

**名無しのひみつ** · 2023/04/08(土) 03:07:01.45

マザボにGPU用のメモリスロットつけてくれ

**名無しのひみつ** · 2023/04/08(土) 05:00:38.62

AIのランパンシーは起きるのかな？
MacのFPS シューティングゲーム「マラソン」に登場した、人格を持ったAIが暴走するってやつ。

**名無しのひみつ** · 2023/04/08(土) 07:28:58.57

すまんうちのグラボ3GBだったわ

**名無しのひみつ** · 2023/04/08(土) 07:48:06.46

どっかでエーアイ用途専用で安いPC出して

**名無しのひみつ** · 2023/04/08(土) 08:02:17.77

なんでこんなにメモリ消費するんだ？

**名無しのひみつ** · 2023/04/08(土) 13:28:20.48

セレロン4GBで使えてこそだ

**名無しのひみつ** · 2023/04/08(土) 14:52:33.62

>>31

『3を4にしろ』

**名無しのひみつ** · 2023/04/08(土) 16:53:14.06

機械学習環境のメモリー要件は普通、GPUメモリーの２倍が目安。
つまり最低要件がGPUメモリー24Gだとするとメモリーは48G必要となる。
まあ、普通は最低要件64Gで必要要件で128GBくらいは積む
メモリーはモデルの高次元配列データを展開する際に使用する。
後は、メモリー上で検索が行われる。
データベースを使えばいいじゃないかと思うが、高次元配列データなので
SQLクエリーは効かない。

**名無しのひみつ** · 2023/04/24(月) 08:28:34.31

ビットの量子化でメモリ16GBで動くようになったそうですよ。
家庭用グラボ4090の2枚で余裕で行ける。

**名無しのひみつ** · 2023/04/24(月) 08:29:27.88

市役所導入しようかな

**名無しのひみつ** · 2023/04/27(木) 10:11:26.03

>>47
量子化(笑)はともかく、
メモリ16GBとグラボ4090と何ら関係ないのだが

もしかしてグラボのメモリのことなら
4090って24GB積んであるだろ
なんで2枚も必要なの

**名無しのひみつ** · 2023/04/27(木) 23:04:32.59

最近のmac だと、ユニバーサルメモリ？だからVRAMとRAMの区別なく使えるじゃろ。
32GBや64GB積んでおけば、VRAM24GBとか余裕じゃね？