【AI】東大松尾研、日英対応の大規模言語モデル公開　100億パラメータ、精度は「国内オープンソース最高水準」 [すらいむ★]

**すらいむ ★** · 2023/08/19(土) 23:00:18.30

東大松尾研、日英対応の大規模言語モデル公開　100億パラメータ、精度は「国内オープンソース最高水準」

　東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月18日、日英の2カ国語に対応した100億パラメータサイズの大規模言語モデル（LLM）「Weblab-10B」を、事前学習と事後学習（ファインチューニング）により開発し、非商用ライセンスでモデルを無料公開した。

（以下略、続きはソースでご確認ください）

itmedia　2023年08月18日 11時21分
https://www.itmedia.co.jp/news/articles/2308/18/news097.html

**名無しのひみつ** · 2023/08/19(土) 23:10:21.35

トラウデン直美、顔面が腫れ上がった衝撃写真に心配の声が相次ぐ「大変なことが起こりました」
https://juiko.skoolbuzz.net/0820/agxnmwwr.html

**名無しのひみつ** · 2023/08/19(土) 23:19:20.18

モデル公開より
サービスを利用出来るようにして欲しい

**名無しのひみつ** · 2023/08/19(土) 23:38:43.49

ネット上でブラウザで動く状態のないの？
誰かやらないの？

**名無しのひみつ** · 2023/08/19(土) 23:40:37.11

でもどうせ数学弱いんだろうな。
2^2^2^2^2^2の先頭から100桁はすでに計算結果が出ている計算だが、ChatGPTとかは大きく間違う。
これも正しく答えられないんだろ？

**名無しのひみつ** · 2023/08/19(土) 23:45:42.10

google colaboで使えるようにしてからでかい声出して

**名無しのひみつ** · 2023/08/20(日) 00:15:36.92

Bingのバランスとかバカだから、

四角形ABCDはAD〃BCの台形, Eは線分ACとDBとの交点である。
AD=6cm, AE=3cm, EC=7cmのとき, BCの長さは何cmか求めなさい。

という高校入試の問題が正しく解けない。

**名無しのひみつ** · 2023/08/20(日) 01:35:03.19

日本語と英語の文章を並べた対照表がなくて学習しても、自動翻訳ができるのでしょうか？なんだか不思議な
気がしますが。

**名無しのひみつ** · 2023/08/20(日) 02:18:09.68

教師無学習

**名無しのひみつ** · 2023/08/20(日) 02:50:51.33

>>7
14？
俺高校入れる？

**名無しのひみつ** · 2023/08/20(日) 02:52:42.44

こういうのを利用するスキルってPython書けるくらいで行けちゃうの？

**名無しのひみつ** · 2023/08/20(日) 03:12:49.91

グーグルがリアルタイム翻訳機作ってるのに日本はコレだ　なんか１０年遅れてんだよな

**名無しのひみつ** · 2023/08/20(日) 05:44:14.61

松尾博士のレベルが東大の実情ってことか

**名無しのひみつ** · 2023/08/20(日) 06:13:47.31

マツケンサーバー

**名無しのひみつ** · 2023/08/20(日) 11:14:10.39

オープンソースの誤用と批判されてる

**名無しのひみつ** · 2023/08/20(日) 11:46:16.45

国内オープンソースのLLMがそもそも無い件

**名無しのひみつ** · 2023/08/20(日) 11:58:45.21

一般公開で使えるんだと思ったら、、、、、。
そもそも、使い方すら分からない。
どこから始めていいかすら分からない。

**名無しのひみつ** · 2023/08/20(日) 12:04:30.59

海外のは英語びいきと聞くからな。
日本発が欲しかった。

**名無しのひみつ** · 2023/08/20(日) 13:44:19.04

何を研究してもNvideaが儲かるだけだよね。
ただのグラボの会社が偉くなったもんだ

**名無しのひみつ** · 2023/08/20(日) 13:56:23.73

>>19
昨今はあえてAMDのグラボで人工知能を動かしている会社もある
同じような性能でグラボそのものは安い
特にVRAM容量が大きいからだと

だがCUDAでなくROCｍなのでプログラムの大幅な書き直しが必要になり
その人員確保が大変だという

**名無しのひみつ** · 2023/08/20(日) 14:04:32.08

gpt-4のパラメータ数は１兆を超える
なんでこんなおもちゃみたいな物を作るのか

**名無しのひみつ** · 2023/08/20(日) 15:43:17.36

アメリカはプラグインみたいに第三者がどんどん拡張していくのが強いよな。
日本はなにか作ってもそこから発展しない。

**名無しのひみつ** · 2023/08/20(日) 16:13:37.40

英語が話せると、ロンドンのパブが楽しい。

**名無しのひみつ** · 2023/08/20(日) 16:58:11.33

>>20
GPUが2社で寡占されてるのがどうにもならないな
あと両方アメリカの会社なのがポイントだ

**名無しのひみつ** · 2023/08/20(日) 19:40:51.26

>>8
機械翻訳のシステム開発にはランゲージペアと呼ばれている日英対訳ファイルを
使って機械学習を行う。
ランゲージペアのデータがないとその言語間の学習モデルは生成できない。
機械翻訳　京都文書で検索するとランゲージペアの教材データがみつかる。
通常、大学の理工学部でNLPを専攻すると最終段階で京都文書を使った機械翻訳
システムの開発を行うこととなる。NLPの100本ノックでは第99章と100章が
この例題にあたる。

**名無しのひみつ** · 2023/08/20(日) 19:46:48.79

へー
実際には翻訳変換してるんだね
知らなかった
日本語ベースはないんだね

**名無しのひみつ** · 2023/08/20(日) 20:11:36.35

>>21
gpt3.5でも一兆超えてるみたい
劣化版にも程があるな
アカデミックな研究ってやつ？だったら構成変えてやらないと意味がない
この分野は企業が金ぶっこまないと無理だろ
まあベンチャーでない日本の企業では劣化版コピーになるだけだろうけど

**名無しのひみつ** · 2023/08/20(日) 22:18:39.22

>>22
アメリカだと第三者というかサードパーティが開発する

日本だと三国人

**名無しのひみつ** · 2023/08/20(日) 23:26:03.79

LLMのモデルはいくつか触ったけど、比較的マシな応答を返すのはvicuna-13bくらいだったなぁ。

**名無しのひみつ** · 2023/08/21(月) 09:48:28.81

>>21
未だにパラメータ数と性能が比例していると思ってるやつ

**名無しのひみつ** · 2023/08/21(月) 10:13:14.57

https://i.imgur.com/mZQuprT.jpg
今だけです

**名無しのひみつ** · 2023/08/21(月) 11:39:33.74

>>31
まだやってたんだもう現金にしたよ。

**名無しのひみつ** · 2023/08/21(月) 11:52:59.77

短歌や俳句は書けるのか？

**名無しのひみつ** · 2023/08/21(月) 12:03:58.98

>>28
要りません
勝手に決めないで

**名無しのひみつ** · 2023/08/21(月) 12:25:21.28

>>31
グロ

**名無しのひみつ** · 2023/08/22(火) 05:46:15.06

>>31
家族に教えて＋2万入手した

**名無しのひみつ** · 2023/08/22(火) 22:10:24.34

松尾研の博士課程の学生が研究の一環で生成モデルを公開しただけなのに
OpenAIがマイクロソフトと共同で開発した開発費数百億円をかけたAI
と比べてパラメーター数が貧弱とか、学生とマイクロソフトの開発能力を
比較しても意味ないだろ

**名無しのひみつ** · 2023/08/22(火) 22:16:01.27

まだ誰もテスト利用してないの？
使ったことがあるのなら使用感をよろしく。

**すらいむ ★** · 2023/08/24(木) 21:11:52.83

この件についての続報があります。
新スレ立てるほどの話でもないと思うのでスレ内での案内だけ

ーーー
松尾研、公開したLLMの「オープンソース」記述を削除　X（Twitter）で指摘相次ぐ

　東京大学院工学系研究科・松尾研究室（主宰：松尾豊教授）は8月22日、「オープンソース」として18日に公開した大規模言語モデル（LLM）「Weblab-10B」について、「商用利用不可のため定義に当てはまらない」としてオープンソースの記述を削除した。

（以下略、続きはソースでご確認ください）

ITmedia　2023年08月22日 14時45分
https://www.itmedia.co.jp/news/articles/2308/22/news146.html

**名無しのひみつ** · 2023/09/13(水) 13:06:09.81

>>1
ダウンロードボタンがないので公開していない。

**名無しのひみつ** · 2023/10/02(月) 13:36:04.54

使用感の報告とか、全くないんだな？

**名無しのひみつ** · 2023/10/02(月) 13:36:38.70

使用感の報告とか、全くないんだな？

**名無しのひみつ** · 2023/10/08(日) 10:44:42.66

これで、俳句や和歌がバリバリ生成できるようになると良いね。

**名無しのひみつ** · 2023/10/09(月) 00:27:34.10

最近、スパム・詐欺メールの日本語の質がかなり向上して、人間が書いたものや
本物の組織が書いているのと区別するのが難しくなったと感じる。