【大学】東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集　「LLM研究をさらに加速させる」 [すらいむ★]

**すらいむ ★** · 2023/12/26(火) 22:06:37.47

東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集　「LLM研究をさらに加速させる」

　東京大学松尾研究室は12月26日、大規模言語モデル（LLM）の研究者や開発エンジニアを募集するとX（旧Twitter）で発表した。
　同研究室は日本のAI研究の権威として知られる松尾豊教授の研究室。
　2024年、LLMの研究をさらに加速させるためチームを拡大するという。

（以下略、続きはソースでご確認ください）

itmedia　2023年12月26日 14時11分
https://www.itmedia.co.jp/news/articles/2312/26/news140.html

**名無しのひみつ** · 2023/12/26(火) 22:52:16.27

tensorflowとか4割くらいしか分かってないけど
何とかpython弄り倒して人工知能関連の仕事が出来まーすって人も
世の中に多いが
そんなポンコツは松尾研には無用だからなあ
研究室配属直後の学生の方が出来るだろうし

**名無しのひみつ** · 2023/12/26(火) 23:02:04.89

東大終わってるな

**名無しのひみつ** · 2023/12/27(水) 20:52:30.57

ポスドク招集案件？

**名無しのひみつ** · 2023/12/27(水) 20:53:26.56

何気にスタートアップに絡めて富豪になれるかもしれないｗ

**名無しのひみつ** · 2023/12/27(水) 22:36:01.89

新卒ならいざ知らず経験者は550～1400万円では来ないだろ。
有力企業では年収2000万円とかじゃね？

**名無しのひみつ** · 2023/12/27(水) 22:50:24.65

東京大学松尾研究室求人一覧2.2_LLM研究者（特任研究員・特任助教・特任講師）
https://herp.careers/v1/weblab/j2i2oZtd_tBq
必須スキル
※下記の４点の条件を満たしている方
・Computer Science，自然言語処理などの関連領域での修士以上の学位を有する方（あるいは取得見込みの方）
・言語モデルに関する直近2年以上の研究経験（もしくはそれ相当のスキル）
・国内会議（下記は例）での自然言語処理分野の主著論文を含む研究業績
　　JNLP，JSAI，IBIS
・日本語および英語でのコミュニケーション及び文章作成能力を有すること．

**名無しのひみつ** · 2023/12/27(水) 22:55:05.72

東京大学特定有期雇用教職員の就業に関する規程
https://www.u-tokyo.ac.jp/gen01/reiki_int/reiki_syuki/syuki10.pdf
（契約期間及び契約の更新）
第５条特任教員の契約期間及び契約の更新については、次の各号に定めるところによる。
この場合の契約の更新は、予算の状況及び当該特任教員の勤務成績の評価に基づき行う
ものとする。
(1) 一の会計年度（４月１日から翌年の３月３１日までをいう。以下同じ。）を限度とす
る契約期間とする。この場合の更新については、一の会計年度を限度として契約の更新
をすることができる。
(2) 必要に応じ、３年を限度とする契約期間とすることができる。この場合の更新につ
いては、３年を限度として契約の更新をすることができる。
(3) 労働基準法第１４条第１項第１号に規定する高度の専門的知識等を有する者（当該
高度の専門的知識等を必要とする業務に就く者に限る。）については、５年を限度とす
る契約期間とすることができる。この場合の更新については、５年を限度として契約の
更新をすることができる。

**名無しのひみつ** · 2023/12/27(水) 23:25:19.13

つまり
お手上げです
といってるわけだよ

**名無しのひみつ** · 2023/12/27(水) 23:49:10.99

Weblab-10Bなんて名前で東大版LLMを一般公開しているけれども、Web稼働させてないじゃん。
Pythonからプログラムを組まないと使えないなんて面倒くさい。

**名無しのひみつ** · 2023/12/27(水) 23:58:52.60

東大LLMのソースはココの中でダウンロード可能
https://huggingface.co/matsuo-lab

Pythonにpipでインストールして使用するらしい。
ネット検索で出てくる使用方法のサンプルページはGoogleColabProとか有料環境でやっているものしかない。
至ってマイナー。

**名無しのひみつ** · 2023/12/28(木) 00:10:42.33

ちなみにChatGPTは有料版でGPT4.5Turbo-128kが稼働しており、
無料のpoeでもGPT3.5Turbo-32kが稼働している。

東大LLMは何トークンまで対応しているの？
使える人、教えて！

**名無しのひみつ** · 2023/12/28(木) 00:14:12.87

2024/4になったらOpenAIはGPT5.0-256kとかやってそう。
大丈夫か？追いつけるのか東大は？

**名無しのひみつ** · 2023/12/28(木) 00:32:33.91

> 大規模言語モデルの研究者＆開発エンジニアを募集　

今更募集を開始するところに、駄目だこりゃ感を感じる。
だめだろ、これ。

**名無しのひみつ** · 2023/12/28(木) 00:46:56.86

要求水準は最先端企業レベル
業績は松尾が独り占め
給料は薄給

誰が行くのさ？

**名無しのひみつ** · 2023/12/28(木) 01:08:57.68

>>12
GPU環境に依存するんじゃないかな。
{3|4}090/24GBで多分、8Kくらいかな
GPT3.5クラスのLLMをまともに動かすならA100/80GBくらいのGPU環境が必要
東大がデモ環境公開してないのもそのため

**名無しのひみつ** · 2023/12/28(木) 01:27:47.89

>>15
多分、AIの修士修了者で大学に残りたいって人で東大、京大、東工大クラスの
人材となると年30人もいないじゃないと思う。
基本的に大学残って生き残れる保証はないからね。
ただ、弱肉強食の世界なんで公募をかければ選考にかけるくらいの人数は集まると思う
もう一つの開発職っていうのはまあ、リサーチアシスタントになると思うんだが、
こっちは定期雇用の専門職で３年とかで切られる可能性が高いので
もとめる人材を集めるのはかなり難しいかなと思う。

**名無しのひみつ** · 2023/12/28(木) 10:12:43.59

>>16
なんでGPUメモリ仕様に特化したんだろう？nVidiaやクラウドサブスクさまさま？
CPU利用でメインメモリ利用にしたら128GB環境とかも多くて利用者も多かっただろうに。

**名無しのひみつ** · 2023/12/28(木) 11:02:37.90

>>16
OpenAIはGPT4.5Turbo128kを一般利用向けに提供できてんじゃん。
1年くらいは遅れているんじゃね？

**名無しのひみつ** · 2023/12/28(木) 11:13:32.99

>>17
キャリアとして踏み台にすると考えると妥当なキャリアだけどな。
任期を終えたら起業するとか転職するとか、副業を許可されているだろうから副業するとか。

**名無しのひみつ** · 2023/12/28(木) 11:16:07.08

将棋AIがGPUタイプとCPUタイプがあるように、
LLMもCPU利用タイプでも作れると、ハードウェアのパラダイムを変えられる。

**名無しのひみつ** · 2023/12/28(木) 11:29:06.80

自前でできんのかい

**名無しのひみつ** · 2023/12/28(木) 15:04:12.14

>>9
大変良く分かりました。

東大を代表する松尾博士の経歴からすればそんなもんだよな

**名無しのひみつ** · 2023/12/28(木) 15:59:27.41

東大LLMのソースは22GBくらい。
https://huggingface.co/matsuo-lab/weblab-10b-instruction-sft/tree/main

これで600B tokens(6000億トークン)らしいので、
10兆トークンになると、366GBくらいになるのか？

**名無しのひみつ** · 2023/12/28(木) 17:04:13.78

AI用マシンもAIの処理能力が搭載メモリの大きさに依存するという事がよく分かった。
学習量10兆トークンを最高速で処理させようとしたら、400GB程度のグラフィックメモリ搭載機が必要という事になる。
たぶんCPU使用のスパコンとは異なりグラフィックメモリをノード間で繋げて高速で利用するソフトウェア技術はまだないので、
GPU利用では単一のノードとしてそのメモリ量が必要という事だろう。
その点ではCPU利用のスパコンに一日の長があると言える。

国内のスパコンではGPUタイプのものでABCI、CPUタイプのもので富岳があるが。

ちなみにH100/80GB×8(グラフィックメモリ総容量640GB)のマシンが4800万円、PrimeHPC FX1000の48ノード(メインメモリ総容量1536GiB)が1億2000万円。
PrimeHPC利用だと、メモリ400GBは16ノードあれば達成できる。

**名無しのひみつ** · 2023/12/28(木) 17:12:19.84

ポスト富岳を作るとしたら、1ノードで10兆トークンが扱えるようにメインメモリ512GiBが望ましいな。

**名無しのひみつ** · 2023/12/28(木) 18:28:43.52

ちなみに来年発売されるというnVidia B100はA100の36倍以上の性能だそうだ。
しかしまだHBM3e止まりであり、1ノードあたり141GBメモリではないかと言われている。
現行のH100は80GBである。
HBM4ではHBM3eの4倍程度の512GB以上が望ましい。

DRAMもサムスンやSKハイニクスにばかり依存せず、国内でも開発研究を行うべきだ。
当面は10兆トークン・400GBという指標であるが、今後はもっと増えるだろう。

東大LLMの学習サンプルJSONを見ていると、どうでもいい事ばかり書いてあり、もっと重要な情報を大量に登録すべきであると思う。
たとえば2テトレーション7の10進数での先頭から100桁程度の値とか、素数の出現頻度とか、国内の大学入試過去問題の正答など。
簡単な事では国内の高校入試の問題の正答などだ。その程度は100%正答できないと困る。

**名無しのひみつ** · 2023/12/31(日) 18:50:31.27

これってAIだの人工知能とか言ってるけどー
擬似AIであって本当のAIじゃないよね
こんな回り道するのが本当にいいと思ってんの？
目先の実用性とかが目当てだけじゃないの

本当のAIは作り方が判らない
だったら人間の脳を模倣してみたらどうなの
人間脳レベルの神経回路をソフトで構築したら
あとは人間同様赤ちゃんから育てていく。
学習速度は人間の数十倍だから学習期間はかなり短縮できるはず。

**名無しのひみつ** · 2023/12/31(日) 20:46:19.20

AIやってれば、学部卒でも年俸３００万ドルのオファーがくる
とか言ってたな。アメリカの話。それでも来る人材が居ないと。

IT業界は人使い荒いし使い捨てと言ってたな。日本の話
情勢が激変した今はどうなんだか･･･

**名無しのひみつ** · 2023/12/31(日) 23:32:59.75

>>28
それって釣り？

**名無しのひみつ** · 2024/01/01(月) 00:25:51.85

暗号通貨のマイニングって、もしかしてブロックチェーンの為と言いつつ裏で大規模Transformer実行時のハッシュを計算させてない？

**名無しのひみつ** · 2024/01/01(月) 05:48:48.68

AIを作れない人たちを「日本のAIの権威」と呼ぶのは、日本のAI研究はレベルが低い、と言っているようなものだと思うが

AIの学習資料を作るんじゃなくて、そういう資料をすらすら作ってくれるAIを作れよって

それと研究者&技術者を募集の給料見ると、能力あったら東大じゃなくてOpenAIやMicrosoft、Googleに行くでしょ
東大の研究は何を目標にしてるのか、よくわからんな
世界のAI研究開発の目標はAGIだと思うけど、それだってOpenAIやMicrosoft、Googleの方が進んでるだろうし

**社説＋で新規スレ立て人募集中** · 2024/02/07(水) 16:15:45.58

オレも東大の研究者になれんの？

**名無しのひみつ** · 2024/03/23(土) 19:54:28.16

>>1
5ちゃんのスクリプトハゲを分析して
駆逐対策するAI開発したら儲かるで

**名無しのひみつ** · 2024/03/23(土) 20:01:28.28

てか、あのスプリクトハゲを、ど素人のワイも分析して
AIを作って戦わせてみたいんだが、
どこから手をつけたら良いのかわからん！
iPadでも可能？
ワイのスキル
WindowsPCは持ってる
Pythonぜんぜん。Ｃ言語は、HelloWorldで挫折した
ググるのは得意

**名無しのひみつ** · 2024/03/23(土) 20:14:19.98

そんなやつはアメリカ言ってるよ
カネが全然違う

**名無しのひみつ** · 2024/03/23(土) 20:15:36.39

>>34
あれ駆除にAI必要なしなのにアホしかいないの

**名無しのひみつ** · 2024/03/23(土) 20:18:15.72

LLMは東工大のイメージが強いから、
もっと金出して優秀な人を引き抜かないとダメだと思う

**名無しのひみつ** · 2024/03/23(土) 20:22:00.28

学生を訓練して使える人材になるよう教育するのが研究室のオヤカタの仕事だと思うが。

**名無しのひみつ** · 2024/03/23(土) 20:46:08.95

AIのニュースで解説するくらいしか仕事してないのかと思った

**名無しのひみつ** · 2024/03/23(土) 20:50:47.93

えっ？今から集めるのかｗ
車輪の再発明でもするつもり？

**名無しのひみつ** · 2024/03/24(日) 11:54:10.49

＞学生を訓練して使える人材になるよう教育するのが研究室のオヤカタの仕事だと思うが。

使えるようになったら、賃金の高い企業特に外資系に就職してしまうから、手元には残らないだろう。
大学博士出たてで助手だと採用はせいぜい600万以下、1から3年の任期付き。その後の保証無し。

【大学】東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集 「LLM研究をさらに加速させる」 [すらいむ★]

【大学】東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集　「LLM研究をさらに加速させる」 [すらいむ★]