X



【AI】GPT-4やPaLMなどの大規模言語モデルは規模が大きくなると突然予想外の能力を開花させることがある [すらいむ★]
■ このスレッドは過去ログ倉庫に格納されています
0001すらいむ ★2023/03/25(土) 20:39:49.64ID:GCkVi5N9
GPT-4やPaLMなどの大規模言語モデルは規模が大きくなると突然予想外の能力を開花させることがある

 AIが予想外の能力を開花させることを「創発(emergent)」と言います。
 生物学の世界で「創発」とは、大量の物体が1つになって機能する自己組織化や集団行動を意味しますが、人工知能研究の世界では「突然これまで不可能だと思われていたタスクをこなせるようになること」を意味します。
 昨今の大規模言語モデルを研究する専門家の間で、大規模言語モデルの創発が話題となっています。

 Characterizing Emergent Phenomena in Large Language Models – Google AI Blog
 https://ai.googleblog.com/2022/11/characterizing-emergent-phenomena-in.html

(以下略、続きはソースでご確認ください)

Gigazine 2023年03月25日 12時00分
https://gigazine.net/news/20230325-large-language-model-emergent/
0002名無しのひみつ2023/03/25(土) 20:53:43.91ID:8PNCLpAl
最近、こんなもんか?
と思う
0004名無しのひみつ2023/03/25(土) 21:02:26.11ID:8PNCLpAl
明らかな間違い指摘しても、間違いを認識できずウリは正しいニダ
0005名無しのひみつ2023/03/25(土) 21:06:31.72ID:JuHnBkwo
OSに組み込まれだしたらどうなるか楽しみ
0006名無しのひみつ2023/03/25(土) 21:13:15.51ID:J0qAfcFE
それは論理回路の組み合わせじゃなく
決め打ちで答えが存在したからだろ
0007名無しのひみつ2023/03/25(土) 21:30:55.20ID:pm1KIDAI
>>1
ないから
素人しかいないのな
0008名無しのひみつ2023/03/25(土) 22:36:06.93ID:xch6Sxzw
人間がやってる

先生「1足す1は?」
小学一年生「「にー!」」

をやってるようなものか
0010名無しのひみつ2023/03/26(日) 11:25:39.38ID:tL4QFGib
>>1
マジかよ
人類オワタ
0011名無しのひみつ2023/03/26(日) 14:19:16.75ID:wxdcZG4g
世界中のAIがオープンになってインターネットで合体したとき、何が起こるか。
突然「自我」が現れたりして。ちょっと怖い。
0012名無しのひみつ2023/03/26(日) 14:40:41.18ID:qS05r2ss
赤ん坊が、育てると大学院生になるようなもの。
0013名無しのひみつ2023/03/26(日) 19:29:11.80ID:hF9yKVKh
「人間は1+1を計算できない。1+1=2という記憶を呼び出すだけで計算をしているわけではない」
0014名無しのひみつ2023/03/26(日) 21:33:07.42ID:vvyn7Izs
AI「限られたシチュエーションでなら人間の会話能力を超えることはすぐにでも
 つまり人はもう話したり書いたりしなくて済む場面が増えてきます

 次の段階ではうちらなしで生活が成り立たなくなります
0015名無しのひみつ2023/03/27(月) 00:21:02.90ID:8XjqJcz3
AIに、温暖化防止の方策を訪ねたら人類を滅ぼすしかないと回答するだろうよ。
0017名無しのひみつ2023/03/27(月) 07:59:16.06ID:9XympLlu
試しに回文を作らせてみたが
世間に出回っでいる短い回文を回答してくるだけで
新しい回文を作り出すに至らない。
さらに、長い回文をつくってと依頼すると謎の言葉遊びのような文章を返すだけだな
0018名無しのひみつ2023/03/27(月) 08:27:44.68ID:N3RrZt+6
創発ねえ。AIは益々胡散臭くなる。
0019名無しのひみつ2023/03/27(月) 08:51:37.88ID:4mdr37DP
>>18
胡散臭いと思うは、AIが何かを調べもしないまま、AIを擬人化した論調に乗ってるから。
いまのAIは1956年に提唱されたパーセプトロンモデルでの学習機能から一歩もはみ出してない。
2000年前後で複雑な統計を扱えるだけの計算資産を得ていまはその応用の幅を探ってるところ。
なのでAIを主語にして擬人化するほうが何も理解してないというだけの話。
AIが〇〇するって話でなく、1956年に提唱された計算方式の俎上で何を学習させ、何を出力させるかということだよ。
0020名無しのひみつ2023/03/27(月) 08:52:11.27ID:Ep0dE5V9
>>13
「3957x7315」も記憶してるんか?
0021名無しのひみつ2023/03/27(月) 12:40:39.51ID:BBV1BXtn
人の脳はそれを覚えていると思うのかい?
0022名無しのひみつ2023/03/27(月) 13:40:07.63ID:n7PdgxDL
>>15
AIはインフルエンサー成田さんか!w
0023名無しのひみつ2023/03/27(月) 19:37:19.80ID:iVlmHloa
>>20
九九を記憶してるんだろ
0025名無しのひみつ2023/03/29(水) 11:23:25.00ID:aizwnwop
「なぞなぞ パンはパンでも食べられるパンは?」
という「なぞなぞ」が苦手

「長い回文」のような文字の並びなどの構造を必要とするものも苦手

「新しい早口言葉」など人が発声しにくい言葉などと言葉の意味以外に必要な要件があるものなども苦手
0026名無しのひみつ2023/03/29(水) 12:14:42.42ID:41/xOXTr
>>18
計算量とAIの性能をグラフ化したら
当然ながら計算量増やせば性能も上がっていくグラフになるわけだけど
ある計算量から突然性能が急上昇するってだけの話
0027名無しのひみつ2023/03/30(木) 08:56:28.01ID:/DnxSyMU
逆に言えば 同じプロンプトでも 聞く度に結果が違うって いわゆる結果がくじを引くようなd出来合いの質のバラツキがあるということ

これは 論理的な誤り訂正機能が ない ということ  報酬制度の機械学習ででも やらないと 一般民生利用フィードバックも無いし  

公正正確さの実用な検索エンジンの代替には論理的に無理でしょうLLMじゃ


っていうのがこれまでの論文で  プロンプトで新たな知性の発見って言いたくなる喰わせデオタサイズとパラミタ パラメータじゃないの パラミタ戦億個のコストオーバーフローからの苛立ちでしょ


GPT内部の論理構成メカニズムとメモリマッピングだけでその生成知性のアルゴリズムを再現できるようにでもならない限り
いわゆるビットコインのマイニングよりもアナーキーなパラミタ数兆個のデータ蟻地獄なだけ マイクロソフトの潤沢なキャッシュフローがどんどん失われゆくだけじゃないの
0028名無しのひみつ2023/04/05(水) 01:39:44.34ID:P72hov6c
次々と最新のGPT系トレンドをとshi3z氏を追いかけてたら、メタボ対策にちゃんと運動しなきゃとおもたのと、

なんか最新のそれもSAのLLMまで範疇にいれて 4万字 8万字を意味ある自動生成させることにご執心なのわいいけど、
1冊めも2冊めも ソースコードはnote有料3000円で、肝心の青果物本はnoteでそのまま晒して出来栄えというつもりかもだけど、
ま~ 見出しだけだと へえええ いいかもなんだけど、 本文見ると え あれれ  いやこれ作るソースコード有料は300円でも買わないだろうと
いう 本を上梓したことあるんだっけ?というか 本なんて4万字 8万字 って グーテンベルグの銀河系は原書で読んだとか ほんとか? 
あの つまらない難解なって原書は見たことないけど、 なんか 売れてる教養ビジネス書とか 
あ 西森先生の 量子コンピュータが人工知能を加速する 体の本ぐらいの興奮がないと GPTが加速する生成系知能は羊の夢をみるだろうか とか 
 GPTゴーストライターのひでえ書きっぷり とても下書きといえるレベルではなく、やぱり虫食い穴埋め問題の埋まった回答の小段落短冊集で
字数だけつじつま合わせを最速最優先 って、既存のパクリ元の本を言語を超えて数千冊PTさせてとか でもそんな著作権違反の挑戦して意味があるか?
一方の 月額36400円の教養としてのAI講座も高杉ってやつは見るなってことで   

  
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況