【AI】処理するトークンが増えすぎるとAI言語モデルが動作困難になる理由、計算コストは入力サイズの2乗に比例 [すらいむ★]

**すらいむ ★** · 2024/12/24(火) 21:06:04.92

処理するトークンが増えすぎるとAI言語モデルが動作困難になる理由、計算コストは入力サイズの2乗に比例

　ChatGPTなど、人間から得た情報を解釈して人間にわかりやすく返答する生成AIは、情報を「トークン」という単位で認識して処理を行っています。
　近年のAIは一度に何百万ものトークンを処理できるモデルもありますが、人間が求める専門的なタスクを処理するにはまだまだ不十分だという考え方もあります。
　ところが、処理可能なトークン数を増やすと現状のAIは動作困難になってしまうという問題があるのも事実。
　なぜ動作困難になるのかについて、テクノロジー系メディアのArs Technicaが解説しています。

　Why AI language models choke on too much text - Ars Technica
　https://arstechnica.com/ai/2024/12/why-ai-language-models-choke-on-too-much-text/

（以下略、続きはソースでご確認ください）

Gigazine 2024年12月23日 19時08分
https://gigazine.net/news/20241223-ai-model-choke-text/

**名無しのひみつ** · 2024/12/24(火) 21:26:11.43

＞何十億ものトークンを扱えるモデルを望むのであれば、既成概念にとらわれない発想が必要になるでしょう

人間はトークンに縛られて会話してるわけでないから
言葉の意味を都度の“使用”によって決定している
そんなモデルをAIが実行すれば解決するが、
いずれ我々には理解できない返答を頂戴するかもしれない

**名無しのひみつ** · 2024/12/25(水) 05:19:55.15

O(n^2)だったらヒープソートのほうが良いではないか

**名無しのひみつ** · 2024/12/25(水) 07:45:42.25

メインメモリーを複数枚使用して

該当する用語から予備知識をそちらから読み込ませるようにしているのか

**名無しのひみつ** · 2024/12/25(水) 08:07:08.67

アテンションはプロンプトに入力されたトークンをパラメーター化して全てのトークン同士の関連性をスコアリングするからな
でも何十億も必要かね？
工夫でなんとかなりそうな気もするが

**名無しのひみつ** · 2024/12/25(水) 10:31:50.33

実際とは異なると思うけれども
イメージとして縦横nビットの画像をフーリエ変換するようなものか

**名無しのひみつ** · 2024/12/25(水) 10:44:48.55

生成したLLMが計算しやすいようにmozjpegのように可逆的にオプティマイズできればパラメータを呼び出す際に
より低レイテンシかつ省電力化が実現できるかもしれないけれど
最適化の過程で参照ポインタと配列アドレスの関連付けが崩れてLLM自体が文鎮になりそう

**名無しのひみつ** · 2024/12/25(水) 12:08:19.02

人間は記号を再帰的に扱っても支障をきたさないが、
機械にとっては支障の原因になる
その再帰的なパターンも統計的にフラクタルの法則に倣っている

といったことが、田中久美子氏の『言語とフラクタル』という労作に書かれていた

**名無しのひみつ** · 2024/12/25(水) 12:40:47.02

>>6
単語をトークンに分割するので、文章として画像をイメージするなら縦横ｎビットだね
文章を長くするだけでなく、各単語も大きなトークンの集合とするとAIは手数が二乗比で上昇しちゃうらしい
いちいち正式名称で綴るとAIを利用した掲示板の流れを誘導しようとする意思に対する有効手段になるわけだ。
長い文章というだけでなく長い単語も重要だったわけだね
あとパスワードもそうだけど0123など数字を文章に混ぜるのも重要だね
特に1にまつわる言葉のパターンが一番多いんだよね、一匹、一発、一丁、こんなのを常に使うように心掛けると
AI相手に優位になれるわけだ

**名無しのひみつ** · 2024/12/25(水) 12:47:17.56

>>8
この記事のこの試行回数の二乗の増加についても同じ理由であることが示されており
順番でない参照があるので同時に検索することが必要となるから回数が増えるのだと言うことで
それは長い文章、長い単語、そして数値が含まれることによって増大するようだね

**名無しのひみつ** · 2024/12/25(水) 13:15:08.62

ボリュームを出せとAIを困らせる

**名無しのひみつ** · 2024/12/25(水) 13:40:43.67

単語が一個増えると、確率としては超微小でもながらその単語へ行くルートが全単語間で発生する。
そりゃ組み合わせ爆発するわ。

逆に漢字みたいにここまで小学生が習っとけば日常会話は良しみたいな標準単語とか導き出せないのだろうか。

**名無しのひみつ** · 2024/12/25(水) 15:25:13.18

人間だと、
「あぁー、それ、少し前に聞いていた
　ような気もするけど、忘れていた。」
↑とか言ったりするんだｙｏ。

**名無しのひみつ** · 2024/12/25(水) 22:37:40.81

日本語は特に語順の縛りが緩いからね、、、ドイツ語も結構自由だし合成の長ったらしい単語多いけど大変なんかな？

**名無しのひみつ** · 2024/12/26(木) 05:56:47.07

日本語の場合は助詞があるからな、割となんとかなるのでは？

**名無しのひみつ** · 2024/12/26(木) 07:34:31.97

日本語はほとんど1文字1トークン換算で処理してるから

**名無しのひみつ** · 2025/01/01(水) 19:38:07.96

ここに来てまたもや組み合わせ爆発に悩まされるとはね

【AI】処理するトークンが増えすぎるとAI言語モデルが動作困難になる理由、計算コストは​​入力サイズの2乗に比例 [すらいむ★]

【AI】処理するトークンが増えすぎるとAI言語モデルが動作困難になる理由、計算コストは入力サイズの2乗に比例 [すらいむ★]