「知識蒸留」がAIモデルをさらに小さく安価にする
規模が大きく高価なAIモデルの「知識のエッセンス」を抽出して学習させ、コンパクトなAIモデルつくるための基盤技術、それが「蒸留」だ。
中国の人工知能(AI)企業であるDeepSeekは、2025年のはじめにR1というチャットボットをリリースし、大きな注目を浴びた。
人々の関心を集めたのは、無名だった小さな企業が「このチャットボットの開発に要したコンピューター処理能力とコストはごくわずかだが、世界で最も有名なAI企業がつくるモデルに匹敵する性能をもつ」と発表したことだった。
その結果、欧米の多くのテック企業の株価が急落し、最先端AIモデルを動かすためのチップを販売するNVIDIAの株価は、株式市場史上最大の下落幅をたった1日で記録した。
注目には、いくらか非難の色合いもあった。
DeepSeekは「蒸留(distillation/ディスティレーション)」と呼ばれる技術を使い、OpenAIが所有するAIモデルo1から無断で知識を得たのではないか、と消息筋が主張したのだ。
報道の多くはその可能性を、AI業界を揺るがす衝撃的な出来事として扱い、DeepSeekがAI構築のために新しく、より効率的な手法を発見したと示唆した。
(以下略、続きはソースでご確認ください)
Wired 2026.01.21
https://wired.jp/article/how-distillation-makes-ai-models-smaller-and-cheaper/
探検
【AI】「知識蒸留」がAIモデルをさらに小さく安価にする [すらいむ★]
1すらいむ ★
2026/01/22(木) 23:41:26.20ID:qbKpD4gr2026/01/23(金) 03:52:31.65ID:ervRnFkt
1月21日の記事だけど既知の技術についてまとめられてるだけやね
蒸留自体は以前からどのモデルでもやっている手法
蒸留自体は以前からどのモデルでもやっている手法
2026/01/23(金) 06:19:34.90ID:pZT9M1bY
最高の蒸留物だけでいいというのは、ろくな結果を生み出さない中国人らしい
酒粕に蒸留並みの価値をみいだしたときにAIと人類は復活するのである
究極はウォッカかな?w メチルアルコールだけでよくなりひとなどキャベツと言い出す味のない存在へw
酒粕に蒸留並みの価値をみいだしたときにAIと人類は復活するのである
究極はウォッカかな?w メチルアルコールだけでよくなりひとなどキャベツと言い出す味のない存在へw
レスを投稿する
ニュース
- 国民・玉木氏、中道の政策転換を評価 連立「参院の結集見定める」 - 日経 ★2 [少考さん★]
- 新党「中道」が消費税減税時期「2026年の秋」明記…高騰する家賃対策や働き方改革で「定年廃止」「週休3日制」 衆院選公約発表 ★2 [ぐれ★]
- 「マクロ経済的に極めて危険」高市首相による”超積極財政”に楽天・三木谷会長が警鐘 [樽悶★]
- ソフトバンク、オープンAIに10兆円投資「全賭け」して「運命共同体」となる [お断り★]
- 【水戸・ネイリスト妊婦殺害】「オンナってものはさ」キャバクラで出会った初めての彼女に浮かれ…逮捕されたストーカー男はバイカー [ぐれ★]
- 「戦前のような暗黒時代許すな」 スパイ防止法反対の市民集会…約20人が声を張り上る ★2 [少考さん★]
- 【2026衆院選】参政党、ガチで票を減らしそうwwww、古谷経衡がそうゆってた 笑 [757644362]
- 普通の日本人「憲法改正や徴兵を 選挙後の後出しでやるほど、高市さんの人間性は悪くない」 [399259198]
- アニメによく出てくるシャワーが上に固定されてる浴室
- 朝起きると謎な不安感に駆られるんだけど
- 嫌いな言葉?
- 47度くらいのあっつい風呂に入ってあったまってベランダに出るのる気持ち良すぎwwwwww
