【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
■ このスレッドは過去ログ倉庫に格納されています
「ディープラーニングは、原理的には単純な最小二乗法にすぎない」――2月18日付けで日本経済新聞電子版が公開した記事について、Twitterでは「ディープラーニング＝最小二乗法」という解釈は異なるのではという指摘が相次いだ。19日には「ディープラーニング」「最小二乗法」といったワードがTwitterでトレンド入りし、波紋が広がっていた。
日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング（深層学習）は、原理的には単純な最小二乗法（誤差を最小にする近似計算の一手法）にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml_01.jpg
最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差の2乗和を最小とするような係数を決定する方法。ディープラーニングに詳しい東京大学の松尾豊特任准教授は、2018年8月に登壇したイベントで、「ディープラーニングは最小二乗法のお化けのようなもの」「従来のマシンラーニングは（階層的に）『浅い』関数を使っていたが、ディープラーニングは『深い』関数を使っている」と説明していた。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml2.jpg
松尾氏は2月20日、Twitterの公式アカウントで「小林慶一郎先生はよく議論させていただくので、少し責任を感じています」とツイート。ディープラーニングを簡潔に解説するため「深い関数を使った最小二乗法」という言葉を使ってきたが、「深い関数を使った」という説明がいつも抜け落ちてしまうと嘆く。
松尾 豊
@ymatsuo
しかし、いつも「深い関数を使った」というところが抜け落ちてしまいます。ディープラーニングはその名の通り「深い」ことを強調した学術用語であり、そのくらい深いことが重要ですが伝わらない。深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきことです。
https://twitter.com/ymatsuo/status/1098116029987713024
松尾 豊
@ymatsuo
「最小二乗法」は、損失関数を最小化することで、モデルのパラメータをデータから推定することを、一般の人がぎりぎり持っている（かもしれない）知識で言い換えたもので、大雑把ではありますが、それほど悪くない言い方だと思っています。深いことに比べるとそれほど重要ではありません。
https://twitter.com/ymatsuo/status/1098116143393386497
松尾 豊
@ymatsuo
いずれにしても、経営者や政治家の方を含め、多くの人に正しく理解してもらうのは大変難しいです。「最小二乗法」がこれだけ話題になるというのは、逆に言うと、多くの人がぎりぎり理解できる地点がそこらへんまでなのだということを示してもいて、なかなか絶望的ではあります。まだまだ道は長いです。
https://twitter.com/ymatsuo/status/1098116255737737216
松尾 豊
@ymatsuo
翻って、「深い関数」という意味や、それがもたらす可能性を、（専門家の人も含め）どれだけの人がちゃんと理解しているのかとは、常々疑問に思います。もちろん、AI全般、あるいは知能全般の議論と簡単に結びつけるのは良くないですが、非常に大きな広がりがある技術だと思っています。
https://twitter.com/ymatsuo/status/1098116360062722048
続けて、「深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきこと」「『最小二乗法』は、損失関数を最小化することで、モデルのパラメータをデータから推定すること（略）深いことに比べるとそれほど重要ではありません」と投稿。経営者や政治家など、AIに詳しくない非エンジニアに正しく理解してもらうための解説は「大変難しい」と痛感しているようだ。Twitterでも同様に、AI技術について上司や同僚にどう解説すればいいかを嘆くエンジニアの声も見られた。
松尾氏は「深い関数」の意味やそれがもたらす可能性について、今後も研究や啓もう活動を続けていくと発信した。
ITmedia NEWS
https://www.itmedia.co.jp/news/articles/1902/20/news141.html
https://twitter.com/5chan_nel (5ch newer account) >>303
>>295だけど、>>298は俺じゃなく別の人ね
手法の変化というのは具体的にはシグモイド関数でなくRelu関数を使うようになったことを指してるんだと思うけど、これも松尾先生はもちろん学生でも知っている常識だからね
これは既存の手法では結果を微分した際に極端な値しか取れず最適解に収束しないことが問題だったが、Reluを使うことで上手くいくようになったという事実だが、工学博士が知らないわけはないからね
それを勉強しろなんて書いていたのがいい加減だなぁと少し腹が立っただけさ
あなたは>>286じゃないだろうからこんなレスする意味はあんまりないかも知れないがw >>301
ディープラーニングは基本的に分類問題を扱う
犬と猫を学習させれば犬と猫を見分けることが出来る
しかし、犬と缶とクラシック音楽みたいに共通点の乏しい(ランダム性が高い)ものを学習させると、意図しない分類をしてしまう
だからデータの違いに対してあえて学習を鈍感にさせることで、共通点の少ないデータによる意図しない分類をなくす必要がある ﾘｶﾁｮﾝ 何の事だかよく分からず
灯台と聞いてカット頭に血が上り、ハラハラと落涙す ワカゲノイタリ >>305
それをチューニングって言うけど、ここがセンスの問われるところなんだよな
まだ、正解というか機械的に行うことは難しいっぽいし ディープダンジョンは、原理的には単純なwizに過ぎない >>34
浮浪者のおっさんが解説しようが
誰がしようが、真理は変わらないが？
お前は説明してくれる人によって、
地球が丸くなったり、平らになったり
すると思うのか？w >人工知能の「やりきれなさ」といかに向き合うか | Forbes JAPAN（フォーブス ジャパン）
https://forbesjapan.com/articles/detail/25930
>「知能」とは、「答えの有る問い」に対して、いち早く、正解に辿り着く能力のこと。
>これに対して、「知性」とは、その全く逆の能力、「答えの無い問い」を問い続ける
>能力のことである。答えなど得られぬと分かっていて、なお、それを問い続ける能力のことである。
おまえらに無いのは知性な。ＩＱだけを知能としてＥＱやらＳＱ，ＨＱやらＡＱなど
知っている奴が、それすら しらないってどういうことよ？
おまえらがシッタカしているのは 知能であって知性ではない。 原理的には〜なんつったら何でも基礎原理まで還元されてしまうぞ
はやぶさ2号だってニュートン力学の応用にすぎないとか言うことはできるがそれで何か分かった気になるのはむなしい >>315
AIブームのような状況で、何かわかった気になってる（主にお金を出す立場の）人たちに、立ち止まってよく考えるように戒めてる方向の説明なんじゃないかな。
AIが人類を亡ぼそうとするみたいな壮大な妄想に取りつかれる人さえいるときに、関数を求めているにすぎませんよと説明しているみたいな。 深い階層を学習することは困難だったが、
上りと下りの両方向から入出力が同じになるように学習させると
深い階層でも学習が可能になった
このアイデアは、生物の視覚野の構造から着想している
このような発見と実験が研究の原点である
この東大教授のような態度ではなんの発見もできないであろう 日本のIT（派遣や非正規）奴隷には理解できない領域(笑) いのちの法則 快療法bot
@kairyohou
3月18日
その他
例えば血圧が200あって、高いからと薬を使って適正な血圧まで下げた人が、高いはずの200の時の方がからだの調子がよく、下がったら調子が悪くなったという例があります。これなども平均的な数字をすべての人に機械的にあてはめたことによる失敗です。
(万病を治せる妙療法 操体法/橋本敬三) >>317
同様の理由で全く戒めにならんと言えるけどな >>317
AIは統計を数学の伝統的な方法とは違う側面で行うものだよ。
入力に対する応答は毎回違い、評価の流れも入力によって変わっていく。
パーセプトロン単位の処理は関数と言えるかもしれないけど、全体は関数的な動きにはならないよ。
それともプログラムならエントリー処理自体が関数だろとか言いたいのかもしれないけどw
壮大な妄想の前に使ってみようよ。 俺もちょっと触った程度だけど最小2乗法じゃね？と思ったわ
もう少し詳しくやったら考え方も変わるのだろうか >>322
＞入力に対する応答は毎回違い
え”？？？？？？？？？
トレーニングしない限り、常に同じ入力に同じ答えを返すんですけど。
バリバリな関数なんですけど… 誰もが頭が良くなる、プログラムが書けるようになる方法が発見される 31171
https://you-can-program.hatenablog.jp >>322
初期値など乱数を設定する時にシードを固定してないんじゃ。 このスレ見てるとツッコミどころ多すぎて覚えの悪い自分がまともに思えてくる
やっぱりテストで百点取れるような人間がしっかりと理解してんだろうね いつの日にか、人類は自らが作り出したAIに
自らの運命を委ねてしまって滅ぼされて
しまうのではないだろうか？
経済政策で疲弊したドイツ経済を建て直して
奇跡の復興を成し遂げたヒトラーに民衆が
期待を寄せて、次第に彼に権限を集中させ、
国家の命運を託して独裁者を許したことが
ドイツの完全な破壊を招いたように。
常に疑いと疑念を持たずに、熱狂で大歓迎をして
その危険性を考えなければ同じ愚を犯すのでは
ないだろうか？ >>328
まあ、自ら作り出した共産主義に、自らの運命をゆだねてしまって、
悲惨な目にあう人もたくさんいるからな。 >>37アルゴリズムがコピーできるものは
＞すべて単なるプログラム。
＞動物の脳のアルゴリズムはコピー不可だから
＞プログラムではないんだなこれが。
確かにそうだね >>55
＞自我ってのは脳細胞、脳全体によって生み出される機能(？)だろ。
＞なら、それを機械的に再現することは不可能ではないわな。
自我はハードが無味出すものみたいだな >>217それより量子コンピュータの続報はどうなった
自我を持つ汎用ＡＩのベースは量子コンピュータになると思うけど
量子コンピュータはいきづまってる感じだな >>279人間の脳神経があんなに大量の情報をさばいてるとは思えない。
＞それに、人間の枝刈りの能力は尋常じゃない
自我を持つ人間の脳とＡＩは全く異なる原理だし
自我を持つ汎用ＡＩの技術も
ＡＩの技術の延長線上にはない まもなく世界経済が崩壊します、通貨は廃止、株式市場は閉鎖、自殺者、失業者が大量に出ます。
その絶望的な状況のさ中に、世.界教師マ.イトレーヤが、匿名でテレビ出演します。
彼は、分ち合い、原発の全廃、を説きます、世界中のあらゆる言語で語ります。
その間、世界でＵＦＯが益々、目撃されるでしょう。
そして『大宣言』というテレパシー世界演説を行います、１４歳以上に、世界同時生放送されます。 コピーできるアルゴリズム＞＞＞＞＞＞コピーできないアルゴリズム
後者の非効率性が生物の限界。 >>319日本のIT（派遣や非正規）奴隷には理解できない領域(笑)
政府は大学教育で
ＡＩに力を入れるんだって
数十万人のオーダーで
ＡＩの基礎的知識をもった学生を育てるんだと >>324
＞トレーニングしない限り、常に同じ入力に同じ答えを返すんですけど。
＞バリバリな関数なんですけど…
数学は決定論なんで当然だし
量子コンピュータでもない限り
未来が不確定な結論にはならない >>335
＞コピーできるアルゴリズム＞＞＞＞＞＞コピーできないアルゴリズム
＞後者の非効率性が生物の限界。
汎用ＡＩはコピーは無理だ
ＡＩはハードとソフトが分離されてるけど
汎用ＡＩはハードとソフトが不可分で
ハードの量子力学的性質の上になりたってる 深いっていうのは曖昧な言葉だけど
３枚以上の層が有るという意味で良いのかな？ >>339
一般的にそういう意味。
中間層２層（３層パーセプトロン）まではバックプロパゲーションで学習できた。
それ以上は色々工夫が必要になったので、ディープラーニングのディープは
３層以上という意味。 >>338
全然コピーできないという主張についての言及がされていないのはギャグか？ ■ このスレッドは過去ログ倉庫に格納されています
