【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
■ このスレッドは過去ログ倉庫に格納されています
「ディープラーニングは、原理的には単純な最小二乗法にすぎない」――2月18日付けで日本経済新聞電子版が公開した記事について、Twitterでは「ディープラーニング＝最小二乗法」という解釈は異なるのではという指摘が相次いだ。19日には「ディープラーニング」「最小二乗法」といったワードがTwitterでトレンド入りし、波紋が広がっていた。
日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング（深層学習）は、原理的には単純な最小二乗法（誤差を最小にする近似計算の一手法）にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml_01.jpg
最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差の2乗和を最小とするような係数を決定する方法。ディープラーニングに詳しい東京大学の松尾豊特任准教授は、2018年8月に登壇したイベントで、「ディープラーニングは最小二乗法のお化けのようなもの」「従来のマシンラーニングは（階層的に）『浅い』関数を使っていたが、ディープラーニングは『深い』関数を使っている」と説明していた。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml2.jpg
松尾氏は2月20日、Twitterの公式アカウントで「小林慶一郎先生はよく議論させていただくので、少し責任を感じています」とツイート。ディープラーニングを簡潔に解説するため「深い関数を使った最小二乗法」という言葉を使ってきたが、「深い関数を使った」という説明がいつも抜け落ちてしまうと嘆く。
松尾 豊
@ymatsuo
しかし、いつも「深い関数を使った」というところが抜け落ちてしまいます。ディープラーニングはその名の通り「深い」ことを強調した学術用語であり、そのくらい深いことが重要ですが伝わらない。深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきことです。
https://twitter.com/ymatsuo/status/1098116029987713024
松尾 豊
@ymatsuo
「最小二乗法」は、損失関数を最小化することで、モデルのパラメータをデータから推定することを、一般の人がぎりぎり持っている（かもしれない）知識で言い換えたもので、大雑把ではありますが、それほど悪くない言い方だと思っています。深いことに比べるとそれほど重要ではありません。
https://twitter.com/ymatsuo/status/1098116143393386497
松尾 豊
@ymatsuo
いずれにしても、経営者や政治家の方を含め、多くの人に正しく理解してもらうのは大変難しいです。「最小二乗法」がこれだけ話題になるというのは、逆に言うと、多くの人がぎりぎり理解できる地点がそこらへんまでなのだということを示してもいて、なかなか絶望的ではあります。まだまだ道は長いです。
https://twitter.com/ymatsuo/status/1098116255737737216
松尾 豊
@ymatsuo
翻って、「深い関数」という意味や、それがもたらす可能性を、（専門家の人も含め）どれだけの人がちゃんと理解しているのかとは、常々疑問に思います。もちろん、AI全般、あるいは知能全般の議論と簡単に結びつけるのは良くないですが、非常に大きな広がりがある技術だと思っています。
https://twitter.com/ymatsuo/status/1098116360062722048
続けて、「深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきこと」「『最小二乗法』は、損失関数を最小化することで、モデルのパラメータをデータから推定すること（略）深いことに比べるとそれほど重要ではありません」と投稿。経営者や政治家など、AIに詳しくない非エンジニアに正しく理解してもらうための解説は「大変難しい」と痛感しているようだ。Twitterでも同様に、AI技術について上司や同僚にどう解説すればいいかを嘆くエンジニアの声も見られた。
松尾氏は「深い関数」の意味やそれがもたらす可能性について、今後も研究や啓もう活動を続けていくと発信した。
ITmedia NEWS
https://www.itmedia.co.jp/news/articles/1902/20/news141.html
https://twitter.com/5chan_nel (5ch newer account) >>246
プログラム書けてもライブラリ呼び出しの方法しか説明してないのも多いんだよね
歌ってみた、程度のが多い 趣味のゲームAI用に多層パーセプトロンまでは行列パッケージで組んだ。
正則化やオートエンコーダ、その他諸々。
多層でも収束させrための技術も色々組んだ。
CNNの登場で、２行目のネタが全く不要になり、現在は忘却の彼方へ。
CNNは途中までトライしたけど、行列での表現が難しく、
しかも努力の方向性が違って来ていると思ってやめた。
そもそも計算機資源が足りなかった。
学習だけじゃなく、予測する際にも、速度的に無理というレベルが予想できた。
世の中の人は、DCNNから入った人も多いんだろう。
そういう人はライブラリ使っていれば良い。
僕は自分で組みたかったのでDCNNで足を洗った。 >>246
行列値がゼロってのは、ウェイトがゼロになっちゃう事か？
それは過学習とは言わない。勾配消失と言う。 >>259
もう出来てるよ。
製品もオープンソースの実装も山ほどある。 >>255
それは日本に限らず世界的にもそうだろう
理由の説明ができるかできないかでインパクトファクター全然変わるやん >>262
学界の中ではそうなんだけど、産業界も含めた作り出すことを目的とした競争では、そこにとらわれ過ぎない方が上手くいくこともある >>263
うだうだ婉曲的に言ってるけど、要するにロジカルに進めてくか、セレンディピティも重視するかってことね
極論すると、主婦の特許はセレンディピティじゃないよ、あなたの例えは不適切だよってのがおれの言いたいことね
具体的に明示できんくせにいちいち言葉もムカつくから、もうレスいらんよ >>259
AIの定義による
知能＝人間の脳 なら
人工知能はまだ出来てない
知能＝将棋や囲碁や顔認識 なら
もうわかるよね 深い関数というのが重要ではあるが、最小二乗法に過ぎないというのも間違いではないでしょ。
人間は考える葦であるというのが重要かもしれないが、哺乳類に過ぎないという意見も正しい。 >>271
人類とは何か。
ただの哺乳類にすぎない。
と書いてどんな意味があるのだろうか？
何を説明したいのか分からん 最小二乗法は、重みを計算するためのものです。
深層学習関係ありません。 加重最小二乗法のループによってそれ自身の重みを推定する 意味不明。
深層学習が既存の近似法より優れている点は、
説明変数を人間がアドホックに与えなくて済みそうな点です。
ある法則の仮説検証は、アドホックに決めた近似式を用意して、
統計的に検証する事で行われますが、近似式をアドホックに
決める所が大変に難易度の高い作業です。
例えば、ニュートンは、f=maという単純な近似式を見出した事で
（古典的）重力理論の創始者となる事ができました。
深層学習では、学習した結果が、実測値の予測に優れている事が
証明されたうえで、何を学習したのかを中間層の重みを可視化する
などして調査する事で、より単純化した法則を導き出す事ができる
可能性があるという事です。
仮説→検証→仮説の法則化ではなく、深層学習→検証→法則と
なる可能性が出てきます。 >>272
「人間も動物にすぎない」といったら、性犯罪に理解を示す言葉。 >>7
最小二乗法を知ってる人なんてそんなにいないと思うんだが… >>270
知能が画像認識等の問題とするならば、
それに使われてる仕組みはもう揃ったと言って良いんだろうか？
人間の脳神経があんなに大量の情報をさばいてるとは思えない。
それに、人間の枝刈りの能力は尋常じゃない。 最小二乗法は高校数学ではたぶん習わない。
統計学の基礎的な教程でも出てこない。
それより、
コンピュータ・プログラミングのアルゴリズムや
数値計算の書籍にかなりの確率で出てくる。 >>280
ｵﾚは理学部物理学科だったけれど
学部2年か3年で勉強したような記憶がある。
その後も数値計算とかCAGDとかシミュレーションについて勉強し続けていたので、
上記記憶はもしかしたらｵﾚに記憶違いかもしれないが、
学生レベルだと思うよ。 >>281
思い出した、物理実験のデータのfittingにfortranとか使ってやってたわ 最低でも義務教育で、基本的な統計学とか確率論の基礎って教えておかなくちゃいけない気がする
グラフの読み取り方とかって、例に出して悪いが三角関数よりは必須だと思う
騙されないようにするためにも 基本的にはそういうこと
>>232
再帰反復関数系にしたらチューリン完全に近づいたってことか？ >>276
それはデータによるから相当規模のデータで検証しないと複雑なのは無理 最小二乗法だけでは深い関数は学習できなかったんだよ
深い関数自体は30年とか前から提案されている
だれもそれを学習できなかっただけ
深いこと自体は新しくもなんともない
深い関数を学習できるようにしたことが革命なんだよ
この自称大学教授はもっと勉強した方がいい >>4
だから分かりもせずに設計主義に走ると失敗する
構造改革と言って、何を改革するのか政治家も国民も理解してないのは、
粛軍演説の頃からの常 >>240
ワニは適応(進化)しすぎて元に戻れなかった
哺乳類は適応(進化)してなくて後の環境に適応できた >>285
データではない。対象がモデル可が可能かどうかによる。
データ規模がどんなに多かろうと、ランダムの寄与度が高い対象は良い
モデルが構築できない。
また、データ規模はあった方が良いが、多ければ多いほど、誤差が減ると
いうものでも無い。
一番の問題は、過学習の問題を抱えていて、ある回数から学習回数を増や
せば増やすほど、予測能力（モデル構築能力）を失っていく可能性がある事。
モデルがどのくらい正確かを知るには、半数のデータで学習して、残りの
データで誤差を算出するなど、非常に手間がかかりかつ非効率（半数の
データを学習に使用できない）なところもある。 「深い」とか言ったって何も伝わらないんじゃないかなあ。
フィッティング関数を何個も重ねてますって言った方が良いんじゃ・・ Wikipediaに「残差平方和」とは
「残差の平方（二乗）の和である」と書かれてあって笑った。
まんまじゃん。説明する意味があるのか？ 「深い関数」というのはwell definedなのか？
およそ数学的というには程遠いようにしか思えんが
適当な説明をしたら誤解された 当然だ >>286
松尾先生はちゃんとそう言っているよ
ディープラーニングは古くからある発想だが、入手できるデータ量とマシンスペックが向上したことそれ自体によって実現したことが凄いのだと
これはたぶん情報理工学を専攻していれば博士どころか学生でも当たり前に知っていることだと思う >>295
いやいや、深い関数だとどれだけ回しても局所解から抜け出せないってのがあったじゃない。
それができるようになったのは、手法の改善も大きいと思うよ。 >>297
自分の論点が書かれてなかったからって他人の発言を否定するような書き方をするのはやめよう。
レス先を見てごらん。
それともレス内でAIの実装を語るには全方面に配慮して歴史と仕組みでも並べないといけないのかな。 これが日本の研究レベルだから仕方ない。いい研究者はみんなアメリカか中国だよ >>290
こういうこと？
たとえばAIに｢人類の未来に必要なことは？｣と聞いてみる。
AIは回答の一つに｢現時点でユダヤ人を撲滅しておくのが人類にとって最良だし欠かせないことだ｣と結論を出した。
驚き詳しく調べてみると｢将来の人類｣とは300年先の人類のことだし、ユダヤ人撲滅するためには300年もの間に人種間の争いで人類は塗炭の苦しみを負わなきゃならないと解った。
しかも300年以後に人類がどうなってるかは結論が出てない、と。
こういう過剰な予測のこと？ >>298
あまりカドを立てたくなかったからソフトに書いたけど、ディープラーニングの大半の成果は手法の改善なんだよ。それもほんのちょっとした改善がとてつもない効果があった。
計算速度の向上とかはほとんど関係ないし、データだって90年代には膨大な量が揃ってた。書くなら一番重要なとこを書こうよ。 >>303
>>295だけど、>>298は俺じゃなく別の人ね
手法の変化というのは具体的にはシグモイド関数でなくRelu関数を使うようになったことを指してるんだと思うけど、これも松尾先生はもちろん学生でも知っている常識だからね
これは既存の手法では結果を微分した際に極端な値しか取れず最適解に収束しないことが問題だったが、Reluを使うことで上手くいくようになったという事実だが、工学博士が知らないわけはないからね
それを勉強しろなんて書いていたのがいい加減だなぁと少し腹が立っただけさ
あなたは>>286じゃないだろうからこんなレスする意味はあんまりないかも知れないがw >>301
ディープラーニングは基本的に分類問題を扱う
犬と猫を学習させれば犬と猫を見分けることが出来る
しかし、犬と缶とクラシック音楽みたいに共通点の乏しい(ランダム性が高い)ものを学習させると、意図しない分類をしてしまう
だからデータの違いに対してあえて学習を鈍感にさせることで、共通点の少ないデータによる意図しない分類をなくす必要がある ﾘｶﾁｮﾝ 何の事だかよく分からず
灯台と聞いてカット頭に血が上り、ハラハラと落涙す ワカゲノイタリ >>305
それをチューニングって言うけど、ここがセンスの問われるところなんだよな
まだ、正解というか機械的に行うことは難しいっぽいし ディープダンジョンは、原理的には単純なwizに過ぎない >>34
浮浪者のおっさんが解説しようが
誰がしようが、真理は変わらないが？
お前は説明してくれる人によって、
地球が丸くなったり、平らになったり
すると思うのか？w >人工知能の「やりきれなさ」といかに向き合うか | Forbes JAPAN（フォーブス ジャパン）
https://forbesjapan.com/articles/detail/25930
>「知能」とは、「答えの有る問い」に対して、いち早く、正解に辿り着く能力のこと。
>これに対して、「知性」とは、その全く逆の能力、「答えの無い問い」を問い続ける
>能力のことである。答えなど得られぬと分かっていて、なお、それを問い続ける能力のことである。
おまえらに無いのは知性な。ＩＱだけを知能としてＥＱやらＳＱ，ＨＱやらＡＱなど
知っている奴が、それすら しらないってどういうことよ？
おまえらがシッタカしているのは 知能であって知性ではない。 原理的には〜なんつったら何でも基礎原理まで還元されてしまうぞ
はやぶさ2号だってニュートン力学の応用にすぎないとか言うことはできるがそれで何か分かった気になるのはむなしい >>315
AIブームのような状況で、何かわかった気になってる（主にお金を出す立場の）人たちに、立ち止まってよく考えるように戒めてる方向の説明なんじゃないかな。
AIが人類を亡ぼそうとするみたいな壮大な妄想に取りつかれる人さえいるときに、関数を求めているにすぎませんよと説明しているみたいな。 深い階層を学習することは困難だったが、
上りと下りの両方向から入出力が同じになるように学習させると
深い階層でも学習が可能になった
このアイデアは、生物の視覚野の構造から着想している
このような発見と実験が研究の原点である
この東大教授のような態度ではなんの発見もできないであろう 日本のIT（派遣や非正規）奴隷には理解できない領域(笑) いのちの法則 快療法bot
@kairyohou
3月18日
その他
例えば血圧が200あって、高いからと薬を使って適正な血圧まで下げた人が、高いはずの200の時の方がからだの調子がよく、下がったら調子が悪くなったという例があります。これなども平均的な数字をすべての人に機械的にあてはめたことによる失敗です。
(万病を治せる妙療法 操体法/橋本敬三) >>317
同様の理由で全く戒めにならんと言えるけどな >>317
AIは統計を数学の伝統的な方法とは違う側面で行うものだよ。
入力に対する応答は毎回違い、評価の流れも入力によって変わっていく。
パーセプトロン単位の処理は関数と言えるかもしれないけど、全体は関数的な動きにはならないよ。
それともプログラムならエントリー処理自体が関数だろとか言いたいのかもしれないけどw
壮大な妄想の前に使ってみようよ。 俺もちょっと触った程度だけど最小2乗法じゃね？と思ったわ
もう少し詳しくやったら考え方も変わるのだろうか >>322
＞入力に対する応答は毎回違い
え”？？？？？？？？？
トレーニングしない限り、常に同じ入力に同じ答えを返すんですけど。
バリバリな関数なんですけど… 誰もが頭が良くなる、プログラムが書けるようになる方法が発見される 31171
https://you-can-program.hatenablog.jp >>322
初期値など乱数を設定する時にシードを固定してないんじゃ。 このスレ見てるとツッコミどころ多すぎて覚えの悪い自分がまともに思えてくる
やっぱりテストで百点取れるような人間がしっかりと理解してんだろうね いつの日にか、人類は自らが作り出したAIに
自らの運命を委ねてしまって滅ぼされて
しまうのではないだろうか？
経済政策で疲弊したドイツ経済を建て直して
奇跡の復興を成し遂げたヒトラーに民衆が
期待を寄せて、次第に彼に権限を集中させ、
国家の命運を託して独裁者を許したことが
ドイツの完全な破壊を招いたように。
常に疑いと疑念を持たずに、熱狂で大歓迎をして
その危険性を考えなければ同じ愚を犯すのでは
ないだろうか？ >>328
まあ、自ら作り出した共産主義に、自らの運命をゆだねてしまって、
悲惨な目にあう人もたくさんいるからな。 >>37アルゴリズムがコピーできるものは
＞すべて単なるプログラム。
＞動物の脳のアルゴリズムはコピー不可だから
＞プログラムではないんだなこれが。
確かにそうだね >>55
＞自我ってのは脳細胞、脳全体によって生み出される機能(？)だろ。
＞なら、それを機械的に再現することは不可能ではないわな。
自我はハードが無味出すものみたいだな >>217それより量子コンピュータの続報はどうなった
自我を持つ汎用ＡＩのベースは量子コンピュータになると思うけど
量子コンピュータはいきづまってる感じだな >>279人間の脳神経があんなに大量の情報をさばいてるとは思えない。
＞それに、人間の枝刈りの能力は尋常じゃない
自我を持つ人間の脳とＡＩは全く異なる原理だし
自我を持つ汎用ＡＩの技術も
ＡＩの技術の延長線上にはない まもなく世界経済が崩壊します、通貨は廃止、株式市場は閉鎖、自殺者、失業者が大量に出ます。
その絶望的な状況のさ中に、世.界教師マ.イトレーヤが、匿名でテレビ出演します。
彼は、分ち合い、原発の全廃、を説きます、世界中のあらゆる言語で語ります。
その間、世界でＵＦＯが益々、目撃されるでしょう。
そして『大宣言』というテレパシー世界演説を行います、１４歳以上に、世界同時生放送されます。 コピーできるアルゴリズム＞＞＞＞＞＞コピーできないアルゴリズム
後者の非効率性が生物の限界。 >>319日本のIT（派遣や非正規）奴隷には理解できない領域(笑)
政府は大学教育で
ＡＩに力を入れるんだって
数十万人のオーダーで
ＡＩの基礎的知識をもった学生を育てるんだと >>324
＞トレーニングしない限り、常に同じ入力に同じ答えを返すんですけど。
＞バリバリな関数なんですけど…
数学は決定論なんで当然だし
量子コンピュータでもない限り
未来が不確定な結論にはならない >>335
＞コピーできるアルゴリズム＞＞＞＞＞＞コピーできないアルゴリズム
＞後者の非効率性が生物の限界。
汎用ＡＩはコピーは無理だ
ＡＩはハードとソフトが分離されてるけど
汎用ＡＩはハードとソフトが不可分で
ハードの量子力学的性質の上になりたってる 深いっていうのは曖昧な言葉だけど
３枚以上の層が有るという意味で良いのかな？ >>339
一般的にそういう意味。
中間層２層（３層パーセプトロン）まではバックプロパゲーションで学習できた。
それ以上は色々工夫が必要になったので、ディープラーニングのディープは
３層以上という意味。 >>338
全然コピーできないという主張についての言及がされていないのはギャグか？ ■ このスレッドは過去ログ倉庫に格納されています
