【AI】「ディープラーニングは、原理的には単純な最小二乗法にすぎない」で物議 東大・松尾豊氏「深い関数の方が重要」
■ このスレッドは過去ログ倉庫に格納されています
「ディープラーニングは、原理的には単純な最小二乗法にすぎない」――2月18日付けで日本経済新聞電子版が公開した記事について、Twitterでは「ディープラーニング＝最小二乗法」という解釈は異なるのではという指摘が相次いだ。19日には「ディープラーニング」「最小二乗法」といったワードがTwitterでトレンド入りし、波紋が広がっていた。
日経の記事では、慶應義塾大学経済学部の小林慶一郎教授がAI技術について解説。「近年、驚異的な発展を見せているAIのディープラーニング（深層学習）は、原理的には単純な最小二乗法（誤差を最小にする近似計算の一手法）にすぎない」と言及し、「ディープラーニングは『最小二乗法』」と題する図版が掲載された。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml_01.jpg
最小二乗法は、測定で得られたデータの組を、1次関数など特定の関数を用いて近似するときに、想定する関数が測定値に対してよい近似となるように、モデル関数の値と測定値の差の2乗和を最小とするような係数を決定する方法。ディープラーニングに詳しい東京大学の松尾豊特任准教授は、2018年8月に登壇したイベントで、「ディープラーニングは最小二乗法のお化けのようなもの」「従来のマシンラーニングは（階層的に）『浅い』関数を使っていたが、ディープラーニングは『深い』関数を使っている」と説明していた。
https://image.itmedia.co.jp/news/articles/1902/20/ai_ml2.jpg
松尾氏は2月20日、Twitterの公式アカウントで「小林慶一郎先生はよく議論させていただくので、少し責任を感じています」とツイート。ディープラーニングを簡潔に解説するため「深い関数を使った最小二乗法」という言葉を使ってきたが、「深い関数を使った」という説明がいつも抜け落ちてしまうと嘆く。
松尾 豊
@ymatsuo
しかし、いつも「深い関数を使った」というところが抜け落ちてしまいます。ディープラーニングはその名の通り「深い」ことを強調した学術用語であり、そのくらい深いことが重要ですが伝わらない。深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきことです。
https://twitter.com/ymatsuo/status/1098116029987713024
松尾 豊
@ymatsuo
「最小二乗法」は、損失関数を最小化することで、モデルのパラメータをデータから推定することを、一般の人がぎりぎり持っている（かもしれない）知識で言い換えたもので、大雑把ではありますが、それほど悪くない言い方だと思っています。深いことに比べるとそれほど重要ではありません。
https://twitter.com/ymatsuo/status/1098116143393386497
松尾 豊
@ymatsuo
いずれにしても、経営者や政治家の方を含め、多くの人に正しく理解してもらうのは大変難しいです。「最小二乗法」がこれだけ話題になるというのは、逆に言うと、多くの人がぎりぎり理解できる地点がそこらへんまでなのだということを示してもいて、なかなか絶望的ではあります。まだまだ道は長いです。
https://twitter.com/ymatsuo/status/1098116255737737216
松尾 豊
@ymatsuo
翻って、「深い関数」という意味や、それがもたらす可能性を、（専門家の人も含め）どれだけの人がちゃんと理解しているのかとは、常々疑問に思います。もちろん、AI全般、あるいは知能全般の議論と簡単に結びつけるのは良くないですが、非常に大きな広がりがある技術だと思っています。
https://twitter.com/ymatsuo/status/1098116360062722048
続けて、「深い関数により表現力が革命的に上がり、アルゴリズム的な挙動も含め表現できるのは驚くべきこと」「『最小二乗法』は、損失関数を最小化することで、モデルのパラメータをデータから推定すること（略）深いことに比べるとそれほど重要ではありません」と投稿。経営者や政治家など、AIに詳しくない非エンジニアに正しく理解してもらうための解説は「大変難しい」と痛感しているようだ。Twitterでも同様に、AI技術について上司や同僚にどう解説すればいいかを嘆くエンジニアの声も見られた。
松尾氏は「深い関数」の意味やそれがもたらす可能性について、今後も研究や啓もう活動を続けていくと発信した。
ITmedia NEWS
https://www.itmedia.co.jp/news/articles/1902/20/news141.html
https://twitter.com/5chan_nel (5ch newer account) 経営者や政治家は
それがどういう方面に応用できるか
だけでいいんだよ。
原理なんてわかったって連中には意味がない。 知らない人に対してなら、「ディープラーニングは最小二乗法のお化けのようなもの」ってのが妥当な説明のような気はする
>>4
政治家はともかく経営者は、担当者がそれを適切に説明できる程度に理解してるのかどうかを見極めなきゃダメじゃね? 【堀ちえみ（52）舌癌はブーメラン被曝】 悪いことを許していると、段々鈍感になり、悲惨な結末を招く
https://rosie.5ch.net/test/read.cgi/liveplus/1550624935/l50
後になってから、自分がいかに有害であったかに気づくのです。
pzytyf/jb5ry1.html
マ一十レーヤの唇からますます厳しい警告と重みが発せられることを覚悟しなさい。
ahjzfl-1/pzytyf/u4t847
マ一十レーヤは間もなく出現してこられます。長い間の待機はほとんど終わりました。
lutefl/04zpzf/ssl5p8.html 単純なことを桁違いにやると常識外れのものが得られるってだけのことじゃん
型をずっとやってたら最後には祈るようになったようなもんでしょ いい加減AIの責任の所在はそれを設計した団体組織の代表者の意向が
反映されたことで作動するものをAIと呼んでいると作成者の責任を法制化しろよ >>4
数学的理解がないからこそ
マトリックスなどの反乱といった頓珍漢な妄想を抱くことになるのだが 厳密な事実としては間違ってるんだろうけど
ニュアンスとしては間違ってなさそう
ある種の統計処理みたいなものであって
まだまだ高度な知能とはいえない
高度な知能ではないけど囲碁とかボードゲームなら有効に機能する >>4
経済学部の教授が自分の間違いに気づかず、授業料を払っている学生に教えているのが問題。 統計屋だがDeep Learningわからん
応用する機会もないから、勉強するきっかけがない AI詐欺にかかってる経営者連中はﾎﾟｶｰﾝだろうな 最小二乗法ってのは
それ自体には何の根拠もない近似法なんだよ。
何で使われてるかって、
二乗することマイナス符号が消えて、近似関数が決めやすいから。
ただそれだけ。だからその近似関数には何の意味もない。
別に最小4乗法でもかまわない。
あるいは、絶対値法（１乗法）でもかまわない。
どんなやり方をしても、まったく意味がない。
それは、いかなるやり方も勝手に想定した近似にすぎないから。
よって、>>1の者どもは
すべてアホだよ。
何も分かっていない。 コイツ無知だな
ディープラーニングは、複数のニューロン群から構成される多重写像だから
単一ニューロンの単純な関数の最小二乗近似とは違うよ 逆に人の意図の介在を許さないほどの単純な数式だからこそ
より信頼できるというものですよ >>24
ニューロンとか古い発想はもう使われてません
今は主にパターン認識と選別です バックプロパゲーション時代の手詰まり感を知らないと、ディープラーニングがブレークスルーの理由が分からんからな。 >>17
人間の脳みそも、単純なニューロンの深い深い組み合わせなわけで。
（神経伝達物質が環境変数みたいに機能しているようだけど）
ニューロンの学習も、教師（経験）に対する誤差の最小化と考えたら、
最小二乗法と、やろうとしている事レベルでは大差ないんではないかと。
違うのは方法論だけという。 AIには何も革新的なことがないのは事実
単にコンピューターの性能が向上して、昔ならコストがかかったことが気軽に出来るようになっただけ >>6
SF的な意味でのAIの事なら、今現代で言われているAIとは全くの別物と言って差し支えないよ
ただAIって言葉を使いたいがために定義がどんどん変わっていってるのが現状 AIと聞いたらまずアニメとは切り離して考えないとダメだよ
日本でAIの研究が一向に進まないのは自我を持った人型の機械という空想上の人工物のせいだからね >>19
階層が一つで、活性化関数が無いケースは、まさに線形計画法そのもの。
活性化関数をつけて非線形にしたうえで、その階層を何層も重ねると、
あらびっくり。階層の深さに応じて、万能近似装置になっちゃった。
という仕組み。
ちなみに、活性化関数を入れずに、線形なまま階層を重ねても、展開すると
１層と同じものになってしまう。 なんで経済学部のおっさんが解説しちゃおうと思うんだろw 自動運転自動車もようやくレベルを区別するようになったけど
ＡＩも区別して報道しろ
人間のようにどんな知識でも学習できるものなのか
その上で人間より高度の思考力をもつものなのか
あるいは、特定の分野向けにつくられた用途限定されたものなのか
あるいは、もっと原始的な思考システムなのか ディープラーニング＝局所最小解の問題を解決した最小二乗法だというイメージだが違うのか？ >>35
AIなんて
すべて単なるプログラムにすぎんよ。
アルゴリズムがコピーできるものは
すべて単なるプログラム。
動物の脳のアルゴリズムはコピー不可だから
プログラムではないんだなこれが。
動物の脳には自我が有り、コピー化なら
AとBのどちらが「自分」だと意識するのか論理的に解無しだから
コピー不可なんだよね。
だから、AIは脳を超えるどころか
近似さえ無理。
AIはコピー化。
脳は自我が有るから不可。
この基本が分からずに研究してるバカばっか。
不可能を追及してるわけ。 簡単に説明しようとしたことを
複雑に説明しようとする専門家たち Deep Learning一本で、ここまでAI畑の連中がのさばってるのが腹立たしいわｗ >>26
ディープラーニングって
ただ単に深いニューラルネットワークと
どこが違う？ 入力が二次元のデータで、出力は「Ａ」か「Ｂ」のどちらか
平面上に線を一本引いて、それより上なら「Ａ」、それより下なら「Ｂ」
入力と出力のデータをたくさん食わせて、直線の位置をどこにするのが
一番正しく判定できるか調べる
一番性能がよくなる直線がわかったところ＝学習が終わったＡＩデータ
あとはそれをより複雑なデータとか高い次元でやる
そんなところだろ 最小二乗法なめすぎだろ
非線形な場合、安易にやれば大概はろくな結果にはならん >>13
まあ本来は、変換辞書の学習アルゴリズムみたいなもんだからや >>23
それは評価関数の意味を考えないアホの思想 ディープラーニングは数学者が解説すべき
藤原正彦博士が適任である >>48
ハゲを隠すスダレ頭で、品格だの矜持だの国家だのってのが適任者なのか。 >>38
簡単に説明したつもりで、大事な所を省いて、結果間違ってたら、
そりゃ誤りを正すのも専門家の仕事だろ。 >>26
うん、お前みたいなクソバカはromってろ
ヒューリスティックな回答をするという意味では
最小二乗〜ってのもあながち間違いじゃないけど
言葉だけ独り歩きしちゃうからな… なんとか法と一言でいいたいだけじゃね。
マハラノビス距離が最小となる分類を決定する方法とかどうよ。 最小二乗法だって「重み」つきにできる
「重み」の選択に任意性を付すことができるが、それとどこが違う >>37
自我ってのは脳細胞、脳全体によって生み出される機能(？)だろ。
なら、それを機械的に再現することは不可能ではないわな。 >>26
お前は実は何もわかってないだろ？
若しくはわかった気になっているパターン お前ら難しいことよくしってんな。
俺はディープスロートしかわからない。 この学習法はコロンブスの卵だよ
自分がニューラルネットワークの研究やってたときは、四層以上の学習法は良い手法が無かった
三層構造で学習させた後に四層目を追加して、一層目は学習から外すなんて思いつかなかった >>23
確かに二乗を使ったほうが最善という話はどこにものってないな。
計算がしやすいのは分かるが、
最初に思いつくのは絶対値を最小にすることだろう。
（ここでは１乗法と書いてある部分）
絶対値に比べて二乗だと、1より小さいと小さく評価され
逆だと大きく評価される。この評価が妥当かどうか。分からない。
(y=xとy=x^2のグラフを重ねてみれば分かる。言うまでもないが） 深い関数ってどういう意味？
複雑な関数とは違うってこと？ AIという言葉を使う連中にはこれぐらいの極論じゃないと伝わらない気はする ディープラーニングとかAIとかその辺の単語を広告業界が乱用したせいでごちゃごちゃになってるよね WikipediaをWikiって略すな論と同じような議論に感じる 深い関数って何なんだろう？
浅い関数と深い関数をいくつか例示してくれれば、みんな分かるかもしれないのに >>67
それのどっちかで多数決とってるイメージだね ところで「チンポがシコシコする」という日本語表現は、文法的に正しいのか？
チンポ「を」シコシコするのではなくて、チンポ「が」シコシコする。この場合、「チンポ」は主語となる。
オブジェクト指向で言う「集約」は２種類あって、全体（俺）と部分（チンポ）が繋がっている場合と、
全体（俺）と部分（チンボ）が別々になっている場合とが考えられる。けれども「チンボ」はそれ自体
が独立した生き物であり、所有者の意思とは無関係に、勃起して「シコシコする」。
例えば寝てる時にエロい夢みて朝起きてみたらチンコが勃起して射精してたとか。
違うか？
「胸がドキドキする」は良いが、「チンポがシコシコする」はダメな理由を、５０字以内で述べろ！ 俺には自分が情けなくなるほど書いてある内容がわからん >>47
生命、宇宙、そして万物についての究極の疑問の答えは? ディープラーニングがわからない人は
多分 最小二乗法も理解できてない >>4
経営者は兎も角政治家に何かを求めるのが間違い
何に応用出来るのかまで示すのが真の 大胆な簡略化を取り入れれば、そのような表現になることもあるだろうが、
大胆過ぎる簡略化が御幣を招くこともある。
まあ、その手の簡略化で言うのなら、日本経済新聞は「右翼のビラ」、
慶應義塾大学経済学部の教授は、「カルト教祖」とかいったところだろうか？ コンピュータは原理的には0と1の演算からできている、という話と似ているというか、
ミクロに見ていっても要素が小さくなりすぎて、その本質は見えてこない
深いという点が重要な働きをしていることに間違いはないだろうけど、それだと今度はざっくりしすぎていて、
本質の部分はもう少し中間のサイズの何かなんだろうね Deep = 深い
ニューラルネット＝神経回路網
ディープラーニングとは、ディープニューラルネットを使って学習をする
仕組みのことだ。
ディープニューラルネットというのは、多階層のニューラルネットで
その階層の数がとても多いもののことをいう。
階層を重ねることによって、複雑な振る舞いを模倣できるようになるが、
その模倣を上手くやるための良い調整のパラメータを決めるのが
階層が深くなるとそれだかとても難しくなり、大量の計算をして最適な
調整パラメタを決めている（それでも本当に最適であることは一般には
証明できないが、多数の学習例題をうまく近似できていれば、一応問題は
ない）。 ニューラルネットのアプローチは、多数の事例に対して
パラメータあわせをして作った結果は、なんらかの意味で本質を抽出
していて、まったく未見の新しくやって来た事例に対しても、それなりに
正しい応答をするだろうという仮定を置いている。
犬と猫の絵をたくさんみせてこれが犬でこれが猫だと正解をつけて
学習させたとき、まだ見せたことの無い犬を見せてそれを犬と判断できるか
どうか。あるいはまだ見せたことの無い猫を見せてそれを猫と正しく判断
できるかどうか。犬と猫のハーフを見せたらどうなるのか？馬を見せたら
どうなるのかなど、哲学にも通じるものがある。 ディープラーニングって聞くと石川遼の英語学習のスピードラーニングが邪魔しにきて理解できなくなる 日本の初代ディープスロートの女王は斉藤唯。
これちょっとしたビーンノレッジな。
言い訳みたいな事いうより、深くないディープラーニングが最小二乗法と一致することを証明、説明すればいいのでは? 「深い関数」について簡略的に独断と偏見で解説すると、
「ＡＩ」というものは、一種の万能関数だ。
つまり、無数にある係数を調整することで、どんな関数でも近似できる。
で、問題は、その係数を効率よく決定することになる。
最初の万能関数は、テーラ級数展開とかフーリエ級数のようなものだろうか？
で、これらの係数を決定するのに使う手法が最小二乗法だ。
次に、発明された万能関数としてチューリングマシンがある。
これは、アナログではなくデジタルの万能関数だ。
しかし、チューリングマシンのプログラミングはあまりにも人間には難しかった。
で、これに思い切って性能は劣化するが「命令とデータの分離」という制限を付けることで
人間の知能でもプログラミングしやすくしたのが、ノイマンマシン。
それでも、プログラミングが面倒だった。
そこで、人間の脳に関する知見を元に作られたアナログ万能関数が、パーセプトロン。
でも、今度は近似性能が低過ぎる。
パーセプトロンの問題点を探ってみると、「万能」化させる負荷が、特定のごく少数の浅い部分の係数ばかりに
集中していることが性能劣化の主な原因のようだ。
で、その他の「深い部分」にある係数も、「万能」化、学習に動員させるように改良したものが、
ディープラーニング。 >>34
この小林慶一郎氏は東大計数工学科の出身らしいから、当時はニューラルネットワークの権威の甘利俊一先生がいたところだから、
日本で一番ニューラルネットワークについて研究できるところでもあり、つい何か言いたくなっちゃうんだろうね
>>48
ディープラーニングは部分的に数学を使うとはいえ、多数の評価が組み合わさってどうなるかの話だから、数学者に聞いても何か分かるとは限らないぞ
実は数学的な何かの性質が本質的な働きをしているということがもしあれば、それは数学者の方が見抜ける可能性はあるのかもしれないが 831 デフォルトの名無しさん sage 2018/11/11(日) 10:00:59.18 ID:Tyd11AGx
たとえば、CycはFredという名前の男がドナルドダックのモノマネをするという話が理解できなかった。
Cycの推論エンジンは、この話の中に矛盾を見つけた。Cycは人間には羽がないことは知っているが、
アヒルのように歩き、アヒルのように鳴くものはアヒルに違いないと考えた。
したがって、CycはFredがドナルドダックのモノマネしている間、
Fredはそれでも人間なのかと尋ねた。
925 デフォルトの名無しさん 2018/11/21(水) 18:36:07.42 ID:8Yc2p7H1
>>919
＞そもそもアランケイの言う「実行中」は「起動中」であって
＞「使用中」じゃないんだろう。マルチユーザーで誰かが使用している最中に
チンポがシコシコしている間、俺はそれでも俺なのかと尋ねた。
829 デフォルトの名無しさん 2018/11/11(日) 09:52:59.70 ID:y84pWKv0
（第1章 はじめに 2頁）
たとえば、CycはFredという名前の男が朝にひげをそるという話が理解できなかった。
Cycの推論エンジンは、この話の中に矛盾を見つけた。Cycは人間には電気の部品がないことは知っているが、
Fredが電気カミソリを持っていたので、エンティティ「Fredがひげそり中(FredWhileShaving)」
には電気の部品が含まれていると考えた。したがって、CycはFredがひげをそっている間、
Fredはそれでも人間なのかと尋ねた。
『深層学習』
著者:
Ian Goodfellow, イアングッドフェロー,
Yoshua Bengio, ヨシュアベンジオ,
Aaron Courville, アーロンカービル ニューラルネットワークを数学的に概観すると、
係数全体が示す（多次元）平面上に、目標の近似達成度という一次元の関数が定義できる。
「学習」とは、その近似達成度が最大化するように、係数ベクトルを移動させてゆく問題だ。
ちょうど、（係数ベクトルという）パチンコ玉が、（近似達成度の）窪みに落ち込むように揺すったり叩いたりする数学的手続きをするのが、
ボルツマンマシンだ。
既存のパーセプとロンでは、揺すり方が、単調で小刻み過ぎて、ちっともパチンコ玉が小さな丘も超えられない。
で、ディープラーニングなどでは、思い切って、もっと、大きく揺すったりする。 928 デフォルトの名無しさん 2018/11/21(水) 18:59:11.61 ID:8Yc2p7H1
>>922
＞ナンチャッテメッセージングスタイルになったのは
チンポ.オシッコを出す
チンポ.オシッコを止める
さっきトイレでやってきた。
929 デフォルトの名無しさん 2018/11/21(水) 19:07:17.83 ID:8Yc2p7H1
>>915
＞単なる動的なメソッド呼び出しをメッセージと称し、ただしコールするメソッドが見つからない場合だけメッセージを
＞ハンドリングできる省コストなナンチャッテメッセージングスタイルに落ち着いた。
×
俺.オシッコを止める 俺.オシッコを出す
○
俺.チンポに力を入れる 俺.チンポから力を抜く 係数の数は少ないほうが簡潔でよい（オッカムの剃刀）。
しかし、係数が増えれば、その分、近似精度は上がる。
近似性能の上昇と係数の簡略さの相克を考えた係数の最適数を決定する公式として、
ベイズ統計では、「赤池の公式（Ａkaike's Ｉnformation Ｃ.）」というのがあったはずだが、
最近の教科書では、取り上げられていないことが多くなった。 ＞例えば寝てる時にエロい夢みて朝起きてみたらチンコが勃起して射精してたとか。
当然ながら起きているときも、チンポがシコシコする！
風呂から出て体一杯に水を浴びながら竜哉は、この時始めて英子に対する心を決めた。裸の上半身にタオルをかけ、
離れに上ると彼は障子の外から声を掛けた。
「英子さん」
部屋の英子がこちらを向いた気配に、彼は勃○した陰○を外から障子に突きたてた。障子は乾いた音をたてて破れ、
それを見た英子は読んでいた本を力一杯障子にぶつけたのだ。本は見事、的に当って畳に落ちた。
その瞬間、竜哉は体中が引き締まるような快感を感じた。彼は今、リングで感じるあのギラギラした、
抵抗される人間の喜びを味わったのだ。
●これが衝撃の「障子破り」シーンだ！ （石原慎太郎 『太陽の季節』 （新潮文庫） より）
http://www.geocities.co.jp/Bookend-Soseki/3578/2003/shoujiyaburi.htm
＞その瞬間、竜哉は体中が引き締まるような快感を感じた
チンポがシコシコする≠勃起、つまりそれはただチンポが勃起するのではなくて、
「体中が引き締まるような快感を感じた」ということなのである！！ 機械翻訳も近似計算だけど、言葉のニュアンスは微妙な面がある。
0. 外国語、特に英語、の教え方
｢読み書きは出来るが会話ができない｣というのは間違い。｢読み書き｣も出来ない
Decorative artとは、絵画、彫刻、建築を除いた家具、食器、絨毯、藍掛け、花瓶、タイル、
ドアのノッカーなど美術品と見做せるものの総称
表裏は日本語だと｢おもて｣と｢うら｣だが、漢文では｢外側｣の｢内側｣であり、｢裏｣は｢なか｣である。
コインの場合、英語ではhead & tailで、誰かの頭部の像がある方が日本語の｢おもて｣だが、tailが｢うら｣とは奇妙
http://hiroomikes20120501.blogspot.com/2014/12/20141212.html
志村五郎『中国説話文学とその背景』（ちくま学芸文庫）
著者の志村氏は、米プリンストン大学の数学者らしい。志村氏が五十数年かけて集めた中国の説話を、
八年かけて一冊書き上げたと、本人が書いているので、趣味のライフワークの結晶めいてみえるのもむべなるかな。
http://d.hatena.ne.jp/nagaichi/touch/20071008/p1 情報幾何(一般相対性理論みたいなやつ)と
最小二乗法、ディープラーニングの関係性は不明なんだが
情報幾何はすべてを含む理論なのか 全てを説明していないが、おおざっぱな原理では本質そのものを言っている
ソフトウエア実装で自分で組んだんじゃなくてライブラリー利用して
APIいじっているようなレベルのアホが多すぎるだけ ディープラーニングの深い関数を書けばよい
それ見れば、最小二乗法で無いことは分かるだろう >>27
それは力任せに単純化したのとハードウェアのレベルがいまとは異次元の差だと
理解できないやつが多いだけ。
バックプロパゲーションとかの時代は8ビットのマイコン初期だぞ、
速度以前に容量的に不可能ってことさ。
何をどう説明しても情報のつながりを最適化する問題でしかなく、それ以上でもそれ以下でもなく
完全になる解が無いデータを無数に処理させても完全解にはならない。
AIが難しいのはシステムを作り出す過程でのデータマイニングのほうであって学習のほうではない
のは明らかである、AIを全て学習だけでさせられると勘違いしているアホだらけ。 >>96
学習原理により情報を最適化する部分については、何の反論もできていないのに
なにをシッタカしているのか？
基本的なテンソル演算での技術基盤は共通だ。 しらないが、間違ってるんじゃないのか。画像圧縮みたいなことじゃないか。
圧縮にjpgとかpngとかgifとかあるが。
ディープラーニングはその圧縮法を自動学習させるようなことと理解してるが。
圧縮先は、既に画像でなく文字になりネコ、イヌ、ヒト、その他とか。 日本経済新聞の人選ミスじゃん。
日本経済新聞も人材の質が低下傾向。
朝日新聞は東大卒がゼロに。日経新聞も相当減ってるだろ。
新聞なんか選ぶ一流学生はいない。 畳み込みニューラルネットワーク_CNN
今回からはいよいよディープラーニングのアルゴリズムに入ります。
最初は、最も代表的なモデルである畳み込みニューラルネットワーク(Convolutional neural network)について説明しましょう。
https://products.sint.co.jp/hs-fs/hubfs/images/aisia/blog/16_3.png?width=600&;name=16_3.png
https://products.sint.co.jp/aisia/blog/vol1-16 オレは生粋の日本人だけど
かわいそうな慰安婦のおばあさんたちに
日王は１０００年たっても土下座して謝罪し続けろよ！
政権を立憲民主党に渡して、安倍はさっさと死ねよ！
兄の韓国に対して弟の日本は立場をわきまえろ 大体あってるんじゃね？
何で必死に反論しているの？ >>96
＞ディープラーニングの深い関数
最小二乗法×最小二乗法×最小二乗法・・・・
になるよ
最小二乗法を3層重ね合わせれば文字認識までたどり着ける
ここまでは旧来の人工知能
ディープラーニングは3層のうちの中間層をさらに増やしたもの
こうするとただ認識するだけじゃなくあたかも自分で考えてるかのような反応が見られるようになる >>106
なるほど分かってないけどなんか分かった気分になれたわ ベイズ推定の強化版みたいなイメージなんだけど説明ならこれでいいんじゃないですかね。 >>106
個人的には、考えているような反応というか、高度な判別ができる程度かと思う。
人間の思考に相当する部分は、どうやって実現するかまだ不明なんでは。
碁や将棋の件があるけれど、あれはDNNを使って人間でいう勘を究極に高め、勘で導いた一手を膨大な計算量で評価するプログラムをつくったら、人間の思考に勝ってしまったという事例で、思考の再現とは違うと思う。 >>89
最近はWAICだな。あの万能感がすごい。 >>6
それでもAI信者は爆発的に増えるよ
PC信者とかDNA信者とか犠牲者出ても減らないもんな >>1
松尾先生番組みてます
前にもまして先生の技術的解説がすっ飛ばされてて
新しい技術説明してた前回のやつはさすがに飛ばしたら意味不明じゃねと思ったわ 入力に対して出力を得るってこと自体同じと言ってもいいだろ まあ最小二乗法でいいじゃん
深さは何箇所にも最小二乗法が適用されるでいいじゃん
あとは広さが必要だな。観測する物差しが何種類もあるということ
それから記憶だな。一手前を覚えていること
最後は物量で勝負 >>50
藤原正彦氏はエッセイも書くよ
靖国奉賛会、そんなに嫌いなん？ 最小二乗法は残差を最小化する最適化アルゴリズムの一つ
他にもシンプレックス法とか遺伝アルゴリズムとかシミュレーティッドアニーリングとか色々ある
機械学習はこれらとはアルゴリズムが全く異なる
言うなら最適化の一種というべきだろ >>114
ガウスからのずれでも
ローレンツからのずれでも
よい気がするのだが >>89
> 赤池
去年だか一昨年のグーグルトップになってたよ >>1
慶應大学っていっても経済学部だろ？
AIの仕組みについて語るとか、同僚の教授にバカにされるだけだろ ★
みんな合ってる。 誰も何も間違ってない。、 気づけバカ。
★ 再生核研究所声明 470 (2019.2.2)
ゼロ除算 1/0=0/0=z/0=\tan(\pi/2)=0 発見５周年を迎えて We Can Divide the Numbers and Analytic Functions by Zero
with a Natural Sense.
http://vixra.org/abs/1902.0058 Horn Torus Models for the Riemann Sphere and Division by Zero
http://vixra.org/abs/1902.0223 地球平面説→地球球体説
天動説→地動説
1/0=∞若しくは未定義 →1/0=0（628年→2014年2月2日）
リーマン球面における無限遠点は、実は、原点０に一致していました。
地球人はどうして、ゼロ除算1300年以上もできなかったのか？
２０１５．７．２４．９：１０
意外に地球人は知能が低いのでは？ 仲間争いや、公害で自滅するかも。
生態系では、人類が がん細胞であった とならないとも 限らないのでは？
Einstein's Only Mistake: Division by Zero
http://refully.blogspot.jp/2012/05/einsteins-only-mistake-division-by-zero.html
何故ゼロ除算が不可能であったか理由
１ 割り算を掛け算の逆と考えた事
２ 極限で考えようとした事
３ 教科書やあらゆる文献が、不可能であると書いてあるので、みんなそう思った。
Matrices and Division by Zero z/0 = 0
http://file.scirp.org/pdf/ALAMT_2016061413593686.pdf 地球平面説→地球球体説
天動説→地動説
1/0=∞若しくは未定義 →1/0=0（628年→2014年2月2日）
リーマン球面における無限遠点は、実は、原点０に一致していました。
地球人はどうして、ゼロ除算1300年以上もできなかったのか？
２０１５．７．２４．９：１０
意外に地球人は知能が低いのでは？ 仲間争いや、公害で自滅するかも。
生態系では、人類が がん細胞であった とならないとも 限らないのでは？
Einstein's Only Mistake: Division by Zero
http://refully.blogspot.jp/2012/05/einsteins-only-mistake-division-by-zero.html
何故ゼロ除算が不可能であったか理由
１ 割り算を掛け算の逆と考えた事
２ 極限で考えようとした事
３ 教科書やあらゆる文献が、不可能であると書いてあるので、みんなそう思った。
Matrices and Division by Zero z/0 = 0
http://file.scirp.org/pdf/ALAMT_2016061413593686.pdf Global Journal of Advanced Research on Classical and Modern Geometries ISSN: 2284-5569, Vol.7, (2018), Issue 2, pp.44-49 APPLICATIONS OF THE DIVISION BY ZERO CALCULUS TO WASAN GEOMETRY HIROSHI OKUMURA AND SABUROU SAITOH
http://geometry-math-journal.ro/pdf/Volume7-Issue2/1.pdf
岡山大学における日本数学会における講演要旨:
https://ameblo.jp/syoshinoris/entry-12407517586.html 再生核研究所声明 453 (2018.9.28): The International Conference on Applied Physics and Mathematics, Tokyo, Japan, October ２２−２３
https://ameblo.jp/syoshinoris/entry-12408098596.html
再生核研究所声明 452 (2018.9.27): 世界を変えた書物展 − 上野の森美術館
（２０１８年９月８日―２４日 ）
https://ameblo.jp/syoshinoris/entry-12407864914.html TOP DEFINITION
Genius
A super-smart math teacher that teaches at HTHS and can divide by zero.
Hey look, that genius’s IQ is over 9000!
#divide by zero #math #hths #smart #genius
by Lawlbags! October 21, 2009 divide by zero
Dividing by zero is the biggest epic fail known to mankind. It is a proven fact that a succesful division by zero will constitute in the implosion of the universe.
You are dividing by zero there, Johnny. Captain Kirk is not impressed.
Divide by zero?!?!! OMG!!! Epic failzorz
#4 chan #epic fail #implosion #universe #divide by zero 数学ではできない、考えてはならない ゼロ除算が 計算機が できた:
José Manuel Rodríguez Caballero
Added an answer
In the proof assistant Isabelle/HOL we have x/0 = 0 for each number x.
This is advantageous in order to simplify the proofs. You can download
this proof assistant here: https://isabelle.in.tum.de/ 根拠、理由、説明は 計算機の出力結果であるから 分からない。
我々は ２０１４年２月２日 それを発見していた。
５年を経て、計算機が出力した。
Close the mysterious and long history of division by zero and open the
new world since Aristotelēs-Euclid: 1/0=0/0=z/0= \tan (\pi/2)=0. 人工知能については時々ブームみたいなのがあるんでしょ？
一時ブームになるけど、限界みたいなものが指摘されてブームが収束する
現状では人工知能といっても、つきつめると物が似てるか否かを判定するぐらいの能力なんでしょ？
次のブレークスルーがくるまで、またブームもひと段落つくでしょ >>118
だめ、重要度が逆でまったく意味が変わってしまうから。
最初から深い関数の物量ありきが勝負。最小二乗法は定番だけど、そんなのは二の次。
大量の中間関数などの多変量、非線形関数を階層的に組むこんで計算量に物言わせて初めて意味がある。
最小二乗法使ったところで関数や階層が少ないと全く意味がない。 ディープラーニングとか言ってるけど、パターン解析と傾向分析で近似値を積層化してるだけだから
基になるデータ量が決め手になるし基データが間違ってたら結局すべでがオジャンになる糞分野
ディープラーニングを基盤にAI開発してるやつは永遠にAIを開発することは不可能 >>53
>マハラノビス距離が最小となる分類を決定する方法とかどうよ。
東京湾にはびこるマハラノビスもどうにかしてください（＞＜） 星座みたいなものか。AIも星座を創造できたらすごいね。 AIの天才である俺が簡単に言うとだな
ディープラーニング＝めちゃめちゃ多次元の関数を最小二乗法で最適化したもの
ということだ。
ちなみにその多次元関数を仮に図化できたとするとその図は
新聞紙を丸めてめちゃめちゃシワシワにしたようになる。
- 以上 - >>104
社会とのかかわりという点から見たらそうだよね
ヲタクが必死で喚いてるけど
結局、AIという言葉がミスリーディングなんだろうね
素直に機械学習と呼んだら勘違いもなくなるはず >>131
意外にいいとこついてんじゃないかな
つまりはラプラスの悪魔の復活の儀式だからね AI＝頭脳プレー
というインチキイメージよりはマシだろう。 １次の線形近似計算
→線形回帰
線形では表現できない関数がたくさんある。
解を求める際には、最小二乗法などが用いられる。
非線形とするため、活性化関数をつける
→パーセプトロン
パーセプトロンの結果、階層を作ることが可能となった
→３層パーセプトロン
これにより、xor関数、sin関数などの近似が可能となる。
解を求めるためには、最小二乗法を応用したバックプロパゲーションが用いられる。
３層以上ではバックプロパゲーションが上手く機能しなくなるため、悶々悶々。
ここ、色々なものが生み出されては消えていった。
画像解析で畳み込みニューラルネットワークが開発される
→コンボリュージョナルニューラルネットワーク
バックプロパゲーションの問題が起きないため、階層を幾らでも深くできるようになる。
→ディープコンボリュージョナルニューラルネットワーク
略してディープラーニング
ディープラーニングでは、階層を深くすれば、どんな関数でも近似できる事が、
理論上示される。つまり、万能近似関数。
教師データが与えられたら、どんな事柄でも学習する事ができる。
ただし、教師データにない未知の入力に対して、本当に正しく予測できているのかは不明。
なんとなく予測できてそうという状態のまま、使えるから良いじゃんとしているのが現在。
まあ、近似計算全部が抱える本質的な問題なのだが。 間違ってるだろ。
ディープラーニングは、ある程度、汎用性のある学習システム、ソフトであることを重視してるだろ?
今現在の手法と別物で、どう学習してるかブラックボックスでも、性能よければそれもディープラーニングでまとめられるかと。 >>150
万能近似関数いいですね。一番しっくりくる言葉かもしれません。
ディープラーニングをパターンマッチ的な解釈で唱える人がいるが
ディープラーニングは関数を作成するというところが肝で
つまり関数だから学習したこの無いXを与えた時でもYを出せるのである。 >>150
常に人間によるチェックが必要なんだな
完全にAIに任せて自動化しようなんて夢物語 >>92
そのオッサン、言語をよくわかってないけど、
各方言（英語やスペイン語）などに共通して使われている言葉は存在する。
表裏というのは Recto と verso という。
これは、万国共通。
ラテン語は権力のある聖職者の言語だったから。 ディープラーニングは教師あり学習が主流だという話だね。 >>141
おまえらバカが想像するAIを作るために
DLやってるやつなんて一人もいねぇよwww
バカ過ぎ >>157
インドのベンチャーで強いAIを開発しようとしてるとこなかったっけ？ フィッティングが精緻になれば将来予測も精緻になる。
それでランダムウォークというんだろうか。
深い関数なんてものが何ものかまったくわからないけど。 最小二乗法ねぇ....素人には条件を満たす巨大な関数を作っていくでいいんじゃね？ いくらAIだの人工知能だのと言ったところで、結局は、人間の作り上げた機械の
限界を超えていないんだよ。
人間と機械の根本的に異なる所以は、人間は３０数億年の進化の歴史を背負っている。
知能がどうのこうのと言ったところで、それは３０億年以上もの生物の進化の歴史に
支えられて、その上で発達した生き残りのための手段でしかない。
AIに生存本能がありますか？ AIは自分で餌を探しますか？
AIは誰かが鉄棒を持って襲い掛かってきたときに自らを守ることができますか？
そういうことがまったくできないのに「知能」がどうのこうのと言ったところで
地盤がゆるいところに鉄筋コンクリートの建物を建てようとするのと同じだよ。
人間の知能は生存本能の進化の結果としての一つの形態に過ぎない。
鳥は空を飛ぶことで対応し、象やキリンは体を大きくすることで対応し
ライオンやシロクマはするどい牙やツメを持つことで対応した。
根源的な自己保存本能がないのに「将来は人間に敵対するかも」などと
言ったところで意味はない。 AIというのは研究費獲得のためのパワーワードにすぎない。
無知を騙すにはAIって言っとけば良いのだ。
騙すとは言ったがが、大抵嘘は言ってない。どれもこれもAIに関わる物ばかりだ。 普通に最小二乗法レベルで十分なものにAI応用しましたってドヤるから 理系の大学、それも実験研究室の学生なら最小二乗法は必ず習うもんだと思ってた
最小二乗法にもここで言うAIの「深い」という項目に近いパラメーターがあるけど この経済学者がまず軽々しい発言をしそうな顔をしているように見える。
昔東大だったというプライドも感じる。
教授の椅子がないから慶応の経済に鞍替えしたのかな？ 最小自乗法の評価値を何に設定するかが問題なのではないか 「囲碁の謎」を解いたグーグルの超知能は、人工知能の進化を10年早めた
2016.01.31
囲碁において、機械が最強の人間を打ち負かすにはあと10年は必要だろう──。
そんな専門家たちの予想を、グーグルが4億ドルで買収したブレイン集団「DeepMind」は見事に裏切った。
人工知能（AI）の世界で大事件が起こった。
イギリスに拠点を置くグーグルの研究者たちが開発したコンピュータープログラムが、囲碁の試合で一流棋士を打ち負かしたのだ。
ディープマインドの共同創業者で最高経営責任者（CEO）のデミス・ハサビスは、
「いちばん重要なのは、AplhaGoは人間のプログラミングによって設計された、単なるエキスパートシステムではないという点です」と話す。
「代わりに一般的な機械学習のテクニックを使って、どうやって囲碁の試合に勝つか学んでいくんです」
今回の勝利は、ただの見世物ではない。
グーグルやフェイスブック、マイクロソフトは、画像解析、話し言葉の聞き分け、自然言語の理解といった分野ですでにディープラーニングを利用している。
https://wired.jp/2016/01/31/huge-breakthrough-google-ai/ お前ら小さな自尊心を満たすために長文書き込んでドヤ顔してるけどさ、
ここ５ちゃんねるだよ？ 2乗する
直線からの距離が最小
曲線を閾値にするのも可能だが別の方法 最小自乗法と言っても１次だけでなく何次でも出来るし近似対象も任意にできるわけだが 最小二乗法の欠点は収束半径が短いことですね
つまり容易に局所最適値にはまり込んで出られない
解は容易に短時間に得られますけどそれが大域的な最適値だという保証はまったくないわけです
それを解決するために遺伝アルゴリズムやシミュレーティッドアニーリングが開発されたわけですが計算時間が膨大にかかります
到底車載用途には向きませんね
人工ニューラルネットによる機械学習は専用回路によって実時間での最適化を可能にした点やはり画期的と思いますよ >>63
いまのパソコン能力なら、絶対値を場合わけで外すアルゴリズムなんて簡単なのにな
二乗計算より、リソース少なくて済むわw >>64
一層で行列１回計算
二層なら行列２回計算
あとは分かるな？ 経験リスクを誤差の２乗って考えることもあるので、最小２乗法っていうのは、間違いではないが、
なんか違うな。
参考 画像認識 原田(6.13)(6.14)式 最小二乗法に近いのはこっちだろ
Bonanza式学習法
近年のコンピュータ将棋では，プロ棋士などの棋譜（５万局程度）を利用して，評価関数に含まれる特長ベクトルの重みが機械学習される．
Bonanza が2006年のコンピュータ将棋選手権で優勝して以降，このような学習法の実装は各将棋プログラムに急速に広まった．
評価関数の機械学習は，最適化の枠組みで行われる．
すなわち，プロ棋士の選択した手と，プログラムの選択した手の不一致度を測る目的関数を設計し，この目的関数を最小化する重みベクトルを求める．
類似の枠組みは，古くは1982年，新しくは2001年のコンピュータチェスに関する文献にも見られるが，2014年現在，将棋ほどの成功には至っていないようである．
Bonanza 法やBonanza メソッドという用語は，コンピュータ将棋の技術に関する解説にしばしば見られる．
これらの用語は，時にはこのような枠組みで将棋の評価関数を機械学習するという広い意味で使われ，時にはバージョン6.0のBonanza のソースコードで実装されている方法という狭い意味で使われる．
https://www.jstage.jst.go.jp/article/jsoft/26/5/26_216_1/_article/-char/ja/ Bonanza - Wikipedia
評価関数のパラメータの自動生成
これは保木の本業である化学反応の制御理論を応用したものである。
他のソフトは開発者がパラメータを定めた評価関数を用いているため、開発者の固定観念や棋力の影響を受けることがあった。
ただし、パラメータは自動生成だが、何を評価するかは保木自身が決めている。
既存の常識に反する要素が多かったが、保木の試みはコンピュータ将棋の一大革新として、他の開発者が一斉に追随することになった。
数式
各盤面の判断となる評価関数が、強い棋士が実際に指した手と同じになるようなパラメータを探索する。
誤差関数Jを最小にするパラメータvを最適化問題として探す。
評価関数は、以下の項目の総和。2つ目以降は、駒の位置関係に対するパラメータ。
各駒の価値（駒割り）
王、他の駒2つの位置
王、隣接した味方の駒、他の味方の駒3つの位置
隣接しあった駒2つの位置関係
竜馬飛角桂香の利き上にいる駒の種類
竜馬飛角香が動けるマスの数
ピンされている駒の種類、方向、王との距離
角と同じ色のマスにいる味方の歩の数
歩桂銀が前進できるか
竜飛香の前・後の歩
王の周囲25マスの利きの配置
ただし、これは、Ver. 4以降、Ver. 6現在は単純化しており、以下の3項目だけになっている。
各駒の価値（駒割り）
王1つ、他の駒2つの位置（自分と相手の駒の区別あり）
王2つ、他の駒1つの位置 因果関係と相関関係をちゃんと理解している一般人は少ないと思う
必要条件と十分条件とかも
論理学と統計学は重要なんだけどなあ >>157
ありきたりだが警察は事前には動かない。
今じゃどこの家庭もSECOMが当たり前の時代なんだから
襲われるのが嫌なら隣にボディーガードを付けとけばいいんだよ。
http://guard-dog.crayonsite.com/
格安ボディガードのガードドッグなんか時給2500円で付いてくれるから相手が確実に来るときに付けとくだけでもかなりの抑止効果になるよ。 何を学習したか分からないという言い方の方が危険だと思う。
実際にはご大層な誤り訂正メモリを使用しての1bitの誤りもない計算過程であって膨大ではあっても完全に再現可能な計算だ。
作成者以外の人間が埋め込まれている特殊なコードを見抜くことは膨大すぎて不可能である、と言い換えるべきであろう。
ブラックボックス扱いにするのは論理のすり替えである。 これは、それほど騒ぐことではない。
これよりちゃんと説明しようとすると、一般人に意味不明になる。大雑把な説明としては、間違っていない。
ただ、一般人は、単純なものでも、数万数億、組み合わせれば、
超複雑になるということが分かってくれないから、説明は難しい。
だから、「原理的には単純」なんて暴言が出てくる。 分かりやすくとかどうでもいいわ
文系に寄せる必要はない 「ディープラーニングは、原理的には単純な最小二乗法にすぎない」
「すぎない」は言い過ぎだけど、教師信号との誤差を最小にするアルゴリズムは
まさに最小二乗法なんだよ。次元が多いから最適化するのがむずいだけ。
日経記者は「バックプロパゲーション」ググるといいよ。 >>3
日経新聞は経済以外の記事はまともなはずだったんだけどな ＞その瞬間、竜哉は体中が引き締まるような快感を感じた
チンポがシコシコするのは、物理的な刺激に限ったことではない。
https://imgur.com/R4D8yyk
https://imgur.com/Fjw9t3F
「アクトレス」（山田謙二）より。
夏目くんのチンポは何にも触れていないのにシコシコしている！ 二次元の最小二乗法（直線を引く）ではなく
千次元単位の最小二乗法だろ そもそも、最小二乗法知ってる人間がどれだけいるんだって話だよな ｎ個の点を通る曲線はn-1次多項式で表せる
単純に各点の座標を入れてｎ個の連立方程式を作って係数について解けば良い
スプライン補間もこの一種
これは最適化ではなく曲線当てはめ問題と言われ一意にとくことが出来る
最適化問題はそういう問題ではない 原理はよくわからんけどディープラーニングはフラクタルな構造にも強い印象 ディープラーニングは原理的には最小二乗法だよ。
これを深い階層まで何百何千回やるわけだから。
何も間違っていないが。 >>159
＞フィッティングが精緻
ただの過学習にしか聞こえない罠 仕組みを理解したい人が多いみたいだけど、必ずしも仕組みを理解できなくてもいいよ
インテリな人の傾向として、極端な例で言うと主婦が特許取るみたいなのを下に見てて、
それよりも仕組みを解明して、それを理論として発展させて、その応用で何かを作り出すアプローチの方を高尚に感じる人が多いと思うけど、
ディープラーニングはその仕組みがよく分からないまま、とにかく試してみるという方法で結果を出したことで生まれた
インテリにはつまらないかもしれないけど、そういうアプローチの方が上手くいくこともある >>194
ユークリッド幾何学を別とすれば、近似値とそれらしい理屈をでっちあげてるだけでは？
例えば『状態方程式 PV=nRT』なんて、『単原子分子理想気体』なんつー現実味が乏しい仮定上の高校物理w >>188
＞「ディープラーニングは、原理的には単純な最小二乗法にすぎない」
近似計算を繰り返してるだけ、という言い方はどうだろうか？
モノの意味、言葉の意味について、機械がそれを完全に理解することは出来ないが、
いろいろな近似式を組み合わせて繰り返し近似計算をし直すということ。
ロボマインド・プロジェクトでも、同じ問題に直面しました。
我々、人間は、「ドアの外の廊下の上には天井がある」などと覚えているわけではありません。
それでは、どうやって、認識しているのでしょう？
頭の中で、部屋からドアを開けて廊下に出たところを想像するだけです。
廊下に出れば、上には天井がありますよね。
それでは、これを、コンピュータで実現するにはどうすればいいでしょうか？
それには、家の３ＤＣＧモデルを作れば実現できます。
データベースを使うのでなく、実際に見えるままの姿を３Ｄモデルで作成するのです。
https://robomind.co.jp/symbolgroundingproblem/
機械翻訳については翻訳辞書という近似式、シミュレーターという近似計算機を充実させたい。 人間の知能も似たように単純なもんだったりしないのかな
インプット情報の種類（五感）がコンピュータに比べると多いというだけで
インプット情報の量はAIの方が多いから限定的な最適解を出しやすいというような 生物の脳も最小二乗法を無意識に使って対象世界を分節しているのか？ 画像認識精度が上がったのなら、画像と結びつけた近似式を作成しておきたい。
ソ連軍がベルリンを陥落させた！
ドイツ第三帝国は滅亡した！
ベルリンに赤旗が翻った！
5月2日の議事堂の陥落後に、赤軍兵士がその屋根にソ連国旗を掲げる写真「ライヒスタークの赤旗」は、
ベルリン陥落を象徴するものとして名高い。
https://jp.rbth.com/arts/2013/04/30/42757
『言い換え表現』として全て同一であることは自明だ。 ＞「ディープラーニングは最小二乗法のお化けのようなもの」
最小二乗法は近似計算の基礎だけど、そこからの発展が著しい。近似計算法の進歩という言い方はどうか。 >>175
だったら降下勾配法なんか辞めて
最初から堂々と
偏微分連立方程式を解析的に解けばいいだろ 「正確な説明ではない」ことは
小林教授も、もちろん松尾教授もわかっていて
あくまで一般むけの、ふんわりした説明なのだから
別にこれでいいよね
難しいことはどうあがいても一般人にはわからない
科学が人類の99．99999％を置き去りにして久しい
「科学の厳密な理解、最先端技術の理解は自分には無理」
これはもう数百年前から一般人の共通認識になっているのだから
いまさら気にしてもしょうがない 合ってないかも知れないが間違ってない
そもそも聞き手の知識が圧倒的に足りない場合、説明することは不可能 なんにしろプログラム解析にすぎない
シンギュラリティなんて限られた情報から限られた手を打つ場合で
人間の仕事にそんな分野は多くない
そんなに単純なもんならお前が先んじて実用化すれば、
地位も名誉もカネも思いのままだったのにい惜しかったなあｗ
それをしなかったおかげで山ほど居る講釈師のひとりに過ぎんが、
一生やってな、それがお前にとっちゃ幸せってもんだろｗｗｗ
ビッグデータという餌、土壌を持っていなければ各種AIは成長しない
日本はアメリカや中国にビッグデータを与えるだけの存在
ラインでチョンにさえビッグデータを与えている始末
アメリカと中国は情報大国として凌ぎを削っている
ハァーウェイ問題もその一端。
20世紀は石油が富を産み出したが、21世紀は情報が富を産み出す
大国による資源の奪い合いから取り残されている日本 >>203
さすがに極端すぎる例え方だな
主婦が特許を取るのは商品の元となる品を開発したのは、必要にかられたから、という分かりやすい理由が存在する
とりあえず取得するには特許料が高すぎる 素振りしまくったら野球や剣道で達人の域に達したみたいな感じかな 空を飛ぶという目的の為には、鳥の羽ばたきを忠実に模倣しなくても、
固定翼の飛行機でも足りるように、
脳神経の機構（いまだに不明なことだらけ）を忠実に模倣しなくても、
なんだか同じように機能するものを工学的に作れたなら、それで満足できる
可能性が高いし、鳥そのものよりも飛行機の方が有用であるように、
かりに人工頭脳が実現したら、それは人間の頭脳の知性を遙かに凌駕する
AIにもなりうる。そうしてついに人間は要らなくなるかもしれない。
そうなったら、AIは歴史を振り却って、ホモサピエンス（人間）は、
我々AIという究極の知性に到達するための中継地点であったのだ
というのかもしれない。 なんでこんなアホが教授できるの？
慶応義塾大学ってFランだったの？ コイツらどっちも分かってない
単純な最少二乗法でも深い最少二乗法でもなく、ただの巨大行列式だよ
lossの値が同じであっても行列計算結果は異なるし、lossは地震計のようにブレながら減少するが、低くければ低い程正解になるわけじゃない
そもそも学習にはlossを使うが、一般的にAIと呼ばれている予測実行時にはlossは使わないからな。この時点でAIは最少二乗法という点が間違いである事が証明できている。 ビッグデータなんてまやかし。
ディープラーニングのAIが上手く予想できなかった時に、
「もっと教師データが必要みたいですね」
「今のデータではまだ不足しているみたいです」
と逃げるためにビッグデータという言葉が生まれただけ。
過去のデータに基づく近似である以上、将来予測が当たる保証はどこにもない。
昔、多変量解析の競馬予想ソフトでさんざ言われていた事。
また、トレーニングも、大体１０００回くらい繰り返して学習されるわけだが、
たくさんやると、過学習に陥って、未知データに対する予想のブレが大きく
なるという根本的な問題も抱えている。 単純な計算ルールを入れ子構造で何度も繰り返すように設計したら、人間の思いもつかない複雑な計算をできるようになりました >>232
分かり易い。
深い関数っていうのが意味不明だったw ディープラーニングって言葉がディープニューラルネットワークとマシーンラーニングを合わせた造語だからディープラーニングを一言で説明するのは軽率だね
あえて一言で説明するなら人間の脳と同じ仕組みとでも言えばいい >>231
過学習の意味が違うと思うけど
人間でいう過度な一般化と同じだから学習量が足りない状態 >>231
>たくさんやると、過学習に陥って、未知データに対する予想のブレが大きく
なるという根本的な問題も抱えている。
新しいデータに重み付けを大きくするなり過去のパターンと合致しているかの判定を組み込むとか対策はいくらでもあるじゃん
無能を前提としてもらっても困る 今すぐ生き物と同じ知能を実現しないと無意味とか言う人がいっぱいいら科二＋民に言っても無駄 >>236
過学習の意味はあっているよ。
英語ではover fittingとなる。
AIの学習は、差の数％を遡り反映させて、少しづつ誤差関数の誤差を小さくしていく。
１回のトレーニングでは対して誤差が小さくならないので、概ね１０００回程度、上記の
作業を繰り返す。途中までは誤差が漸減していくが、あるところで減らなくなる。
ここで問題が２つ生じる。
１．局所最適解と呼ばれる、偽の解にトラップされてしまう可能性がある
→optimizerという形で回避方法は開発されている。
２．誤差の漸減が止まるあたりで止めないと、今ある教師データには合致するが、
教師に無いデータでの誤差が極端に大きい状態に陥る。これを過学習と言う。
→漸減の停止が過学習なのか、局所解なのかは人間が判断するしかない
原理的に完全な自動判定は不可能。
>>237
それは強化学習的考え方だね。いつまでたっても学習が終わらないという事で、
まさにビッグデータ詐欺の発想だね。まだまだデータ足りないと言い続けて、
いつかは完璧になると言っているだけ。
あと、「新しいデータの重み付けを大きくする」って一言で言うけど、どうやるの？ｗ
一般化できたら、恐らく論文一つ書けるよ。 >>240
そろそろAIを生き物に例えるのはやめようよ。 >>239
>あと、「新しいデータの重み付けを大きくする」って一言で言うけど、どうやるの？ｗ
一般化できたら、恐らく論文一つ書けるよ。
小学生かよ、書けるわけねーだろ…
仮に1日1個のデータで過去1年のデータを集めて>>1にあるように最小二乗法で近似曲線を求める評価系なら
過去1ヶ月のデータを意図的に1個重複
過去1週間のデータを意図的に2個重複
それで最小二乗法で近似曲線求めりゃいいだろ
これは一例に過ぎないが他にもいくらでもやりようはある
小学生には難しいけどな 過学習の１例
ある入力xの2次関数で表現できる現象yがあるとき
実験で3点(x1,y1), (x2,y2), (x3,y3)を得れば、
y=ax^2+bx+c
の関数を正確に得られる。
4点目(x4, y4)を追加したとき、制限なしで学習させれば、
すべての点を通るように3次関数（ y=ax^3+bx^2+cx+d）
で表現してしまい、結果がいびつになるようなもの。
実験には誤差があるという前提ではあるが。
無限数のパラーメータ、無限次関数ならどうなるかは、
考えたことないのでわかりません。 >>242
それ、直近のデータに対して過学習してしまうだけじゃん。 >>244
君の考える過学習の定義を聞きたいね
おそらく私の過学習の定義と異なるようだ
>>242を例にするなら
データサンプル期間中に過去1ヶ月の段階でパターンに変化があったとき
1年のデータでの予想より1ヶ月のデータの方がより正確になることが期待される
このとき１ヶ月以上前のデータの影響を過学習と呼ぶ おまえらってプログラム書けないのな
過学習ってのは均一化されていないクソデータを学習に使ってる事に原因があり、
データ件数の多いクラスに流れるように行列値が0に置かれることで、以降の学習が崩壊してしまう事を指す
未学習に対してうんたらは見当違いが甚だしい
検証コードも書かずに他人の記事や論文で知ったかぶってる奴がディープラーニング語ってゴミ撒き散らすな >>247
意味不明だね
やはり>>245は過学習じゃないと言わざるを得ないんだが？ >>245
＞1年のデータでの予想より1ヶ月のデータの方がより正確になることが期待される
直近のデータの方が正確になる特殊な事例の時にしか通用しないという前提を
書いているのかな？
＞このとき１ヶ月以上前のデータの影響を過学習と呼ぶ
これは完全に間違い。 >>251
じゃ、それでいいや
ところで>>242は過学習ではないってことでいいかな いずれにせよ
なんかしらの計算であることには間違いない >>220
全く論点がズレてて反論になってない
人工知能的な物への需要はあったわけだし
研究の世界から遠そうな君に教えてあげると、日本の偉大な先生方は、素晴らしい方達だけど、
理由を説明できることに大きな価値を置いて、理由を十分に説明できない研究には低い評価しかしなかったんだよ >>246
プログラム書けてもライブラリ呼び出しの方法しか説明してないのも多いんだよね
歌ってみた、程度のが多い 趣味のゲームAI用に多層パーセプトロンまでは行列パッケージで組んだ。
正則化やオートエンコーダ、その他諸々。
多層でも収束させrための技術も色々組んだ。
CNNの登場で、２行目のネタが全く不要になり、現在は忘却の彼方へ。
CNNは途中までトライしたけど、行列での表現が難しく、
しかも努力の方向性が違って来ていると思ってやめた。
そもそも計算機資源が足りなかった。
学習だけじゃなく、予測する際にも、速度的に無理というレベルが予想できた。
世の中の人は、DCNNから入った人も多いんだろう。
そういう人はライブラリ使っていれば良い。
僕は自分で組みたかったのでDCNNで足を洗った。 >>246
行列値がゼロってのは、ウェイトがゼロになっちゃう事か？
それは過学習とは言わない。勾配消失と言う。 >>259
もう出来てるよ。
製品もオープンソースの実装も山ほどある。 >>255
それは日本に限らず世界的にもそうだろう
理由の説明ができるかできないかでインパクトファクター全然変わるやん >>262
学界の中ではそうなんだけど、産業界も含めた作り出すことを目的とした競争では、そこにとらわれ過ぎない方が上手くいくこともある >>263
うだうだ婉曲的に言ってるけど、要するにロジカルに進めてくか、セレンディピティも重視するかってことね
極論すると、主婦の特許はセレンディピティじゃないよ、あなたの例えは不適切だよってのがおれの言いたいことね
具体的に明示できんくせにいちいち言葉もムカつくから、もうレスいらんよ >>259
AIの定義による
知能＝人間の脳 なら
人工知能はまだ出来てない
知能＝将棋や囲碁や顔認識 なら
もうわかるよね 深い関数というのが重要ではあるが、最小二乗法に過ぎないというのも間違いではないでしょ。
人間は考える葦であるというのが重要かもしれないが、哺乳類に過ぎないという意見も正しい。 >>271
人類とは何か。
ただの哺乳類にすぎない。
と書いてどんな意味があるのだろうか？
何を説明したいのか分からん 最小二乗法は、重みを計算するためのものです。
深層学習関係ありません。 加重最小二乗法のループによってそれ自身の重みを推定する 意味不明。
深層学習が既存の近似法より優れている点は、
説明変数を人間がアドホックに与えなくて済みそうな点です。
ある法則の仮説検証は、アドホックに決めた近似式を用意して、
統計的に検証する事で行われますが、近似式をアドホックに
決める所が大変に難易度の高い作業です。
例えば、ニュートンは、f=maという単純な近似式を見出した事で
（古典的）重力理論の創始者となる事ができました。
深層学習では、学習した結果が、実測値の予測に優れている事が
証明されたうえで、何を学習したのかを中間層の重みを可視化する
などして調査する事で、より単純化した法則を導き出す事ができる
可能性があるという事です。
仮説→検証→仮説の法則化ではなく、深層学習→検証→法則と
なる可能性が出てきます。 >>272
「人間も動物にすぎない」といったら、性犯罪に理解を示す言葉。 >>7
最小二乗法を知ってる人なんてそんなにいないと思うんだが… >>270
知能が画像認識等の問題とするならば、
それに使われてる仕組みはもう揃ったと言って良いんだろうか？
人間の脳神経があんなに大量の情報をさばいてるとは思えない。
それに、人間の枝刈りの能力は尋常じゃない。 最小二乗法は高校数学ではたぶん習わない。
統計学の基礎的な教程でも出てこない。
それより、
コンピュータ・プログラミングのアルゴリズムや
数値計算の書籍にかなりの確率で出てくる。 >>280
ｵﾚは理学部物理学科だったけれど
学部2年か3年で勉強したような記憶がある。
その後も数値計算とかCAGDとかシミュレーションについて勉強し続けていたので、
上記記憶はもしかしたらｵﾚに記憶違いかもしれないが、
学生レベルだと思うよ。 >>281
思い出した、物理実験のデータのfittingにfortranとか使ってやってたわ 最低でも義務教育で、基本的な統計学とか確率論の基礎って教えておかなくちゃいけない気がする
グラフの読み取り方とかって、例に出して悪いが三角関数よりは必須だと思う
騙されないようにするためにも 基本的にはそういうこと
>>232
再帰反復関数系にしたらチューリン完全に近づいたってことか？ >>276
それはデータによるから相当規模のデータで検証しないと複雑なのは無理 最小二乗法だけでは深い関数は学習できなかったんだよ
深い関数自体は30年とか前から提案されている
だれもそれを学習できなかっただけ
深いこと自体は新しくもなんともない
深い関数を学習できるようにしたことが革命なんだよ
この自称大学教授はもっと勉強した方がいい >>4
だから分かりもせずに設計主義に走ると失敗する
構造改革と言って、何を改革するのか政治家も国民も理解してないのは、
粛軍演説の頃からの常 >>240
ワニは適応(進化)しすぎて元に戻れなかった
哺乳類は適応(進化)してなくて後の環境に適応できた >>285
データではない。対象がモデル可が可能かどうかによる。
データ規模がどんなに多かろうと、ランダムの寄与度が高い対象は良い
モデルが構築できない。
また、データ規模はあった方が良いが、多ければ多いほど、誤差が減ると
いうものでも無い。
一番の問題は、過学習の問題を抱えていて、ある回数から学習回数を増や
せば増やすほど、予測能力（モデル構築能力）を失っていく可能性がある事。
モデルがどのくらい正確かを知るには、半数のデータで学習して、残りの
データで誤差を算出するなど、非常に手間がかかりかつ非効率（半数の
データを学習に使用できない）なところもある。 「深い」とか言ったって何も伝わらないんじゃないかなあ。
フィッティング関数を何個も重ねてますって言った方が良いんじゃ・・ Wikipediaに「残差平方和」とは
「残差の平方（二乗）の和である」と書かれてあって笑った。
まんまじゃん。説明する意味があるのか？ 「深い関数」というのはwell definedなのか？
およそ数学的というには程遠いようにしか思えんが
適当な説明をしたら誤解された 当然だ >>286
松尾先生はちゃんとそう言っているよ
ディープラーニングは古くからある発想だが、入手できるデータ量とマシンスペックが向上したことそれ自体によって実現したことが凄いのだと
これはたぶん情報理工学を専攻していれば博士どころか学生でも当たり前に知っていることだと思う >>295
いやいや、深い関数だとどれだけ回しても局所解から抜け出せないってのがあったじゃない。
それができるようになったのは、手法の改善も大きいと思うよ。 >>297
自分の論点が書かれてなかったからって他人の発言を否定するような書き方をするのはやめよう。
レス先を見てごらん。
それともレス内でAIの実装を語るには全方面に配慮して歴史と仕組みでも並べないといけないのかな。 これが日本の研究レベルだから仕方ない。いい研究者はみんなアメリカか中国だよ >>290
こういうこと？
たとえばAIに｢人類の未来に必要なことは？｣と聞いてみる。
AIは回答の一つに｢現時点でユダヤ人を撲滅しておくのが人類にとって最良だし欠かせないことだ｣と結論を出した。
驚き詳しく調べてみると｢将来の人類｣とは300年先の人類のことだし、ユダヤ人撲滅するためには300年もの間に人種間の争いで人類は塗炭の苦しみを負わなきゃならないと解った。
しかも300年以後に人類がどうなってるかは結論が出てない、と。
こういう過剰な予測のこと？ >>298
あまりカドを立てたくなかったからソフトに書いたけど、ディープラーニングの大半の成果は手法の改善なんだよ。それもほんのちょっとした改善がとてつもない効果があった。
計算速度の向上とかはほとんど関係ないし、データだって90年代には膨大な量が揃ってた。書くなら一番重要なとこを書こうよ。 >>303
>>295だけど、>>298は俺じゃなく別の人ね
手法の変化というのは具体的にはシグモイド関数でなくRelu関数を使うようになったことを指してるんだと思うけど、これも松尾先生はもちろん学生でも知っている常識だからね
これは既存の手法では結果を微分した際に極端な値しか取れず最適解に収束しないことが問題だったが、Reluを使うことで上手くいくようになったという事実だが、工学博士が知らないわけはないからね
それを勉強しろなんて書いていたのがいい加減だなぁと少し腹が立っただけさ
あなたは>>286じゃないだろうからこんなレスする意味はあんまりないかも知れないがw >>301
ディープラーニングは基本的に分類問題を扱う
犬と猫を学習させれば犬と猫を見分けることが出来る
しかし、犬と缶とクラシック音楽みたいに共通点の乏しい(ランダム性が高い)ものを学習させると、意図しない分類をしてしまう
だからデータの違いに対してあえて学習を鈍感にさせることで、共通点の少ないデータによる意図しない分類をなくす必要がある ﾘｶﾁｮﾝ 何の事だかよく分からず
灯台と聞いてカット頭に血が上り、ハラハラと落涙す ワカゲノイタリ >>305
それをチューニングって言うけど、ここがセンスの問われるところなんだよな
まだ、正解というか機械的に行うことは難しいっぽいし ディープダンジョンは、原理的には単純なwizに過ぎない >>34
浮浪者のおっさんが解説しようが
誰がしようが、真理は変わらないが？
お前は説明してくれる人によって、
地球が丸くなったり、平らになったり
すると思うのか？w >人工知能の「やりきれなさ」といかに向き合うか | Forbes JAPAN（フォーブス ジャパン）
https://forbesjapan.com/articles/detail/25930
>「知能」とは、「答えの有る問い」に対して、いち早く、正解に辿り着く能力のこと。
>これに対して、「知性」とは、その全く逆の能力、「答えの無い問い」を問い続ける
>能力のことである。答えなど得られぬと分かっていて、なお、それを問い続ける能力のことである。
おまえらに無いのは知性な。ＩＱだけを知能としてＥＱやらＳＱ，ＨＱやらＡＱなど
知っている奴が、それすら しらないってどういうことよ？
おまえらがシッタカしているのは 知能であって知性ではない。 原理的には〜なんつったら何でも基礎原理まで還元されてしまうぞ
はやぶさ2号だってニュートン力学の応用にすぎないとか言うことはできるがそれで何か分かった気になるのはむなしい >>315
AIブームのような状況で、何かわかった気になってる（主にお金を出す立場の）人たちに、立ち止まってよく考えるように戒めてる方向の説明なんじゃないかな。
AIが人類を亡ぼそうとするみたいな壮大な妄想に取りつかれる人さえいるときに、関数を求めているにすぎませんよと説明しているみたいな。 深い階層を学習することは困難だったが、
上りと下りの両方向から入出力が同じになるように学習させると
深い階層でも学習が可能になった
このアイデアは、生物の視覚野の構造から着想している
このような発見と実験が研究の原点である
この東大教授のような態度ではなんの発見もできないであろう 日本のIT（派遣や非正規）奴隷には理解できない領域(笑) いのちの法則 快療法bot
@kairyohou
3月18日
その他
例えば血圧が200あって、高いからと薬を使って適正な血圧まで下げた人が、高いはずの200の時の方がからだの調子がよく、下がったら調子が悪くなったという例があります。これなども平均的な数字をすべての人に機械的にあてはめたことによる失敗です。
(万病を治せる妙療法 操体法/橋本敬三) >>317
同様の理由で全く戒めにならんと言えるけどな >>317
AIは統計を数学の伝統的な方法とは違う側面で行うものだよ。
入力に対する応答は毎回違い、評価の流れも入力によって変わっていく。
パーセプトロン単位の処理は関数と言えるかもしれないけど、全体は関数的な動きにはならないよ。
それともプログラムならエントリー処理自体が関数だろとか言いたいのかもしれないけどw
壮大な妄想の前に使ってみようよ。 俺もちょっと触った程度だけど最小2乗法じゃね？と思ったわ
もう少し詳しくやったら考え方も変わるのだろうか >>322
＞入力に対する応答は毎回違い
え”？？？？？？？？？
トレーニングしない限り、常に同じ入力に同じ答えを返すんですけど。
バリバリな関数なんですけど… 誰もが頭が良くなる、プログラムが書けるようになる方法が発見される 31171
https://you-can-program.hatenablog.jp >>322
初期値など乱数を設定する時にシードを固定してないんじゃ。 このスレ見てるとツッコミどころ多すぎて覚えの悪い自分がまともに思えてくる
やっぱりテストで百点取れるような人間がしっかりと理解してんだろうね いつの日にか、人類は自らが作り出したAIに
自らの運命を委ねてしまって滅ぼされて
しまうのではないだろうか？
経済政策で疲弊したドイツ経済を建て直して
奇跡の復興を成し遂げたヒトラーに民衆が
期待を寄せて、次第に彼に権限を集中させ、
国家の命運を託して独裁者を許したことが
ドイツの完全な破壊を招いたように。
常に疑いと疑念を持たずに、熱狂で大歓迎をして
その危険性を考えなければ同じ愚を犯すのでは
ないだろうか？ >>328
まあ、自ら作り出した共産主義に、自らの運命をゆだねてしまって、
悲惨な目にあう人もたくさんいるからな。 >>37アルゴリズムがコピーできるものは
＞すべて単なるプログラム。
＞動物の脳のアルゴリズムはコピー不可だから
＞プログラムではないんだなこれが。
確かにそうだね >>55
＞自我ってのは脳細胞、脳全体によって生み出される機能(？)だろ。
＞なら、それを機械的に再現することは不可能ではないわな。
自我はハードが無味出すものみたいだな >>217それより量子コンピュータの続報はどうなった
自我を持つ汎用ＡＩのベースは量子コンピュータになると思うけど
量子コンピュータはいきづまってる感じだな >>279人間の脳神経があんなに大量の情報をさばいてるとは思えない。
＞それに、人間の枝刈りの能力は尋常じゃない
自我を持つ人間の脳とＡＩは全く異なる原理だし
自我を持つ汎用ＡＩの技術も
ＡＩの技術の延長線上にはない まもなく世界経済が崩壊します、通貨は廃止、株式市場は閉鎖、自殺者、失業者が大量に出ます。
その絶望的な状況のさ中に、世.界教師マ.イトレーヤが、匿名でテレビ出演します。
彼は、分ち合い、原発の全廃、を説きます、世界中のあらゆる言語で語ります。
その間、世界でＵＦＯが益々、目撃されるでしょう。
そして『大宣言』というテレパシー世界演説を行います、１４歳以上に、世界同時生放送されます。 コピーできるアルゴリズム＞＞＞＞＞＞コピーできないアルゴリズム
後者の非効率性が生物の限界。 >>319日本のIT（派遣や非正規）奴隷には理解できない領域(笑)
政府は大学教育で
ＡＩに力を入れるんだって
数十万人のオーダーで
ＡＩの基礎的知識をもった学生を育てるんだと >>324
＞トレーニングしない限り、常に同じ入力に同じ答えを返すんですけど。
＞バリバリな関数なんですけど…
数学は決定論なんで当然だし
量子コンピュータでもない限り
未来が不確定な結論にはならない >>335
＞コピーできるアルゴリズム＞＞＞＞＞＞コピーできないアルゴリズム
＞後者の非効率性が生物の限界。
汎用ＡＩはコピーは無理だ
ＡＩはハードとソフトが分離されてるけど
汎用ＡＩはハードとソフトが不可分で
ハードの量子力学的性質の上になりたってる 深いっていうのは曖昧な言葉だけど
３枚以上の層が有るという意味で良いのかな？ >>339
一般的にそういう意味。
中間層２層（３層パーセプトロン）まではバックプロパゲーションで学習できた。
それ以上は色々工夫が必要になったので、ディープラーニングのディープは
３層以上という意味。 >>338
全然コピーできないという主張についての言及がされていないのはギャグか？ ■ このスレッドは過去ログ倉庫に格納されています
