１次の線形近似計算
→線形回帰

線形では表現できない関数がたくさんある。
解を求める際には、最小二乗法などが用いられる。

非線形とするため、活性化関数をつける
→パーセプトロン

パーセプトロンの結果、階層を作ることが可能となった
→３層パーセプトロン

これにより、xor関数、sin関数などの近似が可能となる。
解を求めるためには、最小二乗法を応用したバックプロパゲーションが用いられる。

３層以上ではバックプロパゲーションが上手く機能しなくなるため、悶々悶々。
ここ、色々なものが生み出されては消えていった。

画像解析で畳み込みニューラルネットワークが開発される
→コンボリュージョナルニューラルネットワーク

バックプロパゲーションの問題が起きないため、階層を幾らでも深くできるようになる。
→ディープコンボリュージョナルニューラルネットワーク
　略してディープラーニング

ディープラーニングでは、階層を深くすれば、どんな関数でも近似できる事が、
理論上示される。つまり、万能近似関数。

教師データが与えられたら、どんな事柄でも学習する事ができる。
ただし、教師データにない未知の入力に対して、本当に正しく予測できているのかは不明。
なんとなく予測できてそうという状態のまま、使えるから良いじゃんとしているのが現在。
まあ、近似計算全部が抱える本質的な問題なのだが。