300年前にニュートンが考案、現代でも実用されるアルゴリズム「ニュートン法」がアップデートされる [すらいむ★]

**すらいむ ★** · 2025/04/29(火) 22:30:45.75

物理学者ニュートンが300年前に考案して現代でも実用されるアルゴリズム「ニュートン法」がアップデートされる

　約300年前に物理学者のアイザック・ニュートンが考案した「ニュートン法」は、現代でも物流や金融工学、コンピュータビジョン、純粋数学など多岐にわたる分野で重要な役割を果たしているアルゴリズムです。
　これまでさまざまな数学者がこのニュートン法の改良に苦心しており、近年の研究でついにアップデートされたと科学系ニュースサイトのQuanta Magazineが紹介しています。

　Implementable tensor methods in unconstrained convex optimization | Mathematical Programming
　https://link.springer.com/article/10.1007/s10107-019-01449-1

（以下略、続きはソースでご確認ください）

Gigazine 2025年04月29日 15時00分
https://gigazine.net/news/20250429-newtons-method-updated/

**名無しのひみつ** · 2025/04/29(火) 22:53:13.39

複雑な機械学習で効力を発揮するやつ

**名無しのひみつ** · 2025/04/29(火) 23:00:29.23

線形近似の解をとることを繰り返すやつね

**名無しのひみつ** · 2025/04/30(水) 00:10:23.57

ニュートン法は2次近似だけど
もとの関数(データ？)に、ほんのちょっとだけ(by gigazine？)、手を加えることで
3次以上の関数で近似できるようになる手法
手間が一段増えるような気がしてならないが、収束が速いメリットが上回るのかな？

**名無しのひみつ** · 2025/04/30(水) 00:22:33.88

新豚法

**名無しのひみつ** · 2025/04/30(水) 00:24:42.51

こういうのって
300年できなかったものがついにできた
みたいなドラマチックな話にしたがるけど
実際には、いろんなものがじわじわ改善されてそう

**名無しのひみつ** · 2025/04/30(水) 00:40:19.80

>>1
ニュートン法はシンプルながら収束が遅いことが有名
おまえらの就職も早くなるといいな

**名無しのひみつ** · 2025/04/30(水) 05:30:56.44

ガウスさんとニュートンさんにはお世話になっております

**名無しのひみつ** · 2025/04/30(水) 06:22:46.33

摂動論とかもやり直しかな

**名無しのひみつ** · 2025/04/30(水) 06:40:41.86

>>7
2乗収束だから十分早いだろ
収束遅いの代表格は Gradient decent

**名無しのひみつ** · 2025/04/30(水) 06:55:04.61

習ったけど全く覚えてないわ（笑）
理系の大学出たけど、実家のラブホ経営しているから今後使う事もねえわな

**名無しのひみつ** · 2025/04/30(水) 07:01:12.70

>>8
うちはどちらかというと
オイラー様のお世話になっております

**名無しのひみつ** · 2025/04/30(水) 07:26:33.67

ルンゲクッタ

**名無しのひみつ** · 2025/04/30(水) 08:14:18.12

ニューニュートン法か

**名無しのひみつ** · 2025/04/30(水) 08:26:56.84

>>2
真逆だぞ
記事ぐらいちゃんと読もうな？
障害の書き込み増えて過疎ってんだから

**名無しのひみつ** · 2025/04/30(水) 08:35:42.62

dampen??

**名無しのひみつ** · 2025/04/30(水) 09:11:57.82

ニュートン法もシンプソン法も高校数学の教科書に載ってるんだよなあ
発展学習として

**名無しのひみつ** · 2025/04/30(水) 13:18:33.30

たぶん実用性は低いだろう。
ニュートン法を2回繰り返すのを1つの操作単位とすれば、
その1単位の操作は2^2＝4次収束になる。
3回繰り返す操作を1単位とすれば、2^3=8次収束だ。
しかしニュートン法は多変数になると、普通は使いにくい。
ｎ変数あるとすれば、n(n+1)/2個もの要素を持つ二階の
変導関数を並べたヘッセ行列を作らねばならないので、
ｎが大きいととてもやってられない。ヘッセ行列を作る
手間がｎの2乗ぐらいだったとしても（実際は大変だ）、
今度はそれを係数とする連立1次方程式を解くのが手間だ。
だから普通は変数の数が多いとNewton法にさまざまな近似
を取り入れて手抜きをする。収束計算というものは、
答えに収束しさえすれば、途中がどんなに酷い近似を
入れていても、とにかく結果が得られたらそれで良いのだ。
Newton法を越えて2次以上の多項式近似を行うことの利点は、
収束域が広がることだろう。つまり初期値が真の解から
かなり離れても収束させることができるようになる可能性。

**名無しのひみつ** · 2025/04/30(水) 14:35:03.34

ニュートンは生涯童貞を貫き通した。
　
　これ、ちょっとしたビーンノレッジな。

**名無しのひみつ** · 2025/04/30(水) 17:10:09.96

DOOMのハックより役に立つかい？

**名無しのひみつ** · 2025/04/30(水) 17:28:54.11

>しかし、「私たちの考案したアルゴリズムは理論上、明らかに高速です。
>計算技術の進歩と並行して、この理論的優位性が実用面でも10～20年後には発揮される可能性があります」
>とアフマディ教授は予測しています。

結局、宅配ルートの最適化はまだまだ無理なのか

**名無しのひみつ** · 2025/05/01(木) 00:21:05.21

>>20
https://egg.5ch.net/test/read.cgi/scienceplus/1720784045/
この様な代物に応用されている。た、多分。
間違えていたらスマン

**名無しのひみつ** · 2025/05/01(木) 02:57:47.77

>>11
ラブホの調度品を数学グッズにしろ

**名無しのひみつ** · 2025/05/01(木) 17:01:32.96

ニュートン法は方程式の形が決まってる時にその根を求めるアルゴリズムだけど
機械学習の勾配降下法が解いているのは方程式の形をサンプル点にフィッティングさせる
補間アルゴリズムであって、前者の改良が後者の改善にどう役立つのか見当もつかない

**名無しのひみつ** · 2025/05/01(木) 18:19:17.48

補間アルゴリズムは目的関数（たとえば二乗誤差）を
最小化することで実現している。
目的関数が最小点で微分可能ならば、ある点が
その目的関数の最小点であるための必要条件は
目的関数の偏微分の値が全て消滅していること。
そこで、偏微分を並べたベクトル（勾配ベクトル）
が零ベクトルに等しいことを表す方程式を
解くことになる。それは初期位置を決めて、
目的関数の勾配と反対方向に進む勾配降下法が
便利に使えるが、目的関数が最小点のそばで
二階の偏微分が可能の場合には、ニュートン法を
使うことができる。
　∇f(x)=0 を解くために普通のニュートン法では
　x_{i+1} := x_i - H^{-1}(x_i)∇f(x_i)
となる。ここでH(x)は二階の偏微分を並べた対称行列
でヘッセ行列。H^{-1}(x)はその逆行列。
∇f(x) はスカラー関数ｆの勾配ベクトル。

**名無しのひみつ** · 2025/05/02(金) 13:51:07.56

>>22
ごめんQ3Aだった。
今は逆平方根はそんなことしなくても命令にある。

**名無しのひみつ** · 2025/05/04(日) 05:01:42.85

平方根の計算を行うために逆平方根（平方根の逆数）
を先に計算してその結果を利用しているので、
平方根を計算するよりも逆平方根を計算する方が
僅かに手間が少ない。