ニュートン法


最急降下法は、関数の傾きから、最小値・最大値を求めていくという最も単純な勾配法、だそうです。最急降下法の改良をしたものとして、確率的勾配降下法があります。

また一方で、最急降下法の収束の遅さを改善した方法として、ニュートン法があります。

最急降下法は1階微分をするのに対し、ニュートン法は2階微分をするところが大きな違い。


ニュートン法に含まれるヘッセ行列は、テイラー展開と関係があるので、テイラー展開などについて、以下参考文献。


コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください