最急降下法は、関数の傾きから、最小値・最大値を求めていくという最も単純な勾配法、だそうです。最急降下法の改良をしたものとして、確率的勾配降下法があります。
また一方で、最急降下法の収束の遅さを改善した方法として、ニュートン法があります。
最急降下法は1階微分をするのに対し、ニュートン法は2階微分をするところが大きな違い。
ニュートン法に含まれるヘッセ行列は、テイラー展開と関係があるので、テイラー展開などについて、以下参考文献。
最急降下法は、関数の傾きから、最小値・最大値を求めていくという最も単純な勾配法、だそうです。最急降下法の改良をしたものとして、確率的勾配降下法があります。
また一方で、最急降下法の収束の遅さを改善した方法として、ニュートン法があります。
最急降下法は1階微分をするのに対し、ニュートン法は2階微分をするところが大きな違い。
ニュートン法に含まれるヘッセ行列は、テイラー展開と関係があるので、テイラー展開などについて、以下参考文献。