ニュートン法
ニュートン法は関数の勾配とヘッシアンを使い関数を変数の周りで2次近似し解くことで探索方向を決定し、停留点に収束する点列を生成する。最急降下法が一次収束であることに対してニュートン法は2次収束であるため停留点付近でも収束が速いが目的関数の2解微分が必要である。
最適化の反復法における解の更新則は
\[
\bf{x}^{(k+1)} = \bf{x}^{(k)} + \alpha \bf{d}^{(k)}
\]
ニュートン法では探索方向を以下のように取る。行っていることは現在の解周りで目的関数を2次近似し、最小値を方程式から求めている。
\[
\bf{d}^{(k)} = -\Delta^2 f(\bf{x}^{(k)})^{-1} \Delta f(\bf{x}^{(k)})
\]
探索方向決定後は直線探索でステップ幅を計算し効率的に解を更新する