準ニュートン法

準ニュートン法はニュートン法で使用したヘッシアンを使用せず近似したものを使用して関数を最小化する手法である。このとき近似ヘッシアンは正則である必要があるのでBFGS公式を使用して近似ヘッシアンを更新する。

最適化の反復法における解の更新則は

$${\mathbf{x}}^{\mathbf{(}\mathbf{k}\mathbf{+}\mathbf{1}\mathbf{)}}\mathbf{=}{\mathbf{x}}^{\mathbf{(}\mathbf{k}\mathbf{)}}\mathbf{+}\alpha {\mathbf{d}}^{\mathbf{(}\mathbf{k}\mathbf{)}}$$

準ニュートン法では探索方向を以下のように取る。現在の解周りでの目的関数の2次近似を近似ヘッシアン$B$を使って行っている

$${\mathbf{d}}^{\mathbf{(}\mathbf{k}\mathbf{)}}\mathbf{=}\mathbf{-}\mathbf{(}{\mathbf{B}}^{\mathbf{(}\mathbf{k}\mathbf{)}}{\mathbf{)}}^{\mathbf{-}\mathbf{1}}\mathbf{\Delta }\mathbf{f}\mathbf{(}{\mathbf{x}}^{\mathbf{(}\mathbf{k}\mathbf{)}}\mathbf{)}$$

近似ヘッシアン$B$は初期化のときには単位行列などを選ぶ

探索方向決定後は直線探索でステップ幅を計算して解を更新する。また、近似ヘッシアン$B$をBFGS公式により更新する

参考文献

• しっかり学ぶ数理最適化