最急降下法
最急降下法は関数の勾配の逆方向に変数の更新方向を取り、停留点に収束する点列を生成する。探索方向の取りうる中で一番勾配が急な方向に更新し続けるためこの名がついた
最適化の反復法における解の更新則は
\[
\bf{x}^{(k+1)} = \bf{x}^{(k)} + \alpha \bf{d}^{(k)}
\]
最急降下法では探索方向を以下のように取る
\[
\bf{d}^{(k)} = -\Delta f(\bf{x}^{(k)})
\]
探索方向決定後はステップ幅を1に固定するか直線探索を別途行い解を更新する