Algorisme del gradient descendent

L'algorisme del gradient descendent és un mètode iteratiu d'optimització de primer ordre per a trobar el mínim d'una funció. S'anomena descendent perquè el prenen els increments proporcionals al negatiu del gradient de la funció. Si es prenen increments positius al gradient, s'anomena gradient ascendent.^[1][2][3]

Aquest mètode s'empra sovint com una extensió de l'algorisme de retropropagació usat en l'entrenament de xarxes neuronals artificials.

El gradient descendent es basa en el fet que si la funció multivariable ${\displaystyle F(x)}$ està definida i és derivable al voltant d'un punt ${\displaystyle a}$, llavors ${\displaystyle F(x)}$decreix de la manera més ràpida si es va des del punt ${\displaystyle a}$ en direcció del gradient negatiu de ${\displaystyle F}$en ${\displaystyle a}$, o sigui ${\displaystyle -\nabla F(\mathbf {a} )}$. Aleshores la seqüència de punts és:

${\displaystyle \mathbf {a} _{n+1}=\mathbf {a} _{n}-\gamma \nabla F(\mathbf {a} _{n})}$

o també:

${\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.}$

i la seqüència és monotònica descendent:

${\displaystyle F(\mathbf {x} _{0})\geq F(\mathbf {x} _{1})\geq F(\mathbf {x} _{2})\geq \cdots ,}$