Gradientenverfahren für unrestringierte Optimierungsprobleme

Zielfunktion $f$ ist einmal stetig differenzierbar.

Liniensuchverfahren können ein lokales Minimum bestimmen. Das Gradientenverfahren ist eines davon.

Als Abstiegsrichtung verwendet es den negativen Gradient (Richtung des steilsten Abstiegs).

Mit der Armijo-Schrittweitenregel kann eine geeignete Schrittweite für das Verfahren bestimmt werden welche die Schrittweite in Richtung des steilsten Abstiegs darstellt..