Sia . Si dice che un vettore , è una direzione di discesa per la funzione in se esiste tale che , .
In modo analogo si definisce la direzione di salita di .
Si supponga di dover calcolare con un metodo iterativo. Si definisce una direzione di discesa alla -esima iterazione ogni direzione per cui , dove rappresenta prodotto scalare. La motivazione per questo approccio è che piccoli spostamenti lungo garantiscono che venga ridotto, in base al Teorema di Taylor.
In base a questa definizione, l'antigradiente (se non nullo) è sempre una direzione di discesa, visto che .