Detto ${\displaystyle (V,K)}$ uno spazio vettoriale normato ${\displaystyle V}$ su un campo ${\displaystyle K}$ e dato un vettore ${\displaystyle v\in (V,K)}$, fare un'approssimazione di ${\displaystyle v}$ significa trovare un vettore ${\displaystyle v'}$, che goda di particolari proprietà, tale che la norma del vettore ${\displaystyle v-v'}$ sia la più piccola possibile.

Dato un vettore ${\displaystyle v\in (V,K)}$ trovare una sua approssimazione significa trovare un vettore ${\displaystyle v'}$, appartenente al sottoinsieme ${\displaystyle W\subset V}$ costituito dai vettori che godono delle proprietà che si vuole che l'approssimazione possieda, tale che il vettore resto ${\displaystyle r=v-v'}$ abbia la norma (un'opportuna norma) più piccola possibile.

Nel caso in cui ${\displaystyle W}$ è un insieme convesso chiuso, quindi in particolare se ${\displaystyle W}$ è un sottospazio chiuso, per il Teorema della proiezione, esiste un unico vettore ${\displaystyle v'}$ (la proiezione di ${\displaystyle v}$ in ${\displaystyle W}$) tale che ${\displaystyle \Vert r\Vert =\Vert v-v'\Vert =\min _{w\in W}\Vert v-w\Vert }$ , quindi esiste ed è unica l'approssimazione che minimizza la norma del vettore resto, negli altri casi non è detto che tale approssimazione esista o se esiste non è detto che sia unica. Quindi, possiamo trovarci in scenari in cui per ogni approssimazione esiste un'approssimazione migliore oppure per cui esistano due o più approssimazioni distinte che minimizzano la norma del vettore resto.

Nel caso in cui ${\displaystyle W}$ non è un sottospazio vettoriale allora l'operatore che associa ad un vettore la sua approssimazione in ${\displaystyle W}$ non è lineare.

Se consideriamo un numero ${\displaystyle x\in \mathbb {R} }$ e pesiamo ad ${\displaystyle \mathbb {R} }$ come uno spazio vettoriale su ${\displaystyle \mathbb {Z} }$ allora possiamo ottenere l'approssimazione per troncatura all'${\displaystyle n}$-esima cifra come la proiezione del vettore ${\displaystyle r}$ sul sottospazio chiuso generato dal vettore ${\displaystyle 0,0\ldots 01={\frac {1}{10^{n}}}}$. Seguendo lo stesso procedimento ma proiettando sul sottospazio generato da ${\displaystyle {\frac {1}{2^{n}}}}$ otteniamo la troncatura all'${\displaystyle n}$-esima cifra dopo la virgola del numero rappresentato nel sistema numerico binario.

Se nel primo esempio dato anziché considerare la proiezione sul sottospazio generato da ${\displaystyle {\frac {1}{10^{n}}}}$ considerassimo la proiezione sul sottospazio generato da ${\displaystyle {\frac {1}{10^{(n-1)}}}}$otterremmo l'approssimazione per arrotondamento.

Considerando l'insieme delle funzioni continue e derivabili ${\displaystyle n}$ volte come uno spazio vettoriale, lo sviluppo di Taylor all'${\displaystyle n}$-esimo ordine di una funzione ${\displaystyle f}$ è una approssimazione nello spazio dei polinomi di grado ${\displaystyle n}$. Un discorso analogo vale per lo sviluppo di Fourier. L'approssimazioni di funzioni nello spazio dei polinomi è particolarmente significativa in fisica ed in ingegneria, dove tale approssimazione viene spesso usata per ''semplificare'' leggi, rappresentate da funzioni, che altrimenti sarebbero difficili da trattare. Infatti, esiste tutta una branca della matematica, l'algebra, che si occuopa dello studio dei polinomi, quindi sono disonibili numerosi strumenti e una conoscenza profonda di queste funzioni.

La trattazione appena fatta si presta anche a descrive approssimazioni di curve. Ad esempio, possiamo dotare di struttura di spazio vettoriale l'insieme delle curve regolari a tratti e trovare l'approssimazione di una curva nel sottospazio delle curve lisce.

In analisi numerica si studiano diversi algoritmi di approssimazione che computano all'${\displaystyle n}$-esimo ciclo un vettore ${\displaystyle v_{n}}$ per cui la successione dei moduli dei resti ${\displaystyle \Vert r_{n}\Vert =\Vert v-v_{n}\Vert }$, per un'opportuna norma, diventa sempre più piccola.

Tra le proprietà auspicabili per tali algoritmi troviamo:

• la successione ${\displaystyle \Vert r_{n}\Vert }$ decresce monotonamente;
• la successione ${\displaystyle \Vert r_{n}\Vert }$ converge a zero;
• la successione ${\displaystyle \Vert r_{n}\Vert }$ decresce rapidamente (convergenza asintotica).

Sfortunatamente non sempre gli algoritmi conosciuti godono di queste proprietà.