Metodo dei minimi quadrati

Il metodo dei minimi quadrati (in inglese OLS: Ordinary Least Squares) è una tecnica di ottimizzazione (o regressione) che permette di trovare una funzione, rappresentata da una curva ottima (o curva di regressione), che si avvicini il più possibile ad un insieme di dati (tipicamente punti del piano). In particolare, la funzione trovata deve essere quella che minimizza la somma dei quadrati delle distanze tra i dati osservati e quelli della curva che rappresenta la funzione stessa. In questo caso, possiamo distinguere parabola dei minimi quadrati e retta dei minimi quadrati. Questo metodo converge solo nel suo caso limite a un'interpolazione, per cui di fatto si richiede che la curva ottima contenga tutti i punti dati.

L'utilizzo più frequente è la deduzione dell'andamento medio in base ai dati sperimentali per l'estrapolazione fuori dal campo di misurazione. Anche altri problemi di ottimizzazione, come la minimizzazione dell'energia o la massimizzazione dell'entropia, possono essere riformulati in una ricerca dei minimi quadrati.

Gli stimatori OLS sono:^[1]

• pendenza: ${\displaystyle {\hat {\beta _{1}}}={\frac {\sum _{i=1}^{n}(X_{i}-{\bar {X}})(Y_{i}-{\bar {Y}})}{\sum _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}}={\frac {s_{XY}}{s_{X}^{2}}};}$
• intercetta: ${\displaystyle {\hat {\beta _{0}}}={\bar {Y}}-{\hat {\beta _{1}}}{\bar {X}}.}$

Questa voce o sezione sull'argomento statistica è ritenuta da controllare.

Motivo: Sono indicati gli assunti richiesti perché lo stimatore dei minimi quadrati abbia le caratteristiche che si richiedono in un approccio asintotico (indipendenza in media dell'errore, normalità asintotica), come in econometria, e infatti la fonte è un testo di econometria. Le assunzioni OLS per il caso generale sono altre (v. discussione)

---

Partecipa alla discussione e/o correggi la voce. Segui i suggerimenti del progetto di riferimento.

Le assunzioni OLS sono:^[1]

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+u_{i},\quad {\text{con }}i=1\ldots ,n,}$

• l'errore statistico ${\displaystyle u_{i}}$ ha media condizionata nulla data ${\displaystyle X_{i}}$, ossia ${\displaystyle E(u_{i}|X_{i})=0}$;
• ${\displaystyle (X_{i},Y_{i}),i=1,\dots ,n}$ sono estratti indipendentemente e identicamente distribuiti dalla loro distribuzione congiunta;
• ${\displaystyle (X_{i},Y_{i})}$ hanno momenti quarti finiti non nulli.

Le assunzioni OLS sono:^[1]

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+\cdots +\beta _{k}X_{ki}+u_{i},\quad {\text{con }}i=1\ldots ,n,}$

• l'errore statistico ${\displaystyle u_{i}}$ ha media condizionata nulla date ${\displaystyle X_{1i},X_{2i},\cdots ,X_{ki}}$, ossia ${\displaystyle E(u_{i}|X_{1i},X_{2i},\cdots ,X_{ki})=0}$;
• ${\displaystyle (X_{1i},X_{2i},\cdots ,X_{ki},Y_{i}),i=1,\dots ,n}$ sono estratti [[Variabili indipendenti e identicamente distribuite|indipendentemente e identicamente distribuiti] dalla loro distribuzione congiunta;
• ${\displaystyle (X_{1i},\cdots ,X_{ki},u_{i})}$ hanno momenti quarti finiti non nulli;
• non vi è collinearità perfetta.

Da notare che l'ipotesi di media condizionale dell'errore nulla implica che:

• anche la media non condizionata sia nulla. Dalla legge delle aspettative iterate segue infatti:

${\displaystyle E(u_{i})=E(E(u_{i}|\mathbf {X} ))=E(0)=0;}$

• l'errore non sia correlato con i regressori, cioè la covarianza tra errore e regressori sia nulla:

${\displaystyle \mathrm {Cov} (u_{i},\mathbf {X} )=E((u_{i}-E(u_{i}))(\mathbf {X} -E(\mathbf {X} )))=E(u_{i}\mathbf {X} )=E_{\mathbf {X} }(E(u_{i}\mathbf {X} )|\mathbf {X} )=E_{\mathbf {X} }(E(u_{i}|\mathbf {X} )\mathbf {X} )=E_{\mathbf {X} }(0\cdot \mathbf {X} )=0.}$

Siano ${\displaystyle (x_{i},y_{i})}$ con ${\displaystyle i=1,2,\dots ,n}$ i punti che rappresentano i dati in ingresso. Si vuole trovare una funzione ${\displaystyle f}$ tale che approssimi la successione di punti dati. Questa può essere determinata minimizzando la distanza (euclidea) tra le due successioni ${\displaystyle y_{i}}$ e ${\displaystyle f(x_{i})}$, ossia la quantità ${\displaystyle S}$:

${\displaystyle S=\sum _{i=1}^{n}\left(y_{i}-f(x_{i})\right)^{2},}$

da cui il nome "minimi quadrati".

Nei casi pratici in genere ${\displaystyle f(x)}$ è parametrica: in questo modo il problema si riduce a determinare i parametri che minimizzano la distanza dei punti dalla curva. Naturalmente per ottenere un'unica curva ottimizzata e non un fascio, è necessario un numero di punti sperimentali maggiore del numero di parametri da cui dipende la curva (il problema in genere si dice sovradeterminato). In genere dai dati sperimentali ottenuti ci si aspetta una distribuzione regolata da relazioni determinate per via analitica; risulta utile quindi parametrizzare la curva teorica e determinare i parametri in modo da minimizzare ${\displaystyle S}$.

• ${\displaystyle f(x)=bx+a.}$

La funzione interpolante desiderata è una retta, i parametri sono due: ${\displaystyle a}$ e ${\displaystyle b}$. Per essere determinati univocamente servono almeno due punti da interpolare.

In tal caso è possibile scrivere in modo esplicito i valori dei parametri ${\displaystyle a}$ e ${\displaystyle b}$. Si consideri di avere ${\displaystyle N}$ coppie ${\displaystyle (x_{i},y_{i})}$. Allora i coefficienti sono:

${\displaystyle b={\frac {N\sum (x_{i}y_{i})-\sum x_{i}\sum y_{i}}{N\sum (x_{i}^{2})-(\sum x_{i})^{2}}},}$

${\displaystyle a={\frac {\sum y_{i}\sum (x_{i}^{2})-\sum (x_{i})\sum (x_{i}y_{i})}{N\sum (x_{i}^{2})-(\sum x_{i})^{2}}}.}$

• ${\displaystyle f(x)=x^{a}.}$

La funzione interpolante desiderata è una potenza e possiede un solo parametro; diversamente dall'esempio precedente la funzione non è lineare rispetto ai parametri.

Lo stesso argomento in dettaglio: Regressione lineare.

Sia ${\displaystyle f(x)}$ una funzione lineare rispetto ai parametri

${\displaystyle f(x)=p_{1}f_{1}(x)+p_{2}f_{2}(x)+\dots +p_{k}f_{k}(x),}$

dove ${\displaystyle p_{i}}$ sono i ${\displaystyle k}$ parametri, ${\displaystyle k\ll n}$ e ${\displaystyle n}$ è il numero di punti noti.

Si può riorganizzare la situazione attraverso il sistema lineare sovradimensionato

${\displaystyle Ap\approx y}$

dove:

${\displaystyle A={\begin{bmatrix}f_{1}(x_{1})&\dots &f_{k}(x_{1})\\\vdots &&\vdots \\f_{1}(x_{n})&\dots &f_{k}(x_{n})\end{bmatrix}},\qquad p={\begin{bmatrix}p_{1}\\\vdots \\p_{k}\end{bmatrix}},\qquad y={\begin{bmatrix}y_{1}\\\vdots \\y_{n}\end{bmatrix}}.}$

Da cui:

${\displaystyle p_{1}f_{1}(x_{i})+p_{2}f_{2}(x_{i})+\dots +p_{k}f_{k}(x_{i})\approx y_{i}}$

Il problema di minimizzare ${\displaystyle S}$ si riconduce dunque a minimizzare la norma del residuo

${\displaystyle \|r\|=\|Ap-y\|,\qquad \|r\|^{2}=\|Ap-y\|^{2}=([Ap]_{1}-y_{1})^{2}+\dots +([Ap]_{n}-y_{n})^{2}=\sum _{i=1}^{n}(f(x_{i})-y_{i})^{2}=S,}$

dove con ${\displaystyle [Ap]_{i}}$ si intende l'${\displaystyle i}$-esima componente del vettore prodotto fra ${\displaystyle A}$ e ${\displaystyle p}$.

Possiamo minimizzare ${\displaystyle \|r\|}$ derivando ${\displaystyle \|r\|^{2}}$ rispetto a ciascun ${\displaystyle p_{m}}$ e ponendo le derivate uguali a 0:

${\displaystyle {\frac {d\|r\|^{2}}{dp_{m}}}=\sum _{i=1}^{n}2\left(\sum _{j=1}^{k}a_{ij}p_{j}-y_{i}\right)a_{im}=0.}$

Queste equazioni sono equivalenti al sistema:

${\displaystyle (Ap-y)^{T}A=0.}$

Quindi il vettore ${\displaystyle p}$ che minimizza ${\displaystyle S}$ è la soluzione dell'equazione:

${\displaystyle A^{T}Ap=A^{T}y.}$

Quest'ultima equazione è detta equazione normale. Se il rango di ${\displaystyle A}$ è massimo, allora ${\displaystyle A^{T}A}$ è invertibile e dunque:

${\displaystyle p=(A^{T}A)^{-1}A^{T}y.}$

La matrice ${\displaystyle (A^{T}A)^{-1}A^{T}}$ è detta pseudo-inversa.

Lo stesso argomento in dettaglio: Regressione nonlineare.

In molti casi la funzione ${\displaystyle y=f(x;{\vec {a}})}$ non è lineare, in questi casi non si può indicare un modo certo per ottenere i parametri. Nel tipico caso in cui la dimensione dello spazio dei parametri sia maggiore di 1, il problema diventa fortemente non lineare conviene ricorrere all'uso di programmi di analisi numerica specifici che minimizzi la variabile ${\displaystyle \chi ^{2}}$.

Una delle librerie più famose per questo compito è MINUIT^[2], inizialmente sviluppata al CERN in Fortran ed ora integrata nel più recente framework di analisi dati ROOT^[3]. Si segnalano per questo compito anche altre librerie come le Gnu Scientific Library^[4].

Questo metodo si utilizza quando quello dei minimi quadrati ordinari fallisce, perché la stima ottenuta è correlata all'errore. In questo caso si opera una regressione della variabile che si vuole stimare su una variabile strumentale che sia correlata alla variabile dipendente stessa, ma non al termine di errore. Ottenuta questa stima, la si utilizza per effettuare una nuova regressione che non dovrebbe dare problemi. Il problema più grosso è trovare una variabile strumentale con le caratteristiche adeguate.

È tipicamente utilizzato con le variabili strumentali.

Le assunzioni TSLS sono:^[1]

• l'errore statistico ${\displaystyle u_{i}}$ ha media condizionata nulla: ${\displaystyle E(u_{i}|W_{1i},\cdots ,W_{ri})=0}$;
• ${\displaystyle (X_{1i},\cdots ,X_{ki},W_{1i},\cdots ,W_{ri},Z_{1i},\cdots ,Z_{mi},Y_{i})}$ sono estratti indipendentemente e identicamenti distribuiti dalla loro distribuzione congiunta;
• le ${\displaystyle X}$, i ${\displaystyle W}$ e le ${\displaystyle Z}$ hanno momenti quarti finiti non nulli;
• non vi è collinearità perfetta;
• valgono le condizioni di validità degli strumenti.

• Interpolazione
• Approssimazione
• Sistema lineare
• Regressione lineare
• Distanza di Cook

• Wikimedia Commons contiene immagini o altri file su metodo dei minimi quadrati

• http://www.physics.csbsju.edu/stats/least_squares.html
• levmar, in C/C++, con interfacce di MATLAB, Perl e Python. Licenza: GPL
• lmfit Archiviato il 26 novembre 2013 in Internet Archive. implementazione del algoritmo di Levenberg e Marquardt per uso in C e C++
• Zunzun.com - Online curve and surface fitting
• http://www.orbitals.com/self/least/least.htm

Portale Matematica: accedi alle voci di Teknopedia che trattano di matematica