Probit multinomiale

In statistica e apprendimento automatico, il modello probit multinomiale è una generalizzazione del modello probit per problemi con più di due categorie possibili per la variabile dipendente ^[1]. Quindi esso rappresenta un'alternativa al modello logit multinomiale da utilizzare per problemi di apprendimento supervisionato multi-classe. Non va però confuso con il modello probit multivariato, utilizzato per modellare casi con risultati binari correlati per più variabili indipendenti.

Specifica generale

[modifica | modifica wikitesto]

Si suppone di avere una serie di osservazioni Y_i, per i = 1... n, dei risultati di scelte fra K valori tratte da una distribuzione categorica di dimensione K (ci sono K > 2 scelte possibili). A ciascuna osservazione Y_i è associato un vettore di m valori osservati x_1,i, ..., x_m,i di variabili esplicative (note anche come variabili indipendenti, variabili predittive, caratteristiche, ecc.). Alcuni esempi:

I risultati osservati potrebbero essere "ha la malattia A, ha la malattia B, ha la malattia C, non ha nessuna delle malattie" per un insieme di malattie rare con sintomi simili, e le variabili esplicative potrebbero essere caratteristiche dei pazienti ritenute pertinenti (sesso, razza, età, pressione sanguigna, indice di massa corporea, presenza o assenza di vari sintomi, ecc.).
I risultati osservati sono i voti delle persone per un dato partito o candidato in un'elezione con più di 2 opzioni e le variabili esplicative sono le caratteristiche demografiche di ciascuna persona (ad esempio sesso, razza, età, reddito, ecc.).

Il modello probit multinomiale è un modello statistico utilizzabile per predire il probabile esito non osservato di un esperimento multifattoriale, date le variabili esplicative associate. Nel processo, il modello cerca di spiegare l'effetto relativo di diverse variabili esplicative sui diversi esiti.

Formalmente, i risultati Y_i possono essere descritti come dati distribuiti categoricamente, in cui ogni valore di risultato h per l'osservazione i si verifica con una probabilità non osservata p_i,h specifica per l'osservazione i in questione perché determinata dai valori delle variabili esplicative associate a tale osservazione. Vale a dire:

Y_{i}|x_{1,i},\ldots ,x_{m,i}\ \sim \operatorname {Cat} (p_{i,1},\ldots ,p_{i,K}),{\text{ per }}i=1,\dots ,n

o equivalentemente

\Pr[Y_{i}=h|x_{1,i},\ldots ,x_{m,i}]=p_{i,h},{\text{ per }}i=1,\dots ,n,

per ciascuno dei K possibili valori di h.

Modello con variabili latenti

[modifica | modifica wikitesto]

Il probit multinomiale è spesso scritto in termini di modello con variabili latenti:

{\begin{aligned}Y_{i}^{1\ast }&={\boldsymbol {\beta }}_{1}\cdot \mathbf {X} _{i}+\varepsilon _{1}\,\\Y_{i}^{2\ast }&={\boldsymbol {\beta }}_{2}\cdot \mathbf {X} _{i}+\varepsilon _{2}\,\\\ldots &\ldots \\Y_{i}^{K\ast }&={\boldsymbol {\beta }}_{K}\cdot \mathbf {X} _{i}+\varepsilon _{K}\,\\\end{aligned}}

dove

{\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(0,{\boldsymbol {\Sigma }})

allora

Y_{i}={\begin{cases}1&{\text{se }}Y_{i}^{1\ast }>Y_{i}^{2\ast },\ldots ,Y_{i}^{K\ast }\\2&{\text{se }}Y_{i}^{2\ast }>Y_{i}^{1\ast },Y_{i}^{3\ast },\ldots ,Y_{i}^{K\ast }\\\ldots &\ldots \\K&{\text{altrimenti}}\end{cases}}

ossia,

Y_{i}=\mathrm {argmax} _{h=1,\ldots ,K}Y_{i}^{h\ast }

Si noti che questo modello consente una correlazione arbitraria tra le variabili di errore, quindi non rispetta necessariamente la proprietà di indipendenza delle alternative irrilevanti.

Quando ${\boldsymbol {\Sigma }}$ è la matrice identità (tale che non vi sia correlazione o eteroschedasticità), il modello viene detto probit indipendente.

Stima

[modifica | modifica wikitesto]

Per i dettagli su come vengono stimate le equazioni^[2], si veda la voce Modello Probit.

Note

[modifica | modifica wikitesto]

^ Luiz Paulo Fávero e Patrícia Belfiore, Chapter 14 - Binary and Multinomial Logistic Regression Models, Academic Press, 2019, pp. 539–615, DOI:10.1016/b978-0-12-811216-8.00014-8, ISBN 978-0-12-811216-8.
^ (EN) Yosef Sheffi, Randy Hall e Carlos Daganzo, On the estimation of the multinomial probit model, in Transportation Research Part A: General, vol. 16, n. 5-6, 1982-09, pp. 447–456, DOI:10.1016/0191-2607(82)90071-1.

Bibliografia

[modifica | modifica wikitesto]

William H. Greene, Econometric Analysis, Seventh, Pearson Education, 2012, pp. 810–811, ISBN 978-0-273-75356-8.

Estratto da "https://it.wikipedia.org/w/index.php?title=Probit_multinomiale&oldid=148223577"

[1] Luiz Paulo Fávero e Patrícia Belfiore, Chapter 14 - Binary and Multinomial Logistic Regression Models, Academic Press, 2019, pp. 539–615, DOI:10.1016/b978-0-12-811216-8.00014-8, ISBN 978-0-12-811216-8.

[2] (EN) Yosef Sheffi, Randy Hall e Carlos Daganzo, On the estimation of the multinomial probit model, in Transportation Research Part A: General, vol. 16, n. 5-6, 1982-09, pp. 447–456, DOI:10.1016/0191-2607(82)90071-1.

[1]

[2]

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento auto-supervisionato · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Stacking · Voting · Cascading · Error correcting output code (ECOC)
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Selezione delle caratteristiche · Estrazione di caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico