La funzione di Huber è una funzione usata in analisi della regressione, che ha la proprietà di essere meno sensibile agli outlier rispetto alla somma dei quadrati residui. Introdotta da Peter Jost Huber nel 1964, è comunemente usata in metodi di regressione quali ricerca di stimatori M e modelli additivi.[1]
Definizione
[modifica | modifica wikitesto]La funzione di Huber è quadratica per piccoli valori di , e lineare per valori più grandi. È definita a tratti come[2][3]
ed è continua e differenziabile nei punti di congiunzione dove .
Esistono diverse approssimazioni lisce della funzione di Huber.[4] Una variante comune, nota come pseudo-funzione di Huber, è definita come [5][6]
e approssima per valori piccoli di , e una retta con coefficiente angolare per valori grandi di .
In problemi di classificazione statistica è usata una variante nota come funzione di Huber modificata, definita come
dove è la predizione del classificatore (a valori reali) e è il valore binario della categoria di .[7]
Note
[modifica | modifica wikitesto]- ^ J. H. Friedman, Greedy Function Approximation: A Gradient Boosting Machine, in Annals of Statistics, vol. 26, n. 5, 2001, pp. 1189–1232, DOI:10.1214/aos/1013203451, JSTOR 2699986.
- ^ Peter J. Huber, Robust Estimation of a Location Parameter, in Annals of Statistics, vol. 53, n. 1, 1964, pp. 73–101, DOI:10.1214/aoms/1177703732, JSTOR 2238020.
- ^ Trevor Hastie, Robert Tibshirani e Jerome Friedman, The Elements of Statistical Learning, 2009, p. 349 (archiviato dall'url originale il 26 gennaio 2015). Rispetto a Hastie et al., la funzione perdita è scalata di un fattore pari a ½, per consistenza con la definizione precedente.
- ^ K. Lange, Convergence of Image Reconstruction Algorithms with Gibbs Smoothing, in IEEE Trans. Med. Imaging, vol. 9, n. 4, 1990, pp. 439–446, DOI:10.1109/42.61759, PMID 18222791.
- ^ P. Charbonnier, L. Blanc-Feraud, G. Aubert e M. Barlaud, Deterministic edge-preserving regularization in computed imaging, in IEEE Trans. Image Processing, vol. 6, n. 2, 1997, pp. 298–311, DOI:10.1109/83.551699.
- ^ R. Hartley e A. Zisserman, Multiple View Geometry in Computer Vision, 2ª ed., Cambridge University Press, 2003, p. 619, ISBN 978-0-521-54051-3.
- ^ Tong Zhang, Solving large scale linear prediction problems using stochastic gradient descent algorithms, ICML, 2004.