Premio Loebner
Il Premio Loebner è una competizione annuale d'intelligenza artificiale svolta nell'Università di Reading. Viene premiato il chat bot in grado di ottenere il punteggio migliore in uno scenario da test di Turing. La giuria distingue le risposte del programma dall’essere umano. Nel 2008 molti giudici (inclusi non esperti, adulti, bambini e oratori) parteciparono all'evento.
La prima edizione fu organizzata nel 1991 da Hugh Loebner, in collaborazione con il Cambridge Center for Behavioral Studies. Negli anni successivi la competizione si svolse con il supporto della Flinders University, del Dartmouth College, dello Science Museum e dell'Università di Reading. Le regole della gara cambiarono nel 2019: i giudici vennero sostituiti dal pubblico e fu deciso che non si tenessero più sfide tra esseri umani e bot.
Il premio è stato oggetto di critiche, una su tutte quella dell'informatico Marvin Minsky, che definisce la competizione "una bravata pubblicitaria".
Premi
[modifica | modifica wikitesto]Nel 1991, i vincitori ottenerono un premio di 2.000 $. Successivamente, la cifra aumentò a 3000$ nel 2005, calò a 2.250$ nel 2006 e risalì a 3.000$ nel 2008. Ci sono inoltre due premi a una tantum: il primo, di 25.000$, è designato per il primo programma che non permetta al pubblico di distinguere un bot da un essere umano, durante una conversazione a sola base testuale; il secondo, del valore di 100.000$, è assegnato al computer che raggiunga i requisiti del premio precedente e che riesca ad elaborare audio e video. Qualora i premi venissero vinti, la gara si conclude.
Regole di competizione e restrizioni
[modifica | modifica wikitesto]Nelle prime competizioni i metri di valutazione della conversazione sono pochi. Dal 2007 viene stabilito uno schema di base per la composizione del discorso, al fine di valutare al meglio il livello del bot. I giudici osservano la durata e l'argomento della discussione. Lo schema si suddivide in: Conoscenza generale ("Cosa è un martello?"), paragoni ("Cosa è più veloce, un treno o un aereo?") e domande che utilizzano la memoria per analizzare parti precedenti della stessa conversazione. Il lessico e i verbi devono essere presi da un dizionario per ragazzi con un'età uguale o minore ai 12 anni.
Nel 2008 lo sponsor decide di aggiungere una fase preliminare all'apertura della competizione, dando la possibilità d'iscriversi attraverso il web. Coloro che giudicano i programmi hanno 5 minuti per raccogliere le domande e altri 5 minuti per condurre conversazioni simultanee.
Edizioni
[modifica | modifica wikitesto]2006
[modifica | modifica wikitesto]Nel 2006, la gara viene organizzata da Tim Child (CEO di Televirtual) e dalla ricercatrice Huma Shah. Il 30 agosto dello stesso anno vengono annunciati i 4 finalisti:
- Rollo Carpenter;
- Richard Churchill e Marie-Claire Jenkins;
- Noah Duncan;
- Robert Medeksza.
La finale si svolge il 17 settembre nel teatro di VR, Torrington Place dell'Università di Londra. Tra i giudici, sono presenti: il professore di Cibernetica dell'Università di Reading, Kevin Warwick; un professore d'intelligenza artificiale, John Barnden; una specialista in ricerca della metafora all'Università di Birmingham, l’avvocato Victoria Butler-Cole e il giornalista Graham Duncan-Rowe. La seconda parte dell'evento viene descritta in un articolo del Technology Review. Il vincitore è 'Joan', programmato su Jabberwacky, un sistema creato da Rollo Carpenter.
2007
[modifica | modifica wikitesto]La finale del 2007 si svolge il 21 ottobre a New York. I giudici sono: il professore d'informatica Russ Abbott, il professore di filosofia Hartry Field, il professore di Psicologia Clayton Curtis e l'organizzatore di conferenze Scott Hutchins.
Nessun bot supera il test di Turing, ma i giudici classificano ugualmente i 3 finalisti:
- 1º posto: Robert Medeksza da Zabaware, creatore di Ultra Hal Assistant;
- 2º posto: Noah Duncan, privato, creatore di Cletus;
- 3º posto: Rollo Carpenter da Icogno, creatore di Jabberwacky.
Il vincitore riceve 2.250$ e la medaglia annuale. Gli altri classificati vincono 250$ ciascuno.
2008
[modifica | modifica wikitesto]La competizione del 2008 viene organizzata dal Professore Kevin Warwick e da Huma Shah, il 12 ottobre presso l'Università di Reading. Tra giugno e luglio 2008, 6 concorrenti vengono selezionati da tredici giudici durante la fase preliminare. Infine, i 5 bot finalisti sono:
- Peter Cole e Benji Adams, con Brother Jerome;
- Fred Roberts da Artificial Solutions, con Elbot;
- Vladimir Veselov, Eugene Demchenko e Sergey Ulasen, con Eugene Goostman;
- Rollo Carpenter, con Jabberwacky;
- Robert Medeksza, con Ultra Hal.
Durante la finale, ogni giurato ha cinque minuti per condurre simultaneamente conversazioni su uno stesso schermo con due entità ignote. Elbot vince la medaglia di bronzo, per l'avvicinamento alla psicologia umana come entità conversazionale ed artificiale. Infatti, riesce a farsi scambiare da tre dei dodici giudici (nella conversazione simultanea umano-macchina) per un essere umano. Eugene Goostman e Ultra Hal ingannano tutti i giurati.
2009
[modifica | modifica wikitesto]L'assegnazione del Premio Loebner 2009 si svolge il 6 settembre 2009 al Centre di Brighton, in congiunzione con la conferenza INTERSPEECH 2009.
I finalisti sono David Levy, Rollo Carpenter, e Mohan Embar.
2010
[modifica | modifica wikitesto]La gara del 2010 avviene il 23 ottobre presso la California State University.
Vincitori
[modifica | modifica wikitesto]Anno | Vincitore | Nome del programma |
---|---|---|
1991 | Joseph Weintraub[1] | PC Therapist |
1992 | Joseph Weintraub | PC Therapist |
1993 | Joseph Weintraub | PC Therapist |
1994 | Thomas Whalen | TIPS |
1995 | Joseph Weintraub | PC Therapist |
1996 | Jason Hutchens | HeX |
1997 | David Levy | Converse |
1998 | Robby Garner | Albert One |
1999 | Robby Garner | Albert One |
2000 | Richard Wallace | Artificial Linguistic Internet Computer Entity (A.L.I.C.E.) |
2001 | Richard Wallace | Artificial Linguistic Internet Computer Entity (A.L.I.C.E.) |
2002 | Kevin Copple | Ella |
2003 | Juergen Pirner | Jabberwock |
2004 | Richard Wallace | Artificial Linguistic Internet Computer Entity (A.L.I.C.E.) |
2005 | Rollo Carpenter | George |
2006 | Rollo Carpenter | Joan |
2007 | Robert Medeksza | Ultra Hal |
2008 | Fred Roberts | Elbot |
2009 | David Levy | Do-Much-More |
2010 | Bruce Wilcox | Suzette |
Riferimenti
2.Artificial stupidity, Salon.com, 16 febbraio 2003
3.2007 rules, 2008 rules and 2009 rules
4.17th Annual Loebner Prize for Artificial Intelligence 21 October 2007 New York City
5.Loebner Prize 2006 Information
7.How To Be Human, Technology Review, 20 settembre 2006
8.Loebner prize 2006, loebner.net
10.Elbot
13.Ultra Hal
14.Machine takes on man at mass Turing Test
15.2008 Loebner Prize: myths and misconceptions
16.Winners of Previous Contests (section), Lobner Prize's official page.
Note
[modifica | modifica wikitesto]- ^ (EN) Premio Loebner, nella stagione 4 , episodio 3, su chedd-angier.com, PBS, 1993-1994 (archiviato dall'url originale il 10 aprile 2006).
Voci correlate
[modifica | modifica wikitesto]Collegamenti esterni
[modifica | modifica wikitesto]- Il sito del Premio Loebner Archiviato il 30 dicembre 2010 in Internet Archive.. Fornisce trascrizioni di alcune competizioni.