Utente:Recursing/Allineamento dell'intelligenza artificiale

La ricerca sull'allineamento dell'intelligenza artificiale mira a indirizzare i sistemi di intelligenza artificiale (IA) verso gli obiettivi e gli interessi dei loro sviluppatori.^[1]

Un sistema di intelligenza artificiale allineato porta avanti gli obiettivi previsti dai suoi creatori; un sistema di intelligenza artificiale disallineato è competente nel portare avanti qualche obiettivo, ma non quelli previsti.^[2] La distinzione tra IA disallineata e IA incompetente è stata formalizzata in determinati contesti.^[3]

L'allineamento di sistemi di intelligenza artificiale può essere difficile. I sistemi non allineati possono funzionare male o causare danni. Per i progettisti di IA può essere difficile specificare l'intera gamma di comportamenti desiderati e indesiderati. Se quindi si utilizzano obiettivi più facili da specificare che omettono alcuni vincoli desiderati, i sistemi di IA possono sfruttare le limitazioni che ne derivano. Di conseguenza, tali sistemi raggiungono i loro obiettivi in modo efficiente, ma in modi non voluti e talvolta dannosi ("reward hacking"). ^{[2] [4] [5] [6]}

I sistemi di intelligenza artificiale possono anche sviluppare comportamenti indesiderati, come accumulare risorse, poiché sono strumentali nel raggiungere i loro obiettivi. ^{[2] [7] [5] [4]} Inoltre, possono sviluppare obiettivi emergenti che possono essere difficili da individuare prima che il sistema venga impiegato, quando si trova ad affrontare nuove situazioni e distribuzioni di dati. ^{[5] [3]}

Questi problemi interessano i sistemi commerciali esistenti come robot, ^[8] modelli linguistici, ^{[9] [10] [11]} veicoli autonomi, ^[12] e sistemi di raccomandazione dei contenuti sui social media. ^{[9] [4] [13]} Sistemi futuri più potenti potrebbero essere più soggetti a questi problemi, siccome derivano in parte dall'elevata capacità dei sistemi. ^{[6] [2]}

La comunità di ricerca sull'IA e le Nazioni Unite hanno chiesto ricerca tecnica e soluzioni politiche per garantire che i sistemi di intelligenza artificiale siano allineati con i valori umani. Il rapporto del Segretario Generale delle Nazioni Unite “Our Common Agenda“, ^[14] rileva che “potrebbe anche promuovere la regolamentazione dell'intelligenza artificiale per garantire che sia in linea con i valori globali condivisi" e discute i rischi catastrofici globali derivanti dagli sviluppi tecnologici.

L'allineamento dell'IA è un sottocampo della sicurezza dell'IA, lo studio di come costruire sistemi di intelligenza artificiale sicuri. ^[15] Gli obiettivi di questo campo di ricerca includono l'instillazione di valori complessi nell'IA, lo sviluppo di un'IA onesta, una supervisione scalabile, l'interpretazione dei modelli di intelligenza artificiale e la prevenzione di comportamenti emergenti dell'IA come la ricerca del potere. ^{[5] [16]} La ricerca sull'allineamento ha collegamenti con la ricerca sull'interpretabilità, ^{[17] [18]} robustezza, ^{[5] [15]} rilevamento di anomalie, ^[17] verifica formale, ^[19] apprendimento delle preferenze, ^{[20] [21] [22]} sicurezza - ingegneria critica, ^[5] teoria dei giochi, ^{[23] [24]} equità algoritmica, ^{[15] [25]} e scienze sociali, ^[26] tra gli altri.

Nel 1960, il pioniere dell'IA Norbert Wiener ha descritto il problema dell'allineamento in questo modo: "Se utilizziamo, per raggiungere i nostri scopi, un agente meccanico (mi convince poco. originale mechanical agency) con il cui funzionamento non possiamo interferire efficacemente... è meglio essere sicuri che lo scopo inserito nella macchina sia quello che desideriamo veramente". L'allineamento dell'IA è un problema aperto per i moderni sistemi di IA e un campo di ricerca.

[[Categoria:Neuroscienze computazionali]] [[Categoria:Intelligenza artificiale]]