Per gli scienziati capire le IA è sempre più difficile

Qual è il tuo gusto di gelato preferito? Potresti rispondere pistacchio o cioccolato, ma se ti chiedo perché, risponderai un generico perché è buono. Ma perché è buono e perché allora vuoi provare anche altri gusti di tanto in tanto? Ci interroghiamo di rado sulle decisioni banali della vita, ma se lo facessimo ci accorgeremmo che non sempre riusciamo a inquadrare precisamente la ragione dietro certe preferenze, emozioni e desideri.

L’intelligenza artificiale ha un problema simile: le persone che sviluppano IA fanno sempre più fatica a spiegare come funziona e a determinare perché generi i risultati che genera. Le reti neurali profonde (o DNN, dall’inglese deep neural networks) sono composte da strati e strati di sistemi di calcolo allenati su dati creati dall’uomo per imitare le reti neurali del nostro cervello. Spesso, però, sembrano imitare non solo l’intelligenza umana, ma anche la sua inesplicabilità.

La maggior parte dei sistemi di IA sono modelli a scatola nera (o “black box”), cioè sistemi visti solo in termini di input e output. Gli scienziati non cercano di decifrare i processi opachi che il sistema compie (cioè la “scatola nera”), fintantoché ottengono i risultati che cercano. Per esempio, se fornisco a un modello di IA a scatola nera i dati di ogni singolo gusto di gelato, e i dati demografici su stato economico, sociale e stile di vita relativi a milioni di persone, la IA potrebbe indovinare il tuo gusto di gelato preferito o dove si trova la tua gelateria preferita, anche se non era stata programmata per farlo.

Questo tipo di sistema è noto per i problemi dati dall’allenare una IA su dati intrinsecamente parziali, che la portano a imitare i pregiudizi razziali e di genere che esistono nella nostra società. Il loro impiego porta a situazioni in cui, per fare un esempio, la più alta incidenza di errore nelle tecnologie di riconoscimento facciale colpisce le persone nere. In parte, è complicato aggiustare questi sistemi perché chi li sviluppa non sa spiegare del tutto il loro funzionamento, e questo rende difficile attribuire le responsabilità.

Con l’aumentare della complessità dei sistemi di IA (e della difficoltà di comprensione degli stessi da parte degli esseri umani), le persone esperte di IA stanno chiedendo a chi le sviluppa di fare un passo indietro e concentrarsi su come e perché un sistema produca determinati risultati, più che sul fatto che il sistema sia in grado di farlo e con quale rapidità.

“Se tutto ciò che abbiamo è una ‘scatola nera’, è impossibile comprendere le cause di un errore e migliorare la sicurezza del sistema,” scrive Roman V. Yampolskiy, professore di informatica all’Università di Louisville, in un paper intitolato “Unexplainability and Incomprehensibility of Artificial Intelligence.” “In aggiunta, se accettiamo risposte da un’IA senza spiegazioni, trattandola come un oracolo, non riusciremo più a capire se le risposte che offre sono sbagliate o manipolatorie.”

I modelli a scatola nera sono molto potenti, una scusa spesso ripetuta da scienziati e aziende quando si sacrifica la comprensibilità per l’accuratezza dei risultati. I sistemi di IA sono usati su veicoli autonomi, chatbot per servizi clienti e per diagnosticare malattie, e hanno il potere di compiere certe attività meglio degli esseri umani. Per esempio, una macchina che è in grado di ricordare mille miliardi di componenti—come numeri, lettere e parole—rispetto a un essere umano che di media ricorda sette informazioni nella memoria a breve termine, è di certo in grado di elaborare e calcolare informazioni in modo molto più rapido ed efficace di un essere umano.

Tra i diversi modelli di deep learning si contano le GAN (o generative adversarial network), che sono spesso usate per allenare modelli di IA generativi, come il generatore testo-immagine MidJourney AI. Le GAN essenzialmente mettono modelli di IA uno contro l’altro per compiere un’azione precisa: il modello “vincitore” di ogni interazione è poi messo contro un altro modello, permettendo al sistema di iterare se stesso finché non diventa davvero bravo a svolgere quel certo compito. Il problema è che tutto questo crea modelli che gli stessi creatori non sanno spiegare.

“Penso che, in un sacco di casi, le persone considerino questi modelli a scatola nera come la soluzione a una mancanza di risorse. Chi non vorrebbe un sistema automatico che produce gli output che vuoi dal tipo di input che hai,” spiega a Motherboard Emily M. Bender, professoressa di linguistica all’Università di Washington. “Se hai un dataset fatto di input e output, è sempre possibile allenare un sistema a scatola nera affinché produca un certo tipo di output—ma è molto molto più complicato valutare se siano corretti o meno. Inoltre, ci sono casi in cui è impossibile creare un sistema con output corretti in modo affidabile, perché gli input non contengono di partenza abbastanza informazioni.”

Quando riponiamo la nostra fiducia in un sistema solo perché ci dà le risposte che cerchiamo, stiamo tralasciando domande fondamentali: queste risposte sono affidabili, o ci dicono solo ciò che vogliamo sentirci dire? Chi trae beneficio, in ultima istanza, da questi risultati? E chi è responsabile se causano danni?

“Se dirigenti e scienziati non comprendono perché e come una IA calcoli gli output che calcola, questo crea un rischio di mercato. Una mancanza di spiegazioni limita il valore potenziale di un’IA, inibendo lo sviluppo e la fiducia nei tool di IA che le aziende impiegano,” dice a Motherboard Beena Ammanath, direttrice esecutiva dell’AI Institute di Deloitte.

“Il rischio è che il sistema prenda decisioni usando valori con cui non siamo d’accordo, come pregiudizi razzisti o sessisti. Oppure, che il sistema prenda decisioni palesemente sbagliate, ma che non sia possibile intervenire perché non comprendiamo il suo ragionamento,” spiega a Motherboard Jeff Clune, professore di informatica all’Università della British Columbia.

I sistemi di IA sono già zeppi di pregiudizi e nozioni parziali, che riproducono nei loro output senza che chi li sviluppa sappia come. In uno studio fondamentale del 2018 intitolato “Gender Shades,” le ricercatrici Joy Buolamwini e Timnit Gebru hanno scoperto che alcuni sistemi di riconoscimento facciale molto usati riconoscevano in modo accurato gli uomini con la pelle più chiara, e facevano il numero più alto di errori con le donne dalla pelle più scura.

Il riconoscimento facciale, che viene usato dalla polizia e in ambiti come il mercato immobiliare, acutizza pregiudizi razziali già esistenti determinando chi ha più probabilità di ottenere una casa o essere identificato come criminale, per esempio. I sistemi di IA predittiva possono indovinare l’etnia di una persona sulla base di raggi X e tomografia computerizzata, ma gli scienziati non hanno idea del perché o del come succeda. Pazienti neri e donne hanno meno probabilità di ricevere una diagnosi accurata dai sistemi automatici che analizzano immagini mediche e non sappiamo perché. Questi sono solo alcuni esempi di come leggere i risultati generati da un’IA senza comprenderne i potenziali pregiudizi e condizionamenti crei una valanga di conseguenze sociali.

Allo stesso tempo, alcune figure esperte sostengono che passare a modelli open e interpretabili, per quanto ci permetterebbe di comprendere meglio i processi, porterebbe anche a sistemi meno efficaci.

“Ci sono molti ambiti oggi in cui i modelli basati su scatola nera sono di gran lunga migliori di quelli interpretabili,” dice Clune. “Il divario può essere così significativo che i primi diventano l’unica opzione, se consideriamo che un’applicazione sia funzionale solo se le capacità di un modello sono competitive, c’è sempre un prezzo da pagare in comprensibilità. C’è gente che lavora per colmare questo divario, ma sospetto che resterà così com’è nel prossimo futuro e potenzialmente esisterà sempre.”

Benché esista già un insieme di IA note come Explainable AI (XAI), le tecniche generali promosse sono spesso inaccurate nel comprendere la vera ampiezza dei processi e chi sviluppa IA non è incentivato a scegliere questi modelli. Il problema della spiegabilità è che, poiché i sistemi di IA sono diventati molto complessi, le spiegazioni generiche non fanno che aumentare il differenziale di potenza tra i sistemi di IA e chi li crea, e tra questi ultimi e gli utenti. In altre parole, cercare di aggiungere spiegabilità dopo che un sistema di IA è già operativo è più complicato che farlo a priori.

“Magari la risposta è abbandonare l’illusione di spiegazione e piuttosto concentrarsi su test più rigorosi rispetto all’affidabilità, ai pregiudizi e alla performance dei modelli, come facciamo con gli esseri umani,” dice Clune.

In anni recenti, c’è una spinta piccola ma concreta da parte di alcune persone nel settore per sviluppare modelli a “scatola bianca,” che sono più trasparenti e producono output più facili da spiegare (vale la pena sottolineare che la terminologia scatola bianca / scatola nera è di per sé parte di una lunga storia di termini razzisti nella scienza; molti ricercatori spingono per sostituire il termine “blacklist” con “blocklist”, per esempio). I modelli a scatola bianca, comunque, sono una branca relativamente nuova della ricerca sulle IA, che cerca di rendere questa tecnologia più comprensibile.

I ricercatori in IA dicono che dare agli utenti colpiti negativamente da un sistema un ruolo più importante nel suo processo di sviluppo è un primo passo importante per rendere questi sistemi più trasparenti e capaci di rappresentare in modo adeguato i bisogni delle persone.

“Molte delle spiegazioni che le persone considerano tali non lo sono davvero. Sono riduttive e scritte sulla base degli interessi degli sviluppatori e di ciò che loro reputano importante da spiegare, anziché su cosa serve agli utenti,” spiega a Motherboard Os Keyes, PhD al dipartimento Human Centered Design & Engineering dell’Università di Washington. “Il primo cambiamento da operare riguarda il fatto che il problema è in parte dovuto al divario enorme che c’è tra sviluppatori e utenti.”

“Una partecipazione più ampia non solo nel costruire il sistema, ma anche nel chiedersi quali siano le domande più interessanti, quali siano le cose che devono essere possibili affinché un modello sia spiegabile,” aggiunge Keyes, “farebbe una differenza enorme.”

Ammanath concorda nel dire che alcune delle pratiche migliori includono coinvolgere le persone che si interfacceranno o saranno più colpite dai sistemi automatizzati. Sulla stessa linea, dice, gli sviluppatori devono identificare come prima cosa i bisogni e le priorità delle persone che saranno più condizionate dai sistemi.

Un problema ancora più complesso è che molti sistemi di IA sono progettati secondo un concetto di universalismo—l’idea che “un sistema sia buono se funziona ovunque e per tutte le persone, sempre,” spiega Keyes. “Ma il problema è che la realtà non funziona così, diverse persone hanno bisogno di spiegazioni diverse di cose diverse. Se vogliamo davvero che la IA sia più spiegabile, dobbiamo davvero cambiare alla base il modo in cui immaginiamo e sviluppiamo IA.”

In altre parole, se costruisci un’IA spiegabile con un processo di design “taglia unica”, “finisci per avere qualcosa che ha senso solo per il gruppo di persone coinvolto nel sistema a livello pratico,” dice Keyes. “Il cambiamento interno è un insieme [molto] più ampio di processi di coinvolgimento nel decidere cosa è spiegabile per chi e cosa significa spiegabile di base.”

L’appello di Keyes per sistemi di IA più localizzati e la preoccupazione rispetto a modelli universali non è cosa nuova. In un paper del 2021 scritto da Bender e Gebru, che è stata licenziata da Google per questo, le autrici sostengono che allenare modelli di IA su big data renda difficile verificare se contengano pregiudizi. Scrivono che i big data non rappresentano le popolazioni che hanno meno accesso a internet e “sovra-rappresentano utenti giovani e provenienti da paesi sviluppati.”

“Se orientiamo la conoscenza e la IA sui big data, saremo sempre condizionati a favore di chi ha le risorse per gestire mille server e per ottenere un miliardo di immagini per allenare un’IA,” dice Keyes. “C’è qualcosa di fondamentalmente non democratico in questo, ma anche proprio di mal incentivato.”

“La domanda, prima di tutto, è: quali sono le condizioni in cui si sviluppano IA? Chi decide come sono impiegate? E con quali ragionamenti? Perché se non possiamo rispondere a queste domande, tutte le buone intenzioni del mondo vanno al diavolo,” aggiunge. “Se non partecipiamo a queste conversazioni, è un gioco a perdere. Alla fine, avrai sempre qualcosa che funziona solo per le persone che hanno potere e zittisce quelle senza.”

Eliminare qualsiasi pregiudizio dai dataset con cui alleniamo i sistemi di IA è quasi impossibile in una società in cui internet riflette pregiudizi umani continui e intrinsechi. Ma oltre a usare dataset più piccoli, di cui uno sviluppatore ha più controllo, gli esperti dicono che una soluzione è progettare tenendo in considerazione l’esistenza di pregiudizi, anziché fingere imparzialità.

“L’approccio che ritengo migliore al momento è far sì che il sistema impari ciò che vogliamo che impari,” dice Clune. “Cioè: il sistema cerca di fare cosa gli chiediamo di fare (per esempio, generare immagini di amministratori delegati) e se lo fa in un modo che non ci va bene (per esempio ci mostra solo uomini bianchi), gli diamo un feedback negativo affinché impari e ci riprovi in modo diverso. Ripetiamo questo processo finché il sistema non produce un risultato che approviamo (per esempio, tornando all’insieme di foto di amministratori delegati, finché non ci mostra tante persone diverse per genere, etnia, età, etc). Questa tecnica si chiama ‘apprendimento per rinforzo tramite feedback umano’: il sistema agisce per tentativi ed errori per allineare i suoi output ai nostri valori. È comunque ben lontano dall’essere un metodo perfetto e richiede investimenti per essere migliorato.”

Mentre questa negoziazione perdura, ci sono molti fattori da considerare prima di permettere a una IA di assumere persone per un posto di lavoro o decidere a chi concedere prestiti e mutui.

“È fondamentale ricordarsi che ciò che chiamiamo ‘IA’ non è un’agente o un’intelligenza autonoma, né un’entità pensante,” dice Bender. “Le IA sono strumenti, funzionali a scopi specifici. Come con qualsiasi altro strumento, dobbiamo chiederci: Quanto bene funzionano? Quanto sono adatti al compito in questione? Per chi sono progettati? E soprattutto: Come può il loro utilizzo rafforzare o sovvertire sistemi di oppressione?”