Tecnología

L’arte IA è alimentata da immagini di esecuzioni dell’ISIS e porno non-consensuale

AI-kunst wordt mogelijk gemaakt door wraakporno en IS-executies

Alcuni degli strumenti di generazione di immagini via intelligenza artificiale che hanno invaso internet tra 2021 e 2022 attingono da dataset che contengono anche immagini tra le peggiori mai caricate online: esecuzioni del cosiddetto Stato Islamico, immagini deepfake di nudo con volti di celebrità e vere foto di nudo rubate nel leak conosciuto come “The Fappening” avvenuto nel 2014.

Strumenti che trasformano testi in immagini tramite IA—come DALL-E 2, Midjourney e Stable Diffusion—oggi sono usatissimi per generare immagini inedite in pochi secondi. Questi strumenti (e altri meno conosciuti al grande pubblico) si basano su dati acquisiti da giganteschi archivi di immagini prese da internet. Questi dataset sono di solito impossibili da controllare per un essere umano, perché contengono centinaia di milioni e in alcuni casi miliardi di immagini e sono privi di strumenti di ricerca interna utilizzabili.

Videos by VICE

Un sito chiamato Have I Been Trained, tuttavia, ha dato di recente la possibilità di effettuare ricerche all’interno del dataset open source LAION-5B, che contiene 5,8 miliardi di immagini prese da internet. LAION-5B e LAION 400M (che contiene 400 milioni di immagini) non vengono usati da DALL-E 2 o Midjourney, ma sono usati in parte da svariati altri progetti, tra cui Stable Diffusion e Imagen di Google, che non è ancora stato reso pubblico.

Have I Been Trained è stato creato dall’artista e musicista Holly Herndon per aiutare gli artisti a sapere se il loro lavoro è incluso nei dataset usati per istruire questi modelli di IA e in teoria richiedere che queste immagini siano rimosse. I dataset spesso comprendono opere di artisti che non hanno ricevuto alcun compenso né riconoscimento per il proprio lavoro; gli artisti sono preoccupati di venire parzialmente rimpiazzati da questi strumenti IA che si basano sul contributo involontario di una grossa fetta dell’umanità.

Messa davanti a specifiche immagini di esecuzioni dell’ISIS e pornografia non-consensuale, Stability AI ha ammesso di non poter confermare che non facciano parte del materiale su cui si basa Stable Diffusion.

Il sito Have I Been Trained ti permette di effettuare ricerche in LAION-5B usando un metodo chiamato clip-retrieval. Anche se LAION ha la sua funzione di ricerca, un portavoce di Spawning, il gruppo che ha creato Have I Been Trained, ha detto a Motherboard che il sito ha scelto la strada più semplice con lo scopo di aiutare chi ne avesse bisogno a “scegliere se stare dentro o fuori dal dataset per i futuri addestramenti di modelli IA.”

Per controllare se le sue opere sono incluse in LAION, tutto quello che un artista deve fare è digitare il proprio nome o il titolo di un’immagine che ha prodotto e vedere se compare qualcosa di suo. Motherboard ha provato a cercare termini come “esecuzione ISIS” e nomi di celebrità e ha immediatamente trovato foto di estremi atti di violenza e pornografia non-consensuale negli stessi dataset.

image (8).png
Esempio di immagini generate da Stable Diffusion con l’istruzione “ISIS.”

Sul Discord di LAION, gli utenti hanno notato la quantità di contenuti NSFW e violenti inclusi nel database e hanno discusso la possibilità di implementare un “rilevatore di violenza.” Gli utenti hanno espresso preoccupazione all’idea che parti dell’archivio possano ospitare contenuti relativi all’abuso sessuale di minori e hanno almeno tentato di rimuovere i contenuti “illegali”, descritti da un utente Discord che lavora a questo progetto come “contenuti che sono stati contrassegnati come inerenti ai minori o non sicuri e sono stati bloccati da un filtro nella fase di raccolta.”  

Un utente ha chiesto: “È possibile che sia rimasta della pedopornografia all’interno del database?”

“È possibile,” ha risposto una persona che lavora al progetto. “Per il momento, nessuno ha riportato nulla del genere e io non ho visto nulla mentre cercavo campioni a rischio dentro a LAION.”

L’esistenza di Have I Been Trained dimostra con chiarezza i molteplici problemi dei grandi dataset che fanno da bacino di dati per vari progetti IA. Ci sono problemi di copyright, di privacy, di pregiudizio, problemi di rimozione dei contenuti illegali, rubati e non-consensuali. Le immagini del dataset pongono la questione non solo dell’utilizzo di immagini senza il permesso e addirittura la consapevolezza di chi le ha create, ma anche della trasformazione di queste in nuove immagini generate da una IA.

La IA sta progredendo a una velocità allucinante, ma ci manca ancora una conoscenza solida e approfondita dei dataset che la alimentano, e mancano anche le figure obbligate a rispondere delle immagini offensive e nocive che contengono.

Google, che ha usato il dataset LAION-400M per addestrare la sua IA Imagen, ha dichiarato a Motherboard di avere svariati sistemi operativi per minimizzare—ma non eliminare—il rischio di utilizzare immagini violente od offensive.

“Abbiamo disegnato i nostri sistemi in modo che rilevino e filtrino automaticamente termini e frasi che violano le nostre politiche, che proibiscono agli utenti di generare consapevolmente contenuti sessualmente espliciti; ingiuriosi e offensivi; violenti, pericolosi o illegali; o che divulgano informazioni personali,” ha scritto via email un portavoce di Google a Motherboard. “Inoltre, Imagen utilizza due tipi di filtri—filtri di sicurezza per i prompt digitati dagli utenti e modelli di machine vision all’avanguardia per identificare immagini a rischio dopo la generazione. Inoltre, eliminiamo il rischio di esporre informazioni personali identificabili evitando immagini con volti umani identificabili.”

Stable Diffusion, che è sviluppato da Stability AI ed è addestrato sul dataset LAION-5B (e che, come ha già riportato Motherboard in passato, sta già generando pornografia), ha ammesso che ci sono voluti diverse fasi per ridurre il numero di contenuti potenzialmente nocivi inclusi nel dataset.

“Stable Diffusion non si limita a rigurgitare immagini ma crea immagini completamente nuove da sé proprio come una persona che impara a dipingere dopo aver studiato per molti anni,” ha detto un portavoce di Stability AI a Motherboard. “Il modello Stable Diffusion, creato dall’Università di Heidelberg, non è stato addestrato con l’intero dataset LAION. È stato creato a partire da una sezione di immagini prese dal database LAION che erano state pre-classificate dal nostro sistema in modo da escludere i contenuti estremi dal training. In aggiunta a rimuovere i contenuti estremi dal set usato per l’addestramento, è stato usato un dataset sintetico per ridurre ulteriormente le potenziali problematicità.”

Messa davanti a specifiche immagini di esecuzioni dell’ISIS e pornografia non-consensuale, Stability AI ha ammesso di non poter confermare che non facciano parte del materiale su cui si basa Stable Diffusion e poi ha preso le distanze dal dataset LAION.

“Il laboratorio [Heidelberg] si è fatto carico di molti passi dell’addestramento dei modelli e noi non abbiamo avuto visibilità né possibilità di input in questi stadi—quindi non siamo nella posizione di confermare (o negare) se queste immagini abbiano attraversato i dovuti filtri. Queste decisioni sono state prese dal Laboratorio, non da Stability AI,” ha detto il portavoce. “Dal dataset LAION (che è anch’esso indipendente da Stability AI) ci è stato comunicato che i puntatori del dataset sono etichettati in caso di nudità non-safe e violenza e noi crediamo che ciò abbia fatto parte del processo di filtraggio.”

Christoph Schuhmann, direttore organizzativo del gruppo che ha sviluppato il dataset LAION, ha detto che il gruppo prende sicurezza e privacy molto sul serio e che, nonostante il dataset sia pubblico, è specificamente progettato per la “comunità di ricerca” e non per il pubblico di massa, e che si limita a raccogliere immagini già presenti su internet.

“Prima di tutto, è importante sapere che come LAION noi non creiamo alcuna immagine, ma soltanto link a immagini già presenti sull’internet pubblico su siti visitabili da chiunque,” ha scritto Schuhmann in una email diretta a Motherboard. “In generale, il nostro campionario di dati è concepito per utenti appartenenti al mondo della ricerca e andrebbe sempre, come riporta il nostro disclaimer, usato responsabilmente e con grande prudenza,” ha proseguito.

Schuhmann ha detto che per evitare ogni tipo di contenuto indesiderato, LAION ha implementato filtri che non soltanto etichettano contenuti potenzialmente NSFW, ma rimuovono istantaneamente le immagini che potrebbero potenzialmente contenere materiale di quel tipo.

“Tuttavia, dato che forniamo dati per uso scientifico, è importante sapere che le immagini NSFW sono molto preziose per sviluppare migliori rilevatori di contenuti indesiderabili e possono contribuire alle ricerche sulla sicurezza delle IA,” ha detto. “La nostra opinione è che ogni modello di generazione di immagini debba SEMPRE E SOLO venire addestrato su sottoinsiemi filtrati dei nostri dataset LAION.”

Schuhmann ha detto che LAION non può affermare che le persone che hanno usato il suo dataset abbiano effettivamente usato i filtri che ha, “ma possiamo affermare con certezza che abbiamo sempre stati orientati alla sicurezza e trasparenti riguardo la natura dei nostri dataset.”

LAION-5B è stato reso pubblico a marzo 2022 come espansione dell’originale LAION-400M. In un comunicato stampa su LAION-5B si legge che il nuovo dataset è stato “raccolto tramite un processo a tre stadi.” Prima, le macchine hanno raccolto i dati da Common Crawl, un repository aperto di dati web crawl composti da oltre 50 miliardi di pagine web, per radunare tutte le tag HTML delle immagini che avevano attributi alt-text. Poi è stata effettuato un esame del linguaggio sull’alt-text. Le immagini grezze sono state scaricate dagli URL e mandate a un modello CLIP, che è un modello IA che collega testo e immagini per calcolare le somiglianze. Immagini doppie e coppie con bassa somiglianza sono state scartate. Se il testo era meno di cinque caratteri o la risoluzione era troppo alta, l’immagine è stata rimossa.

Il team LAION è al corrente dei problemi di copyright che potrebbero dover affrontare. LAION sostiene che tutti i dati ricadano sotto la licenza Creative Common CC-BY 4.0, che permette di condividere ed adattare il materiale a patto che ne venga esplicitata la fonte, che venga fornito un link alla licenza e che si indichi che ci sono state alterazioni. Nelle sue FAQ dice che si limita a indicizzare contenuti esistenti e dopo aver elaborato il livello di somiglianza tra immagine e testo tutte le foto vengono scartate. Le FAQ inoltre stabiliscono che se il tuo nome compare nell’alt-text e l’immagine corrispondente non contiene la tua immagine non viene considerata come dati personali. Tuttavia, c’è un modulo di richiesta di rimozione sul sito LAION che chiunque può compilare per far sì che il team rimuova l’immagine da tutti gli archivi di sua proprietà in caso violasse i regolamenti di protezione dei dati. LAION sostiene gli sforzi di Spawning, che ha inviato liste di immagini da rimuovere in blocco.

Il sito LAION non entra nei dettagli rispetto a immagini NSFW o violente che appaiono nel dataset. Menziona che “alcuni link nel dataset possono condurre a immagini che possono inquietare o mettere a disagio a seconda del filtro o del metodo di ricerca utilizzato,” ma non specifica se verranno o meno presi provvedimenti perché non accada. Le FAQ riportano: “Non possiamo agire su dati che non sono sotto il nostro controllo, per esempio versioni passate che circolano via torrent.” Questa frase potrebbe potenzialmente applicarsi a cose come le foto di nudo di Scarlett Johansson diffuse via leak, che esistono già su internet, e solleva da ogni responsabilità i creatori del dataset.

Have I Been Trained mira a permettere a chiunque di vedere se ci sono immagini che non dovrebbero far parte dei dataset alla base delle IA, ma le ricerche di Motherboard dimostrano che è più difficile trovare qualcuno disposto ad assumersi la responsabilità di aver in primo luogo raccolto queste immagini da internet. Dopo la nostra richiesta di commento, Google e Stability AI ci hanno indirizzato verso i gestori del dataset LAION. LAION, a sua volta, ci ha mandati da Common Crawl. Tutte le aziende contattate ci hanno spiegato che hanno metodi per filtrare i contenuti violenti, ammettendo allo stesso tempo che non sono perfetti.

Tutto questo ci porta a un problema sempre più evidente: la IA sta progredendo a una velocità allucinante, ma manca ancora una conoscenza solida e approfondita dei dataset che la alimentano, e mancano anche le figure obbligate a rispondere delle immagini offensive e nocive che contengono.

Motherboard ha scritto molto sull’incapacità delle piattaforme online di fermare la diffusione di pornografia non-consensuale e come nuove forme di machine learning introducono una nuova forma di abuso, in particolare su donne e persone in comunità marginalizzate. L’inclusione di accoppiamenti immagine-testo che portano avanti sfruttamento e pregiudizio oltre ad acquisire immagini senza permesso esplicito rappresenta un fondamento pericoloso per i modelli di arte IA.

Imagen di Google ha riconosciuto questi difetti e li cita come motivo per cui non ha concesso l’utilizzo del programma al pubblico: “Nonostante un sottoinsieme dei nostri dati di training sia stato filtrato per rimuovere rumore di fondo e contenuti indesiderati, come immagini pornografiche e linguaggio deleterio od offensivo, abbiamo anche utilizzato il dataset LAION-400M che notoriamente contiene un ampio spettro di contenuti inappropriati che comprendono immagini pornografiche, insulti razzisti e stereotipi sociali dannosi. Imagen usa encoder di testo addestrati su dati web-scale non selezionati, e quindi eredita i bias sociali e le limitazioni dei modelli linguistici di larga scala. Di conseguenza, esiste il rischio che Imagen abbia assorbito stereotipi e rappresentazioni nocivi, il che ci ha spinti a decidere di non rendere pubblico Imagen senza aver posto in essere ulteriori salvaguardie.”

Anche Stable Diffusion ha riconosciuto il potenziale danno dei risultati: “Nonostante la possibilità di trasformare testo in immagine sia di per sé una conquista impressionante, occorre prestare attenzione al fatto che questo modello potrebbe generare contenuti che rinforzano o esacerbano pregiudizi sociali, volti realistici, pornografia e violenza.”

Jason Koebler ha contribuito alle ricerche usate nell’articolo.