AI-kunst wordt mogelijk gemaakt door wraakporno en IS-executies

Kunstmatige intelligentie (AI) maakt op het moment een rappe ontwikkeling door, maar echt snappen hoe de databanken áchter het verschijnsel werken, doen we nog niet. Hetzelfde geldt voor het gebrek aan verantwoording, als je kijkt naar de aanstootgevende beelden die worden gebruikt voor zogeheten artificial intelligence-kunst. 

Een aantal van de AI-tools dat de afgelopen maanden viraal ging, wordt gedeeltelijk gedreven door een paar van de meest afschuwelijke beelden die ooit op het internet zijn verschenen. Denk aan foto’s waarop te zien is hoe IS mensen executeert, gephotoshopte naaktfoto’s van beroemdheden en echte naaktfoto’s verkregen tijdens ‘The Fappening’ - de megahack waarbij meerdere beroemdheden werden gehackt in 2014. 

AI-tools die werken volgens het tekst-naar-beeld principe zoals DALL-E 2, Midjourney en Stable Diffusion zijn sinds een paar maanden flink populair geworden bij het grote publiek en maken het voor iedereen mogelijk om binnen een paar seconden origineel beeld te creëren. Deze tools (en ook andere minder populaire varianten) werken op basis van trainingsdata, in de vorm van gigantische datasets vol met van het web geplukte beelden. Zo’n dataset is doorgaans onmogelijk om doorheen te komen als normaal persoon, omdat ze honderden miljoenen beelden bevatten - soms zelfs miljarden - en er gewoon geen makkelijke manier is om dit overzichtelijk door te spitten. 

Sinds kort is er echter een website genaamd Have I Been Trained waarmee men de LAION-5B open source dataset, die bestaat uit 5,8 miljard internetafbeeldingen, kan doorzoeken. LAION-5B en LAION 400M (die op zijn beurt weer 400 miljoen beelden bevat) worden niet door de populaire tools DALL-E 2 of Midjourney gebruikt, maar wel door andere tekst-naar-beeld-aanbieders zoals Stable Diffusion en Google’s nog voor het grote publiek te lanceren Imagen. 

Have I Been Trained is ontwikkeld door kunstenaar en muzikant Holly Herndon om andere artiesten te helpen achterhalen of hun werk in de datasets zitten waar deze AI-modellen mee getraind worden, zodat ze bijvoorbeeld kunnen eisen dat deze afbeeldingen verwijderd worden. Deze datasets bevatten vaak kunst gemaakt door artiesten die op geen enkele manier gecompenseerd of gecrediteerd zijn voor hun werk. Kunstenaars zijn bezorgd en vrezen dat zij en hun werk vervangen zullen worden door deze AI-tools, die worden gedreven door foto’s en kunstwerken die zonder enig medeweten worden aangeleverd door een grote groep mensen. 

Na geconfronteerd te zijn met specifieke afbeeldingen van IS-executies en niet-consensuele pornografie, zei Stability AI niet te kunnen zeggen of Stable Diffusion wel of niet getraind is met deze afbeeldingen. 

Have I Been Trained maakt het mogelijk om de LAION-5B dataset door te spitten met behulp van een methode genaamd clip-retrieval, ook wel: beeld terugwinnen. Ondanks het feit dat LAION z’n eigen zoekfunctie heeft, meldt een woordvoerder van Spawning, de organisatie achter Have I Been Trained, aan Motherboard dat de website zich focust op het faciliteren van de mogelijkheid voor mensen om ‘zich in of uit te schrijven bij de dataset voor toekomstige modeltraining’. 

Om uit te vogelen of hun kunst inderdaad in de LAION dataset is opgenomen, hoeft een artiest alleen hun naam of de titel van een kunstwerk in te typen. Motherboard besloot om dezelfde zoekfunctie te gebruiken om termen als ‘IS executie’ en namen van beroemdheden in te tikken - en stuitte onmiddellijk op foto’s van extreem geweld en onvrijwillig verspreidde pornobeelden.

Op het LAION Discord-kanaal wordt het aantal NSFW- en gewelddadige beelden ook opgemerkt en besproken door gebruikers. Ook wordt er door hen gediscussieerd over een eventuele ‘gewelddetector’ in de database. Gebruikers in de LAION-discord hebben daarnaast hun bezorgdheid geuit over potentieel aanwezige kinderporno binnen de dataset en in ieder geval geprobeerd om ‘illegale’ content te verwijderen. Volgens een Discord-gebruiker die aan het project werkt ging het hier om ‘content die werd gemarkeerd als iets dat zowel kinderen als ‘iets onveiligs’ bevatte en werd dit volledig uitgefilterd tijdens het verzamelen’. 

Een andere gebruiker stelde de vraag: ‘is het mogelijk dat er nog steeds kinderporno in de dataset zit?’

‘Dat is mogelijk’ reageerde een andere medewerker van het project. ‘Vooralsnog is er niets van die strekking gemeld en heb ik ook niks gevonden toen ik kinderporno probeerde op te sporen in LAION.’ 

Het bestaan van Have I Been Trained bevestigt en belicht de vele problemen met grote datasets die de drijvende kracht vormen achter verschillende AI-projecten. Er zijn problemen met auteursrecht, privacy, vooroordelen, illegaliteit, diefstal en content die zonder consent is gemaakt en verspreid. De afbeeldingen binnen de datasets roepen vragen op over wat dit betekent voor mensen wanneer hun beeld niet alleen zonder hun medeweten wordt gebruikt maar ook nog eens wordt getransformeerd in de vorm van AI-gegenereerde afbeeldingen. 

AI ontwikkelt zich in rap tempo maar we hebben nog altijd geen idee hoe de datasets waar ze zich op baseren echt werken, laat staan hoe om te gaan met het gebrek aan verantwoording voor eventuele aanstootgevende beelden die ze gebruiken. 

Google, die gebruik maakt van de LAION-400M dataset om z’n Imagen beeldgenererende AI-tool te trainen, liet aan Motherboard weten dat het bedrijf met meerdere systemen werkt om het gebruik van gewelddadige of kwetsende beelden te minimaliseren - van volledige uitsluiting is dus geen sprake. 

"We hebben onze systemen zo ontworpen dat ze automatisch woorden of woordgroepen opsporen en filteren die in strijd zijn met ons beleid. Dit verbiedt gebruikers bewust seksueel expliciete, haatdragende of beledigende, gewelddadige, gevaarlijke of illegale inhoud te genereren of persoonlijke informatie vrij te geven," aldus een Google-woordvoerder tegen Motherboard in een e-mail. 

‘’Bovendien vertrouwt Imagen op twee soorten filters: veiligheidsfilters voor termen die door gebruikers worden ingevoerd, en ultramoderne machine vision-modellen om onveilige afbeeldingen te identificeren nadat ze zijn gegenereerd. We elimineren daarnaast risico's van het blootstellen van persoonlijk identificeerbare informatie, door afbeeldingen met identificeerbare menselijke gezichten te vermijden." 

Stable Diffusion, ontwikkeld door Stability AI en getraind met de LAION-5B dataset (waarover Motherboard eerder al meldde dat er porno door gegenereerd wordt) vertelde Motherboard dat ze verschillende acties hebben ondernomen om potentiële schade zoveel mogelijk te minimaliseren. 

"Stable Diffusion doet meer dan schaamteloos kopiëren, maar maakt in plaats daarvan geheel nieuw eigen afbeeldingen, net zoals iemand leert zijn eigen beeld te schilderen na vele jaren studeren", vertelde een woordvoerder van Stability AI aan Motherboard. “Het Stable Diffusion-model, gemaakt door de Universiteit van Heidelberg, is niet getraind met de volledige LAION-dataset. Het is gemaakt op basis van een subset van afbeeldingen uit de LAION-database die vooraf door onze systemen zijn geclassificeerd om extreme inhoud uit de training te filteren. Naast het verwijderen van extreme inhoud uit de trainingsset, heeft ons team het model getraind op een synthetische dataset om mogelijke schadelijke content verder in te perken.” 

Na geconfronteerd te zijn met specifieke afbeeldingen van IS-executies en niet-consensuele pornografie, zegt Stability AI niet te kunnen zeggen of Stable Diffusion wel of niet getraind is met deze afbeeldingen. 

"Het [Heidelberg] Lab heeft meerdere stappen ondernomen om de modellen te trainen en wij hadden daar geen zicht op, of inbreng - dus we kunnen niet bevestigen of ontkennen welke afbeeldingen door elk filter zijn gekomen. Die beslissingen zijn genomen door het Lab, niet door Stability AI zelf”, aldus de woordvoerder. "Van de LAION-dataset (die ook niet van Stability AI is), begrijpen we dat de dataset-pointers zijn gelabeld voor naaktfoto’s en afbeeldingen van geweld en we geloven dat deze ook deel uitmaakten van het filterproces." 

Christoph Schuhmann, bestuurder van de groep die de LAION-dataset ontwikkelt, zei dat de groep veiligheid en privacy hoog in het vaandel heeft staan, en dat, hoewel de dataset beschikbaar is voor iedereen, deze specifiek is ontworpen voor de "onderzoeksgemeenschap" in plaats van het algemene publiek.

"Allereerst is het belangrijk om te weten dat LAION geen afbeeldingen aanlevert, maar slechts verwijst naar afbeeldingen die al beschikbaar zijn op het openbare internet, op voor iedereen toegankelijke websites", vertelde Schuhmann in een e-mail aan Motherboard. "Over het algemeen is onze dataset gericht op gebruikers uit de onderzoeksgemeenschap en moet deze, zoals ook vermeld in onze disclaimer, altijd op een verantwoorde en zeer doordachte manier worden gebruikt".

Schuhmann vervolgde dat LAION, om elke vorm van ongewenste inhoud te vermijden, filters heeft geïmplementeerd om niet alleen potentiële NSFW-inhoud te taggen, maar ook om afbeeldingen onmiddellijk te verwijderen die zulke inhoud zouden kunnen bevatten. 

"Omdat we echter gegevens leveren voor wetenschappelijk gebruik, is het belangrijk om te weten dat NSFW-beelden zeer waardevol zijn voor het ontwikkelen van betere detectoren voor dergelijke ongewenste inhoud en ze dus kunnen bijdragen aan AI-veiligheidsonderzoek", zei hij. "Naar onze mening moet elk model voor het genereren van afbeeldingen altijd alleen worden getraind op gefilterde subsets van onze LAION-datasets."

Volgens Schuhmann is het onmogelijk voor LAION om te zeggen dat de mensen die hun dataset hebben gebruikt ook daadwerkelijk de filters hebben gebruikt die het heeft, "maar we kunnen wel met zekerheid zeggen dat we altijd veiligheidsgericht en transparant zijn geweest over de aard van onze datasets".

LAION-5B werd in maart gelanceerd en is een uitbreiding van het oorspronkelijke LAOIN-400M. Volgens een persbericht over LAION-5B werd de nieuwe dataset "verzameld met behulp van een driefasenpijplijn". Eerst verzamelden machines gegevens van Common Crawl, een open opslagplaats voor webcrawl-gegevens van meer dan 50 miljard webpagina's, om alle HTML-beeldtags met alt-tekstattributen te verzamelen. Vervolgens werd de alt-tekst gedetecteerd. De ruwe afbeeldingen werden gedownload van de URL's en doorgestuurd naar een zogenaamd CLIP-model, een AI-model dat tekst en afbeeldingen met elkaar verbindt om de overeenkomst tussen de afbeelding en de tekst te berekenen. Dubbele afbeeldingen en paren met een lage overeenkomst werden verwijderd. Als de tekst minder dan vijf tekens bevat of de beeldresolutie te groot was, werd de afbeelding ook verwijderd.

Het LAION-team is zich bewust van de problemen met auteursrecht waar ze tegenaan kunnen gaan lopen. Volgens LAION valt alle data onder Creative Common CC-BY 4.0, een licensie die claimt dat mensen materiaal mogen delen en aanpassen zolang je de bron vermeldt, een link naar de licentie geeft en aangeeft of er wijzigingen zijn aangebracht. In de FAQ is te lezen dat LAION gewoon bestaande inhoud indexeert en na het berekenen van similariteitscores tussen foto's en teksten worden alle foto's weggegooid. In de FAQ staat ook dat als je naam in de ALT-tekstgegevens staat en de bijbehorende afbeelding niet van jou is, dit niet als persoonlijke gegevens wordt beschouwd. Er is echter wel een bezwaarformulier op de LAION-site te vinden dat je kan invullen, waarna het team de afbeelding verwijdert uit al haar archieven, mits het in strijd is met de regelgeving inzake gegevensbescherming. LAION steunt de inspanningen van het Spawning-team, dat hen voorziet van gigantische lijsten vol links naar afbeeldingen die verwijderd moeten worden.

Er wordt op de LAION-website verder niet ingegaan op de aanstootgevende en gewelddadige beelden die in de dataset voorkomen. Er is te lezen dat "links in de dataset kunnen leiden naar beelden die storend of onaangenaam zijn, afhankelijk van de gebruikte filter of zoekmethode", maar er wordt niet ingegaan op de vraag of er actie wordt ondernomen om dit te veranderen. In de FAQ is te lezen: "Wij kunnen niets doen tegen data waar we geen controle over hebben zoals bijvoorbeeld eerder uitgegeven content die via torrents circuleert." Met deze zin zou gedoeld kunnen worden op iets als de gelekte naaktfoto's van Scarlett Johansson, die al op het internet rondgaan. Hiermee onttrekken de makers van de dataset zich volledig aan enige verantwoordelijkheid. 

Het doel van Have I Been Trained is om mensen te versterken in hun strijd tegen beeldmateriaal dat ze liever verwijderd zien worden uit de datasets waar AI op draait, maar Motherboard’s inspanningen laten zien dat het vooral moeilijk is om iemand te vinden die zich verantwoordelijk genoeg voelt om deze beelden überhaupt van het internet te verwijderen. Toen Google en Stability AI om een reactie werden gevraagd, werden we door beiden naar de onderhoudsmensen achter de LAION dataset doorgestuurd. LAION stuurde ons op hun beurt weer door naar Common Crawl. Iedereen waar we contact mee hadden, gaf aan dat er methodes zijn om aanstootgevende content uit datasets te filteren en allemaal gaven ze aan dat deze methodes imperfect zijn.

Dit alles wijst op een overduidelijk probleem: AI is bizar snel aan het ontwikkelen, wij hebben nog steeds geen goed idee hoe de datasets die erachter zitten exact werken, en enige verantwoordelijkheid voor eventuele aanstootgevende beelden binnen die datasets is ook ver te zoeken.

Motherboard heeft uitgebreid geschreven over het onvermogen van internetplatforms om een stokje te steken voor de verspreiding van niet-consensuele pornografie en hoe nieuwe vormen van machine learning een nieuwe vorm van misbruik introduceren, vooral gericht op vrouwen en gemarginaliseerde minderheden. Het gebruiken van beeld-tekst combinatie’s die uitbuiting en vooroordelen in stand houden, en het gebruik van beelden zonder expliciete toestemming, vormt een schadelijke basis voor AI-kunstplatforms.

Google's Imagen heeft deze tekortkomingen erkend en noemt dit als reden waarom het programma nog niet door iedereen gebruikt kan worden: "Hoewel een subset van onze trainingsgegevens werd gefilterd op ruis en ongewenste inhoud, zoals pornografische beelden en giftig taalgebruik, gebruikten we ook de LAION-400M dataset waarvan bekend is dat deze een breed scala aan ongepaste inhoud bevat, waaronder pornografische beelden, racistische uitspraken en schadelijke sociale stereotypen. Imagen draait op tekstcoders die zijn getraind op niet-gecureerde gegevens op webschaal, en erft dus de sociale vooroordelen en beperkingen van grote taalmodellen. Hierdoor blijft het risico dat Imagen schadelijke stereotypen en vooroordelen heeft gecodeerd bestaan, daarom hebben wij besloten Imagen niet vrij te geven voor publiek gebruik zonder verdere voorzorgsmaatregelen.”

Stable Diffusion erkent ook de potentiële schade van de resultaten: "Ondanks dat het heel indrukwekkend is om tekst in beeld om te zetten, moet men oppassen voor het feit dat dit model inhoud kan produceren die maatschappelijke vooroordelen versterkt of verergert, evenals realistische gezichten, pornografie en geweld."

Jason Koebler droeg bij aan de verslaggeving.

Dit artikel verscheen oorspronkelijk op VICE Motherboard
Volg VICE België en VICE Nederland ook op Instagram.