ImageNetRoulette zeigt, wie rassistisch Computer programmiert sind

Ein indisches Mädchen? Ganz klar, ein Waisenkind. Und das Bild von einem Schwarzen, der auf einer Treppe sitzt? Da müsste es sich wohl um einen Vergewaltiger handeln. Oder einen Bettler.

Auf diese und noch andere schreckliche Klischees stößt man, wenn man das neue Kunstprojekt ImageNetRoulette von Trevor Paglen und der KI-Forscherin Kate Crawford ausprobiert.

ImageNetRoulette macht transparent, was passiert, wenn eine KI versucht, Bilder zu erkennen und sie zu verschlagworten – mit haarsträubenden Ergebnissen. Auf der Website kann jeder selbst Bilder hochladen oder Fotos aus dem Netz testen. Auch Webcam-Selfies funktionieren.

Gibt man ImageNetRoulette ein Foto zur Beurteilung, dann gleicht die Software das Bild mit einem riesigen Schatz aus Bildern namens ImageNet ab. Das ImageNet, das unter anderem an der Uni Stanford entwickelt wurde, ist eine der wichtigsten Datenbanken, mit der moderne KIs trainiert werden.

Es besteht neben Bildern aus einer Liste an englischen Begriffen, die das Gesehene beschreiben sollen. Die Liste ist als WordNet bekannt – ein semantisches Netzwerk, das aus den Laboren der Princeton-Universität der 80er Jahre stammt.

Wer mit ImageNetRoulette arbeitet, stellt schnell fest, dass Bilder von dunkelhäutigen Menschen auffallend oft abwertende Bezeichnungen verpasst bekommen – "Kranker, Leidender" ist da noch freundlich.

Wie kommt's? Für Crawford und Paglans Projekt haben die Architekten hinter dem ImageNet vor gut einem Jahrzehnt Klickarbeiter und -arbeiterinnen über den Amazon-Dienst MechanicalTurk angeheuert, die den Bildern aus dem ImageNet Eigenschaften aus der Wortliste zuweisen sollten – monotone Aufgaben, für die die Freelancer in Centbeträgen bezahlt werden. Ein mehr oder weniger zufälliger Pool an Menschen hat also der KI für ImageNetRoulette beigebracht, rassistisch zu denken.

Mit ihrem Projekt machen die Forschenden deutlich, wie einfach es ist, Rassismus in KIs zu programmieren – nämlich dann, wenn man das Netzwerk mit Trainingsdaten füttert, die die Vorurteile der Programmierenden widerspiegeln.

"ImageNetRoulette ist eine Provokation, die uns helfen soll zu verstehen, wie Menschen von KIs klassifiziert werden", heißt es dazu auf der Website.

Und so werden Klischees zum Standard: Wird eine KI mit Fotos von dunkelhäutigen Menschen darauf konditioniert, diese als "rape suspect" zu deuten, wird sie auch in neuen Bildern von Schwarzen öfter mutmaßliche Vergewaltiger erkennen. Neuronale Netze entwickeln also kein Eigenleben, sie reproduzieren nur das, was sie gelernt haben – ganz ähnlich wie bei uns Menschen.

Wozu das dann führt, kann man abseits von ImageNetRoulette schon längst beobachten: Eine Google-Bildersuche nach "businesswoman" führt auf den ersten Seiten fast ausschließlich Fotos von weißen Frauen in der Ergebnisliste auf, sucht man nach "orphans", bekommt man fast ausschließlich dunkelhäutige Kinder angezeigt – und Harry Potter.

Das Projekt trifft einen Nerv: Bilderkennung wird im Alltag immer wichtiger, Computer übernehmen zunehmend Aufgaben, die mit der Auslese oder Klassifizierung von Gesichtern verknüpft sind.

Es braucht bessere und damit diverse Datensets, damit KIs für alle gleich gut funktionieren. Stockfoto-Bibliotheken, die nicht nur gängige Klischees abbilden, sind dafür schon mal ein guter Anfang.

Folge VICE auf Facebook, Instagram und Snapchat.