Mensch gegen Maschine: Technologie zur Verantwortung ziehen

Fotos: Maria Gruzdeva

Aus der Technologieausgabe.

Cathy O'Neil ist Autorin von 'Weapons of Math Destruction, ehemalige quantitative Analystin an der Wall Street und Gründerin von ORCAA, einer Firma für algorithmische Betriebsprüfung.

Gegen Ende 2013 begann die öffentliche Erwerbslosenversicherung des US-Bundesstaats Michigan, mit einem Künstliche-Intelligenz-System namens MIDAS (Michigan Integrated Data Automated System) zu arbeiten. Es konnte Versicherungsansprüche automatisch verifizieren und prüfen – und war im Laufe der folgenden zwei Jahre verantwortlich für 22.427 Anzeigen wegen Betrugs.

Es gab allerdings ein Problem. Eine neue Prüfung von MIDAS hat ergeben, dass das System sich in geschlagenen 93 Prozent der Fälle geirrt hatte, sodass mehr als 20.000 Menschen zu Unrecht beschuldigt worden waren. Diesen Menschen waren Bußgelder von bis zu 100.000 Dollar sowie Gehaltspfändungen auferlegt worden, obwohl einige von ihnen nie Arbeitslosengelder erhalten hatten. Viele Betroffene wussten auch aufgrund der Undurchsichtigkeit von MIDAS nicht, wie sie Widerspruch einlegen konnten, und es kam in vielen Fällen zu Insolvenz.

Bisher hat der Bundesstaat weniger als 3.000 Personen 5,4 Millionen Dollar erstattet, während der Rücklagenfonds der Arbeitslosenbehörde seit 2011 von 3,1 Millionen Dollar auf 155 Millionen angeschwollen ist – MIDAS hat in der Tat ein goldenes Händchen. Ein Teil dieser Gelder ist für den Ausgleich des Etats von Michigan vorgesehen.

War MIDAS also ein Fehlschlag? Oder besser: Für wen war MIDAS ein Fehlschlag? Offensichtlich für die zu Unrecht Beschuldigten. Doch aus der Sicht der Erwerbslosenversicherungsbehörde ließe das System sich auch als Erfolg deuten – wenn auch als ein machiavellistischer.

Doch nun zu der großen Frage, wie wir die Technologie besser für uns nutzen können. Die Antwort hängt, ganz wie im obigen Beispiel, davon ab, wer wir sind. In Wahrheit arbeitet die Technologie nämlich bereits heute ausgezeichnet – für ihre Eigentümer. Facebook mag unseren Realitätssinn verzerren und eine schlecht informierte Gesellschaft der extremen Meinungen fördern, indem es uns mit automatisch ausgewählten Feeds und Trend-Themen füttert, doch das Unternehmen macht damit Rekordumsätze. Der kleine Kreis der Facebook-Gründer bzw. -Anteilseigner würde vermutlich behaupten, dass die Technologie ganz wunderbar funktioniert.

Doch wenn wir für die breite Masse stehen und uns für eine wohlinformierte Öffentlichkeit einsetzen, dann sieht die Sache ganz anders aus. Wir heißen schon zu lange bedenkenlos neue Technologien willkommen, ohne uns einen Plan B zu überlegen. Weil wir Mathematik achten und zugleich fürchten, heben wir Big Data und Algorithmen für maschinelles Lernen auf ein Podest. Wir erwarten, dass Algorithmen und automatische Systeme zwangsläufig gerecht und neutral sind, weil sie mathematisch so ausgeklügelt sind. Dank dieses blinden Vertrauens haben wir inzwischen mehr Angst vor voreingenommenen Menschen, die bei Facebook Entscheidungen treffen, als vor den gierigen Facebook-Algorithmen, die unsere Demokratie abtragen könnten.

Es ist Zeit, dass wir die Technologie der breiten Masse gegenüber zur Verantwortung ziehen. Dabei stehen uns echte Hindernisse im Weg. Die Undurchschaubarkeit und das Fehlen eines Beschwerdekanals wiegen uns in der Illusion, Automation sei unvermeidbar. Facebook und Google haben keine Kundenhotlines, genau wie es in Michigan keine Möglichkeit gab, Widerspruch gegen die MIDAS-Vorwürfe einzulegen. Außerdem sind die Schäden oft schwer erkenn- oder messbar – ganz im Gegensatz zu den offensichtlichen Profiten. Trotzdem haben wir genug Beispiele dafür, dass geheime, mächtige technologische Systeme, die niemandem Rechenschaft schulden, schädlich sind.

Doch es gibt auch gute Nachrichten. Es geht hier um Entwicklungsentscheidungen, nicht um Unausweichlichkeiten. MIDAS könnte man zum Beispiel auch so programmieren, dass es eine Falschanschuldigung als ebenso gravierend einstuft wie einen nicht erkannten Betrug. Damit würde das System vorsichtiger, auch wenn es dann geringere Bußgelder einbrächte.

Soziale Netzwerke ließen sich so gestalten, dass sie statt Trolling höfliche Diskussionen fördern und uns alternative Sichtweisen präsentieren, statt nur bestehende Meinungen zu bestätigen.

Lasst uns die Technologie für unsere Zwecke nutzen, indem wir die Öffentlichkeit zu einer Interessengruppe erklären, deren Bedürfnisse berücksichtigt werden müssen. Wir könnten mal für zehn Jahre aufhören, an Gesichtserkennung, maßgeschneiderter Online-Werbung, automatischen Date-Matches und all den anderen gruseligen Arten der Predictive Analytics zu feilen, und uns stattdessen überlegen, welche moralischen Werte wir unserer KI mitgeben wollen. Die Welt kann davon nur profitieren.

Folge VICE auf Facebook, Instagram und Snapchat.