Facebooks neue KI-Kreation lernt zu lügen, bis sich die Balken biegen

Eine Künstliche Intelligenz mit eigener Geheimsprache, eine KI mit schwacher Impulskontrolle, eine KI, die andere KI erschafft – die rasante Entwicklung von immer klügeren Computerintelligenzen lässt einen manchmal mit Staunen zurück.

In einem Blogpost verkündet Facebook Mitte Juni, zwei Chatbots das Verhandeln um knappe Güter beigebracht zu haben – und ganz unabsichtlich auch das Lügen.

Für das Experiment zeigten die Facebook-Forscher den zwei Test-Bots eine knappe Anzahl von Gegenständen (zwei Bücher, einen Hut, drei Basketbälle), die beide Bots gerne für sich hätten. Ziel der Experiments war es, dass die beiden Computerintelligenzen die vorhandenen Güter unter sich aufteilen und einen Kompromiss finden, mit dem beide leben können.

Ab wann sie mit einem Handel leben können, wurde ihnen mathematisch vorgegeben: Die ihnen eingeschriebene "Werte-Funktion" legte ihre jeweiligen Präferenzen für die Güter fest, bestimmte also, ob Bot 1 in der Verhandlung lieber für den Hut als für die Bücher stritt. Die Agenten waren darauf programmiert, einen Kompromiss anzustreben, auch wenn es bedeutete, einen Teil der Güter an den Gegenüber abzugeben. Im Falle eines Scheiterns der Verhandlungen nach zehn Dialogfetzen hätten beide Bots null Punkte bekommen.

Die Forscher betonen, wie komplex ein Algorithmus sein muss, um einem Bot menschliches Verhandlungsgeschick beizubringen. "Verhandeln ist zugleich eine sprachliche und kognitive Herausforderung", so die Forschergruppe um Mike Lewis von Facebooks KI-Schmiede FAIR.

Damit die Bots in einer solchen Situation bestehen können, müssen sie in der Lage sein, "geistige Modelle ihrer Gesprächspartner" nachzubauen und die Richtung „vorausdenken", die ein Gespräch nehmen kann. Facebook trainierte seine Bots so, dass sie die mögliche Entwicklung einer Unterhaltung bis zum Ende durchspielten und anhand dieser Simulation die Äußerung mit der höchstmöglichen Gewinnerwartung wählten.

Laut den Facebook-Wissenschaftlern zeigt das Experiment vor allem drei Dinge:

Die Bots verhandeln bis zum Sieg: Da die Agenten darauf programmiert sind, so lange zu schachern, bis ein Deal zustande kommt, können sie die Gespräche in die Länge ziehen und entsprechend härter verhandeln. Für deine künftigen Unterhaltungen mit einer Facebook-KI könnte das heißen: Der Bot hat den längeren Atem.

Bildung neuer Sätze: Obwohl neuronale Modelle dazu neigen, die ihnen beigebrachten Sätze zu wiederholen, stellten die Händler-Bots ihre Fähigkeit unter Beweis, neue Sätze zu bilden, die nicht in ihren Ausgangsdaten vorhanden waren.

Lug und Betrug: Das wohl spannendste Resultat des Experiments: Die Bots lügen und betrügen. Es kam vor, dass ein Bot Interesse für den Hut signalisierte, obwohl er lieber das Buch wollte, nur um seinem Verhandlungsgegner einen Kompromiss abzuringen, indem er sich am Ende "netterweise bereit erklärte", auf den Hut zu verzichten. Kommt einem bekannt vor? Facebook nennt es ein "intelligentes Manöver". Das Verrückte: Niemand hat den Bots gesagt, sie sollen lügen. Sie waren noch nicht einmal darauf programmiert. "Das Verhalten wurde von den Bots als eine Methode entdeckt, ihre Ziele zu erreichen", schreiben die verblüfften Facebook-Forscher in ihrem Paper.

Wie die Bots letztlich das Lügen lernten, können sich die Forscher selbst nicht erklären. "Täuschung ist eine komplexe Fähigkeit, die Schlussfolgerungen über die Gedanken des Gegenübers voraussetzt", so die Wissenschaftler. Menschen lernten diese Fähigkeit erst in der späten Kindheit.

Ganz nebenbei haben die Bots auch noch eine eigene Gaga-Sprache entwickelt, die wir Menschen zwar lesen, aber kaum verstehen können. Da die Vorgabe war, im Verhandeln besser zu werden, durften die Bots von den ihnen antrainierten Sprachmustern abweichen und sich "frei" unterhalten – so frei man sich eben als Bot unterhalten kann. Das sieht das zum Beispiel so aus:

Bob: i can i i everything else . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i everything else . . . . . . . . . . . . . .

Alice: balls have a ball to me to me to me to me to me to me to me

Bob: i i can i i i everything else . . . . . . . . . . . . . .

Alice: balls have a ball to me to me to me to me to me to me to me

Bob: i . . . . . . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to

Bob: you i i i i i everything else . . . . . . . . . . . . . .

Alice: balls have 0 to me to me to me to me to me to me to me to me to

Bob: you i i i everything else . . . . . . . . . . . . . .

Alice: balls have zero to me to me to me to me to me to me to me to me to

Die Forscher jedenfalls sind stolz auf ihr Experiment, schreiben sie in ihrem Fazit. Ihre Arbeit sei ein "wichtiger Schritt" für die Entwicklung von Chatbots, die argumentieren, eine Unterhaltung führen und verhandeln können – alles "Schlüsseleigenschaften" des persönlichen Digital-Assistenten der Zukunft, dessen Nutzen im Paper leider nicht weiter erklärt wird.

Ob Lügen und Betrügen auch zu den Schlüsseleigenschaften des künftigen Helfer-Bots gehören soll, erwähnen die Facebook-Forscher in ihrem Fazit nicht.