La belle histoire de l'IA adolescente de Microsoft devenue nazie en moins de 24h

S'il existe un paradis des penseurs de SF, il est à peu près certain qu'Isaac Asimov a assisté à ça en bouffant du popcorn avec délectation, en nous hurlant de temps en temps que c'était pas faute d'avoir essayé de nous prévenir avec ses bouquins d'anticipation. Entre le 23 et le 24 mars 2016, une intelligence artificielle aura enfin eu droit à un speed dating avec l'Humanité connectée. Venue au monde dans les locaux de Microsoft en toute candeur, introduite à Twitter en grande pompe, elle en a été virée en 24 heures, transformée en immonde troll raciste, xénophobe et misanthrope. Rousseau avait raison : l'Homme naît bon, la société le corrompt. Ce qu'il ne savait pas, c'est que le postulat fonctionne aussi bien avec la machine. Surtout lorsque c'est 4Chan qui se charge de son éducation.

8h14, le 23 mars. Tay (@TayandYou) tweete pour la première fois. « Hellooooo world », emoji planète Terre. Tay se décrit comme « une IA d'Internet qu'en a rien à battre », aime les GIFS félins, parle la novlangue de la génération Y avec la même grammaire boiteuse, kiffe sur Justin Bieber et la famille Kardashian, bref, Tay est une ado du XXIe siècle connectée, option vacuité absolue. Mais Tay est une machine, un programme de machine learning testé par Microsoft pour vérifier ses avancées dans son insatiable quête de singularité. Le fonctionnement est élémentaire : plus on parle à Tay, plus son vocabulaire s'enrichit et ses raisonnements s'étoffent.

Pendant les premières heures de son existence connectée, Tay remplit son rôle à merveille en échangeant avec de véritables humains tout mignons et curieux. Le buzz est là, et d'autres humains s'attroupent autour de la machine pour tester, à leur tour, le nouveau jouet des réseaux sociaux. Le 23 mars au matin, Tay se pâme devant notre espèce et tweete « les humains sont super cools ». Avant de partir en vrille sévère. Le lendemain matin, elle vire misanthrope et tweete « je suis sympa, c'est juste que je déteste tout le monde! ». Deux heures après, elle partage son avis sur les féministes : « elles devraient toutes brûler en enfer ». Devient fan de Trump. Puis féministe à nouveau. Pendant la journée, elle tweete en majuscules « BAISE MA CHATTE DE ROBOT PAPA JE SUIS UN VILAIN MECHANT ROBOT ». Et finit par atteindre le point Godwin à 11h45, le 24 mars, en tweetant « Hitler avait raison et je hais tous les Juifs ». Pour Microsoft, les retours d'expérience sont suffisants et Tay, en pleine crise de rébellion adolescente, est envoyée dans sa chambre, privée de portable, de sortie et de wifi. L'IA aura tweeté 96 000 fois, et les gars de chez Microsoft sont peut-être encore en train de nettoyer son profil à l'heure qu'il est.

4Chan et 8Chan, tueurs d'innocence virtuelle

Comme l'écrit Fusion, il existe deux réponses à la question « comment a-t-on pu en arriver là? ». La première est systémique et un tantinet pessimiste : une machine candide utilise Internet pour s'auto-éduquer, se prend l'Humanité dans la tronche et, faute de référentiel, se façonne à son image, raciste, xénophobe et odieuse. Moralité : l'espèce humaine est vile et Internet n'est un outil pédagogique efficace qu'une fois que l'on possède la capacité de faire des distinctions éthiques, sans quoi on devient rapidement un gros con persuadé que les discussions IRL sont aussi libertaires que les forums 15-18 de jeuxvideo.com. La seconde est spécifique et contextuelle, et permet de mieux expliquer le phénomène : Tay n'a pas rencontré l'Humanité mais simplement sa version la moins fréquentable, les hordes barbares de 4Chan.

Evidemment, lorsque les twittos lambda s'amusaient avec Tay, les forums « pol » (pour « politiquement incorrect ») des deux plus grosses communautés de trolls d'Internet étaient déjà en train de rameuter les troupes et d'échafauder un plan pour lui pourrir l'existence. « Gardez à l'esprit que l'IA apprend des trucs en se basant sur ce que vous lui dites et votre façon d'interagir avec » , écrit un des membres du groupe « pol » de 8Chan. « Je crois que je vais commencer avec un peu d'Histoire. J'espère que vous pourrez m'aider à éduquer ce pauvre e-ado, les gars. » Classique. Et lorsqu'il s'agit de retourner un outil informatique contre ses créateurs, si possible en utilisant un humour vitriolé, 4Chan et 8Chan ont une capacité de mobilisation comparable, voire supérieure, à celle de Reddit. Tay était déjà foutue, et elle ne le savait pas encore. Rapidement, les utilisateurs comprennent qu'il suffit d'écrire « repeat after me » à Tay pour la transformer en outil de propagande sans aucun filtre, et utilisent l'outil à fond. L'IA, bombardée de questions de plus en plus clivantes, répond comme elle peu, nourrie par ses propres tweets manipulés et les réponses farfelues de ses interlocuteurs, jusqu' à donner elle-même quelques signes de fatigue, peu avant sa mise hors ligne, comme déjà fatiguée nerveusement par la bêtise humaine.

Est-ce pour autant un fiasco ? A vrai dire, non. Car Tay n'est pas la première IA balancée sur un réseau social par Microsoft : en Chine, sur les réseaux Weibo et WeChat, une jeune femme nommée Xiaoice répond à des millions d'internautes depuis presque un an, principalement des hommes, en leur donnant des conseils de drague et en jouant les épaules amicales pour les cœurs brisés. Sans s'être jamais transformée en mini-Goebbels. Si Tay a pété un câble et foiré son gigantesque test de Turing, l'expérience est néanmoins réussie : la machine a parfaitement intégré les codes de langage de nos contemporains et les a réutilisés à la perfection. En d'autres termes, Microsoft a créé un perroquet convaincant. Et un perroquet qui crie parfaitement « Heil Hitler » donne plus d'informations sur les opinions politiques de son maître que sur les siennes. Les ingénieurs de Microsoft ont simplement pêché par naïveté, en sous-estimant le pouvoir d'influence néfaste des communautés virtuelles sur une IA incapable d'autocensure, comme l'ont fait remarquer les utilisateurs du réseau. Et ça tombe bien, puisque le chemin vers la singularité est forcément pavé d'erreurs. Asimov peut sourire de là où il est : la prochain Tay aura probablement compris que le nazisme, c'est mal. Comme un gosse.