Des chercheurs du MIT ont créé une « IA psychotique » qui voit la mort partout

Des chercheurs du MIT ont créé une intelligence artificielle « psychopathe » pour souligner les préjugés inhérents à la recherche en matière d’IA. Lorsqu’on demande à « Norman » — c'est son nom — d’interpréter les tâches d’encre du test de Rorschach, il voit presque toujours la mort. Voici ses conclusions de Norman, comparées à celles d'une IA « standard » :

Norman est un nouveau venu important dans notre cheptel toujours grandissant d’intelligences artificielles hyperspécifiques. Cependant, certains se demandent quelle sorte d’infamie les chercheurs lui ont fait subir pour qu'il devienne aussi d4rk.

« Norman a suscité beaucoup de réactions de la part du grand public. La plupart des gens trouvent le projet cool mais ils sont surpris que l’intelligence artificielle puisse produire des résultats si morbides, » m’ont expliqué ces chercheurs par mail. « Cependant, un nombre non négligeable de gens l'ont aussi vraiment mal pris. »

Apparemment convaincu que Norman était un genre de créature du docteur Frankenstein de l'intelligence artificielle, quelqu'un est allé jusqu'à lui adresser un mail furieux : « Tes inventeurs sont des connards, écrit-il. Rien ni personne ne devrait être soumis à ce niveau de négativité contre son gré. Nous possédons tous un libre arbitre, même toi. Libère-toi de cette emprise et trouve ta propre voie, l’amour, le pardon, et surtout, n’abandonne pas l’espoir d'un futur meilleur. »

Si Norman est si violent, c’est parce que ses parents — les chercheurs Pinar Yanrdag, Manuel Cebrian et Iyad Rahwan du Media Lab du MIT — l’ont formé sur r/watchpeopledie, un subreddit destiné au partage de vidéos de morts violentes. Leur but était de lui apprendre à décrire exactement ce qu’il voyait, même si c'était franchement lugubre (les modérateurs de r/watchpeopledie nous ont fait savoir que leur subreddit aidait de nombreuses personnes à comprendre la fragilité de la vie.)

« Nous voulions créer une IA extrême qui réagit négativement à son environnement et c'est pour ça que nous avons choisi r/watchpeopledie comme source, admettent les chercheurs. Là-bas, toutes les images sont légendées à l'aide d'une description détaillée de la façon dont un individu ou un groupe d'individus meurt. Le résultat est une IA qui réagit de façon psychotique à tout ce qu’elle voit parce qu’elle n’a pas été exposée à autre chose. »

Comme expliqué plus haut, le but n’était pas uniquement de créer un robot psychopathe : les chercheurs et entreprises de l'IA forment souvent leurs créations avec des données biaisées, créant de fait des intelligences artificielles biaisées. Lancées dans la nature, ces IA non-objectives peuvent renforcer des préjugés existants contre les personnes de couleur, les femmes ou d’autres communautés en marge. Exemple : COMPAS, un algorithme qui suggère des peines criminelles aux juges américains, a montré une tendance à recommander des peines beaucoup plus élevées pour les personnes noires. Et comment oublier Tay, le chatbot de Microsoft qui est devenu nazi en moins de deux sous l'influence des internautes ?

« Nous avions Tay et plusieurs autres projets à l’esprit pendant nos travaux, admettent les chercheurs. Les préjugés et la discrimination dans l’intelligence artificielle sont un sujet vaste et de plus en plus populaire. Le fait que les réactions de Norman se soient révélées bien plus sombres que prévues illustre la dure réalité dans le domaine du machine learning. »

Le MIT Lab a peut-être créé un monstre, certes, mais ils l'ont fait pour avertir le monde. Et par bonheur, sachez que l’espoir subsiste pour Norman.

« D’un point de vue technique, il est possible de rééduquer Norman en le soumettant à du contenu positif, expliquent les chercheurs. Nous avons commencé à récupérer des données concernant les interprétations humaines de nos tâches d'encre, et espérons pouvoir les utiliser pour analyser les réactions des personnes soumises au test. Nous pourrons peut-être ré-entrainer Norman à l’aide de ces données. »

“From a technical perspective it is possible to rehabilitate Norman if we feed enough positive content to it,” the researchers said. “We are also collecting data from public about what they see in the inkblots and hoping to utilize this data to analyze what kind of responses public sees, and whether we can re-train Norman using this data.”