Nous ne sommes pas prêts pour la superintelligence

Les machines superintelligentes ne "penseront" peut-être pas du tout comme nous, et ne seront peut-être pas nos amies.
11 octobre 2016, 9:44am
Intelligence artificielle. Image: Geralt/Pixabay

Le problème de notre monde actuel, ce n'est pas que trop de gens sont effrayés - c'est qu'ils ont peur des mauvaises choses. Réfléchissez un instant : qu'est-ce qui vous fait le plus peur, l'idée de mourir dans une attaque terroriste ou celle de périr écrasé par un énorme meuble ?

Même si les médias ne cessent de vous rappeler que la menace terroriste est omniprésente et n'évoquent que très rarement la menace Ikea, il y a en vérité beaucoup plus de chances que votre tombe mentionne votre décès tragique "par écrasement sous un canapé" que "dans une attaque odieuse."

Sans rire : les astéroïdes ont plus de chances de vous tuer que la foudre, et la foudre fait elle-même plus de victimes que le terrorisme. Ce que je veux dire, et que j'ai déjà dit ailleurs, c'est que notre instinct nous induit souvent en erreur et peine à identifier les véritables menaces qui pèsent sur nous.

C'est de ce simple constat que part une récente conférence TED donnée par le neuroscientifique Sam Harris et consacré à la superintelligence artificielle. Pour ceux qui suivent un peu l'actualité, la superintelligence est régulièrement évoquée dans les médias depuis que le philosophe Nick Bostrom a publié, en 2014, un best-seller intitulé - eh oui ! - Superintelligence.

Des personnalités majeures telles que Bill Gates, Elon Musk et Stephen Hawking ont depuis exprimé leur inquiétude quant à la possibilité qu'une machine superintelligente puisse un jour régner en maître sur l'humanité, voire même nous conduire à l'extinction pure et simple.

Ce n'est pas juste un autre "outil" que quelqu'un pourrait utiliser pour détruire notre civilisation. La superintelligence est un agent à part entière.

Harris n'est que le dernier d'une série d'intellectuels publics à agiter ses bras en hurlant "Attention ! Une machine superintelligente et quasi omnipotente pourrait annihiler l'humanité toute entière." Mais faut-il vraiment s'inquiéter à ce point ? Harris est-il aussi fou qu'il en a l'air ? Même si la menace d'une superintelligence nous semble abstraite à première vue, en vérité, elle constitue peut-être le plus grand défi auquel notre espèce devra faire face au cours de son existence.

Posez-vous cette simple question : qu'est-ce qui rend les armes nucléaires, biologiques, chimiques et nanotechnologiques si dangereuses ? La réponse, c'est qu'une personne malintentionnée ou incompétente pourrait les utiliser pour faire énormément de mal. Mais la superintelligence ne pose pas le même problème. Ce n'est pas juste un autre "outil" que quelqu'un pourrait utiliser pour détruire notre civilisation. La superintelligence est un agent à part entière.

Et, comme nous le répètent à raison les experts, un esprit superintelligent pourrait n'avoir rien de commun avec nos propres esprits. Il pourrait avoir des objectifs, des motivations, des catégories de pensées et même des "émotions" tout à fait différents. Anthropomorphiser une superintelligence en y projetant nos propres caractéristiques mentales serait l'équivalent d'une cigale qui expliquerait à ses amies que les humains adorent se tenir au sommet d'un brin d'herbe car c'est aussi ce qu'aiment les cigales. C'est absurde - et tout simplement faux.

Comme je le disais, une superintelligence ne serait pas un outil entre les mains des humains, mais un agent à part entière avec ses propres objectifs. Et quels pourraient-ils être ? Étant donné que cette superintelligence aurait été créée par nous, nous pourrions peut-être lui donner certains buts en la programmant, en faisant une alliée plutôt qu'une ennemie.

C'est bien beau en théorie, mais cela pose quelques questions sérieuses. Par exemple, comment ferions-nous pour donner des valeurs humaines à une machine superintelligente ? Introduire nos propres préférences dans un code informatique est un sacré défi technologique. Comme le remarque Bostrom, des concepts complexes comme le "bonheur" doivent être définis "en des termes qui puissent apparaître dans le langage de programmation de l'IA, et même sous la forme de primitives et d'opérateurs mathématiques renvoyant vers des contenus situés dans des registres de mémoire."

Plus encore, nos systèmes de valeurs sont bien plus complexes que nous ne le pensons. Par exemple, imaginez que nous programmions une superintelligence pour qu'elle oeuvre au bien-être des créatures vivantes, ce que Harris lui-même considère comme le plus grand bien moral. Si cette superintelligence voulait véritablement notre bien-être, qu'est-ce qui l'empêcherait de détruire immédiatement l'humanité et de nous remplacer par un immense entrepôt rempli de cerveaux humains reliés à une forme de Matrice, dans laquelle les mondes virtuels ne seraient que bonheur permanent - contrairement au monde "réel", qui n'est que souffrance comme chacun sait.

Ces cerveaux façon Matrix évoluant dans un paradis virtuel seraient certainement plus heureux que les humains que nous sommes aujourd'hui, et pourtant cela serait une catastrophe terrible pour l'humanité.

À cette (petite) difficulté, il faut ajouter un autre problème : comment choisir quelles valeurs transmettre à la machine, en premier lieu ? Devrions-nous choisir les valeurs véhiculées par une religion particulière, selon laquelle le but de chaque action morale est de servir Dieu ? Devrions-nous adopter les valeurs des éthiciens modernes ? Si oui, lesquels ? (Harris ?) Il existe une multitude de théories éthiques très diverses, et aucun consensus ne se dégage chez les philosophes qui étudient ces questions.

Autrement dit, nous ne devons pas seulement surmonter le problème "technique" d'implanter des valeurs dans la psyché de la superintelligence, mais aussi le problème "philosophique" de déterminer ce que devraient être ces valeurs.

Ceci étant dit, on peut tout à fait se demander pourquoi il est si important qu'une superintelligence partage nos valeurs (quelles qu'elles soient). Après tout, nous avons tous des goûts et des valeurs différentes, et cela ne nous empêche pas de nous entendre relativement bien. La superintelligence ne pourrait-elle pas avoir des valeurs différentes des nôtres, et cohabiter avec l'humanité en paix ?

La réponse la plus évidente est non. D'abord, prenez bien conscience que l'intelligence donne du pouvoir. Par "intelligence", j'entends la même chose que les chercheurs en science cognitive, les philosophes et les spécialistes de l'IA : la capacité à identifier et utiliser des moyens efficaces pour parvenir à une fin, qu'il s'agisse de résoudre le problème de la fin dans le monde ou de gagner à Fifa. Autrement dit, un cafard est intelligent dans la mesure où il parvient à échapper au balai avec lequel je tente de le tuer, et les humains sont intelligents dans la mesure où ils peuvent se dire "hey, et si on allait sur la Lune" et y parvenir.

Si l'intelligence confère un certain pouvoir, alors une superintelligence serait surpuissante. Oubliez l'image d'un androïde façon Terminator se déplaçant sur deux jambes avec des fusils à pompe. Cette vision dystopique fait partie des plus grands mythes de l'IA. Mais en vérité, le danger risque davantage de venir d'une sorte de fantôme s'introduisant dans nos machines, capable de prendre le contrôle de n'importe quel appareil à sa portée - qu'il s'agisse de systèmes d'armement, d'équipements de laboratoire automatisés, de la Bourse, des accélérateurs de particules, ou d'appareils encore inconnus que nous développerons dans le futur (ou que la superintelligence inventera elle-même).

Pire encore, les transmissions électriques à l'intérieur d'un ordinateur transmettent potentiellement des informations beaucoup, beaucoup plus vite que nos pauvres petits cerveaux. Une machine superintelligente pourrait donc penser un million de fois plus vite que nous - ce qui signifie qu'une seule minute de temps objectif pourrait correspondre à près de deux ans de temps subjectif pour l'IA. De son point de vue, le monde extérieur pourrait en quelque sorte être figé, et cela lui donnerait énormément de temps pour analyser de nouvelles informations, simuler plusieurs stratégies potentielles, et s'adapter à chaque mot et chaque idée émis par un humain en temps réel. Cela pourrait notamment lui permettre de trouver un moyen de nous convaincre de la relier à Internet, si jamais les chercheurs avaient initialement décidé de la priver de cet accès.

Elle pourrait utiliser son pouvoir pour détruire notre espèce pour la même raison qui nous pousse à détruire des colonies entières de fourmis.

Tout cela suggère qu'une machine superintelligente pourrait écraser l'humanité aussi facilement qu'un enfant marchant sur une araignée. Et il y a plus inquiétant : une superintelligence disposant des moyens de détruire l'humanité n'aurait même pas forcément besoin d'une motivation pour le faire. Certes, il est tout à fait possible qu'une superintelligence soit explicitement malveillante, et qu'elle tente volontairement de nous tuer. Mais la situation est potentiellement encore pire que cela : même une machine superintelligente qui n'aurait aucune envie de nuire à l'humanité pourrait mettre en danger l'existence même de la civilisation.

C'est là que les questions de pouvoir et de valeurs prennent une dimension cauchemardesque : si les objectifs de la superintelligence n'étaient pas totalement similaires aux nôtres, alors elle pourrait utiliser son pouvoir pour détruire notre espèce pour la même raison qui nous pousse à détruire des colonies entières de fourmis lorsque nous transformons un espace vierge en parking. Ce n'est pas que nous détestons les fourmis. Mais elles se trouvent sur notre chemin, et on se soucie peu des génocides de fourmis. Harris explique bien cela dans sa conférence.

Par exemple, imaginons que nous demandions à une machine superintelligente de recueillir autant d'énergie solaire que possible. Que ferait-elle ? De toute évidence, elle couvrirait chaque mètre carré de la surface terrestre avec des panneaux solaires, oblitérant au passage la biosphère (dont nous faisons partie). Et tant pis pour Homo sapiens.

Ou alors, imaginons que nous programmions la superintelligence pour qu'elle maximise le nombre de trombones présents dans l'univers. Là encore, cela semble être un objectif assez anodin. Après tout, un "maximisateur de trombones" n'aurait aucune raison d'être agressif, sexiste, raciste, meurtrier, violent, ni même misanthrope. Il ne se soucierait que de produire un maximum de trombones (imaginez que ce soit en quelque sorte sa passion dans la vie).

Que se passe-t-il donc ? La superintelligence regarde autour d'elle, et remarque quelque chose d'intéressant pour sa mission : il se trouve que les humains sont faits du même ingrédient que les trombones, à savoir des atomes. Elle commence alors à recueillir tous les atomes présents dans l'ensemble des corps humains - soit 7,4 milliards d'entre nous, à l'heure actuelle - et à les convertir en des piles et des piles de fils d'acier tordus.

Et nous sommes loin d'avoir fait le tour des raisons de nous inquiéter, mais tout cela mérite déjà de se pencher sérieusement sur le sujet - même si notre instinct ne nous met pas spontanément en état d'alerte.

Comme le souligne Harris au cours de sa conférence, la superintelligence ne représente pas seulement un immense défi pour les esprits les plus brillants de ce siècle ; nous n'avons aucune idée du temps qu'il faudra pour résoudre les problèmes évoqués ci-dessus, à supposer qu'il soit possible de les résoudre. Il pourrait suffire de deux ans de recherche en intelligence artificielle, ou de 378 années passées à travailler non-stop sur le sujet.

C'est particulièrement fâcheux puisque, selon un sondage récent réalisé auprès d'experts en IA, il y a de fortes chances que la superintelligence soit parmi nous d'ici 2075, et 10% des experts interrogés estiment même qu'elle pourrait être là avant 2022. Autrement dit, elle pourrait exister avant que nous ayons eu le temps de résoudre les problèmes liés à son contrôle. Et même si elle ne devait naître que dans un lointain futur, il n'est pas trop tôt pour commencer à nous en soucier - et en parler dans les médias.

Répétons-le : une fois que l'IA aura dépassé l'intelligence humaine, elle risque d'échapper à notre contrôle de façon permanente. Nous ne pourrions donc avoir qu'une seule chance de faire les choses bien. Si la toute première superintelligence est animée par des valeurs légèrement incompatible avec les nôtres, alors nous risquons le game over, et l'humanité aura perdu. La vérité est peut-être plus inquiétante que la fiction.