Robots tueurs : "On ne doit jamais permettre aux machines d’ouvrir le feu"

Le 13 novembre dernier, le Future of Life Institute publiait sur Youtube Slaughterbots, une vidéo d’anticipation aux accents terriblement dystopiques : sur la scène d’une quelconque super-keynote de quelque nouveau super-conglomérat de l’innovation, un ersatz de Steve Jobs présente, « super excité », le nouveau joujou technologique sorti du ventre de son département de recherche et développement : un drone minuscule, de la taille d’un gros insecte, équipé d’une charge explosive de quelques grammes. De quoi changer à tout jamais la lutte contre le terrorisme, explique le techno-gourou, puisque la bestiole est parfaitement autonome : une fois lancée dans le vaste monde et chargée d’une kill list à la Arya Stark, elle se baladera sans relâche jusqu’à identifier sa cible avant de se jeter sur son front dans un acte kamikaze chirurgical, sans aucun opérateur humain pour l’aiguiller. Finies les victimes collatérales, les civils massacrés par erreur, les balles perdues par de bêtes soldats humains terrorisés – la guerre propre d’après-demain consistera à larguer des essaims de mini-drones autonomes au-dessus d’un champ de bataille.

Si la vidéo du Future of Life Institue, qui a décroché son petit quart d’heure de gloire médiatique et cumule désormais 2 millions de vues, n’était évidemment que pure fiction, l’inquiétude internationale au sujet des systèmes d’armes létales autonomes (SALA) est bien réelle : du 12 au 17 novembre 2017, au Palais des nations de Genève, 86 délégations des Nations unies se sont réunies lors de la première session du Groupe d’experts gouvernementaux (GEG) sur les systèmes d’armes létales autonomes, en marge de la Convention sur certaines armes classiques (CCAC), pour discuter formellement, après quatre ans de discussions informelles, de la possibilité d’un traité international d’interdiction de ces robots tueurs. Projetée lors de la réunion, la vidéo prophétique a jeté un froid. Outre les différents acteurs gouvernementaux, plusieurs ONG étaient invitées à la table des débats, parmi lesquelles le Comité international de la Croix-Rouge, Human Rights Watch, le Bureau des affaires de désarmement des Nations unies (UNODA) et l’organisation Campaign to Stop Killer Robots, qui regroupe depuis avril 2013 un archipel de 65 ONG internationales et milite pour la régulation préventive des SALA via un traité international juridiquement contraignant.

Au centre de cette coalition, Mary Wareham, coordinatrice et tête de gondole médiatique de l’initiative, qui a fait ses armes au sein d’Human Rights Watch lors de la campagne pour l’interdiction des mines (ICBL) de 1996, conclue par la signature d’un traité international en 1997. Contrairement aux mines anti-personnel, cependant, les robots-tueurs n’existent pas encore officiellement. Comme avec l’IA, l’heure est actuellement au débat entre experts, les uns militant pour une interdiction immédiate à grands coups de lettres ouvertes afin de nous éviter un futur terrifiant, les autres assurant que tout va bien et mettant en garde contre l’emballement généralisé, les derniers soutenant qu’une interdiction ne servirait tout simplement à rien. Au milieu, la communauté internationale, qui brille pour le moment par son immobilisme consensuel. Pour tenter de mieux comprendre la menace posée par Skynet et ses légions robotiques, nous avons interrogé Mary Wareham quelques semaines après la réunion des Nations unies.

Motherboard : Que pensez-vous de la déclaration d’Amandeep Gill (qui présidait les débats à Genève) après la dernière réunion du GEG, qui pressait le grand public de ne pas « dramatiser » le problème des robots tueurs, et quel bilan tirez-vous de cette dernière rencontre ?

Mary Wareham : La dernière séance du GEG était la quatrième fois depuis 2014 que différents pays se rencontraient pour discuter de la question des systèmes d’armes autonomes. La différence, c’est que cette fois-ci la réunion au sein de la convention était formelle au lieu d’informelle. Nous avons critiqué la réunion, qui selon nous vise trop bas et va trop lentement. Nous avons été globalement déçus de l’absence de progrès, du manque d’ambition déployé par la réunion au niveau des initiatives futures, et du fait que les 86 pays présents n’aient fait aucun progrès vers une meilleure compréhension des enjeux. Du côté positif, nous sommes ravis d’avoir rallié trois nouveaux pays à notre cause pour l’interdiction des armes autonomes (le Brésil, l’Irak et l’Ouganda), ce qui porte le nombre de soutiens à 22 pays.

Durant la réunion, un grand nombre de pays ont néanmoins commencé à prendre la mesure du problème au regard des lois internationales, en partie grâce au Mouvement des non-alignés (NAM) qui est également parvenu à la conclusion que les lois internationales n’allaient pas suffire, en l’état actuel des choses, pour répondre aux défis que les robots tueurs font émerger - pas seulement techniques et légaux mais opérationnels, sociétaux, éthiques et moraux. Ce que les différents gouvernements ont accepté de faire à l’issue de cette réunion, c’est essentiellement de… Continuer à parler du sujet. Nous aurons donc deux réunions d’une semaine l’année prochaine, du 19 au 23 février et du 9 au 13 avril 2018, à nouveau sous la supervision de l’ambassadeur Amandeep Gill. Il souhaite se concentrer sur ce qu’il appelle les « caractéristiques » de ces systèmes autonomes – les définir plus précisément, en fait - et nous sommes d’accord avec lui. Ce sera un élément essentiel de tout futur traité, que l’on décide de réguler ou d’interdire. Il souhaite également se concentrer sur les « interactions humain-machine » – de notre point de vue, cela s’appelle le contrôle humain. C’est une idée sur laquelle s’accordent tous les pays qui se sont prononcés sur le sujet : l’importance de maintenir un niveau de contrôle sur les futurs systèmes d’armement. Là où ils divergent, c’est sur le type de contrôle, mais nous voulons que les pays se concentrent là-dessus.

Enfin, il y a les orientations politiques, et c’est le point sur lequel nous sommes le plus critiques : les gouvernements n’ont pas de temps ni d’argent à gâcher à discuter du sujet ; nous voudrions qu’ils commencent à négocier de nouvelles lois internationales immédiatement. Pour le moment, le consensus porte sur le fait de continuer à discuter, mais rien de plus ambitieux. C’est en partie dû à la nature du processus, dans lequel chaque étape ne peut être validée qu’à l’unanimité. Généralement, dès qu’un pays refuse, on entame des discussions pour parvenir à un accord, et ça affaiblit les propositions. La Russie est le plus réticent des participants à voir ces discussions se transformer en quelque chose de concret, tout en admettant que c’est un sujet brûlant. C’est pour ça que nous sommes frustrés : beaucoup de discussions, peu d’action.

Vous avez expliqué que pour accélérer les choses, vous auriez besoin qu’un pays occidental se range de votre côté. Qui serait, selon vous, le meilleur candidat ?

Nous nous renseignons pour savoir ce qui se fait en Europe et pas plus tard qu’hier (le 7 décembre 2017), les robots tueurs étaient un sujet de discussion aux Parlements belge et italien…

Oui, et une centaine de scientifiques ont publié une lettre ouverte en Belgique …

C’est important pour nous, car la Belgique a été le premier pays à se positionner contre les mines anti-personnel en 1994, et nous espérons qu’elle va faire de même pour les robots tueurs. En Italie, le Vatican s’est penché sur le sujet et nous étions avec le pape il y a quelques semaines pour le convaincre de la nécessité d’interdire ces armes. On serait content d’avoir n’importe quel pays européen avec nous mais malheureusement, ils sont plutôt conservateurs actuellement. Quelqu’un doit y aller en premier, et nous ne savons pas qui ce sera.

A quelle distance sommes-nous, technologiquement, de voir apparaître ces armes ? Pour le moment, la menace est largement théorique mais elle semble quand même très proche.

Si c’est si théorique, demandez-vous pourquoi des pays discutent de ça depuis quatre ans avec inquiétude… Les États-Unis et le Royaume-Uni aiment à dire que ces systèmes n’existent pas, qu’ils n’existeront pas et qu’ils n’ont aucun plan pour en développer. Dans le même temps, nous voyons que des sommes d’argent sont allouées au développement d’armes toujours plus autonomes. La question, c’est : où s’arrête cette tendance, et ne pouvons-nous pas légiférer pour éviter la propagation de la pire forme de systèmes autonomes ? Tout dépend de savoir où l’on place la limite entre autonomie totale et contrôle.

Vous vous préoccupez beaucoup de la question de la responsabilité qu’induit le contrôle humain sur la machine. Pourquoi est-ce fondamental ?

En 2015, dans notre rapport Mind The Gap (publié par Human Rights Watch), nous nous sommes concentrés sur la question de la responsabilité personnelle et nous avons réalisé que les opérateurs de ces armes pourraient être reconnus coupables, mais qu’ils pourraient tout aussi bien éviter les sanctions judiciaires.

Ce qui pourrait conduire à des guerres sans criminels, en somme.

Il y a beaucoup d’obstacles à la responsabilité pénale, et pas seulement pour le commandement militaire mais aussi pour les fabricants. Pour nous, déterminer la chaîne de responsabilités est la clé d’une justice internationale, particulièrement pour les victimes. Et s’il n’y a pas – encore – de victimes des armes autonomes, il est essentiel de déterminer dès maintenant qui devra répondre des actes de ces armes.

Quand avez-vous constaté que votre combat commençait à gagner en respectabilité, tant dans les médias que du côté de l’opinion publique ?

Je dirais que dans les mois qui ont suivi le lancement de la campagne, en avril 2013, les gouvernements ont pris ça très au sérieux, car ça n’émanait pas seulement d’ONG comme Human Rights Watch, mais d’un rapporteur spécial à l’ONU, Christof Heyns, qui avait produit un rapport sur le sujet dès 2013. Aussi, la presse tech spécialisée a tout de suite saisi les enjeux de notre combat. Les médias généralistes, quant à eux, comprennent désormais le sujet et le prennent au sérieux, même s’ils illustrent toujours leurs articles de photos de Terminator et d’autres images de SF complètement folles. On ne leur en veut pas, parce que ça reflète surtout le manque d’images disponibles pour illustrer les systèmes d’armes autonomes.

Du coup, à quoi ressemblent ces armes actuellement ?

Bien que l’on n’en soit pas encore aux robots tueurs, il existe déjà différents exemples d’armes possédant plusieurs niveaux d’autonomie : des drones volants, qu’il s’agisse d’avions de combat (comme le Taranis, développé par BAE Systems) ou d’appareils plus petits ; des appareils stationnaires, comme les robots de défense à la frontière entre les deux Corées (la tourelle de défense Samsung SGR-A1, qu’on croirait sortie d’Alerte Rouge), et d’autres types de systèmes développées en Israël (les drones Harpy, HAROP et Green Dragon, les véhicules de patrouille frontalière autonomes Guardium) et au sein du « Big Three » (Russie, Chine, Etats-Unis), qui investissent le plus dans ces domaines. Paradoxalement, les États-Unis sont les plus transparents sur ces investissements, alors que la Chine et la Russie sont bien plus opaques.

Comment expliquez-vous votre combat en quelques phrases, lorsqu’il s’agit de sensibiliser à des gens qui n’y connaissent rien, d’expliquer les menaces ? C’est un sujet plutôt complexe.

Pour nous, ça n’a rien de complexe. Il s’agit simplement de maintenir un contrôle humain sur les fonctions les plus critiques des SALA (systèmes d'armes létales autonomes, ndlr). Il s’agit de s’assurer qu’on ne permettra jamais aux machines de choisir une cible et d’ouvrir le feu. Notre campagne vise à empêcher qu’une limite morale ne soit franchie : la décision d’ôter une vie humaine, sur un champ de bataille ou dans un cadre policier, devrait être prise par un être humain et pas sous-traitée à une machine. Je pense qu’il y a autour de nous beaucoup de gens qui cherchent délibérément à rendre ce débat plus complexe et plus confus qu’il ne l’est afin que les gouvernements restent dans l’expectative, mais il y a assez d’attention désormais pour que sortir de la discussion stérile et créer de nouvelles lois internationales. Et dans ce contexte, la position de la France, de l’Allemagne et d’autres pays est assez étrange : ces États ont déclaré qu’ils ne voulaient pas d’armes autonomes et qu’ils n’en achèteraient pas… Mais alors, pourquoi ne pas soutenir l’appel à une interdiction préventive ? La position va devenir intenable.

A votre avis, est-on encore loin d’une ébauche de traité international ? Peut-on en envisager une pour 2018, 2019…? Les procédures semblent terriblement lentes…

Oui, elles le sont. En fait, la question est aussi floue que de se demander dans combien de temps on verra apparaître des systèmes d’armes autonomes… Ca peut arriver dans les prochaines décennies, ou dans les prochaines années. Le processus en lui-même est lent, mais le plus important c’est ce qui se passe dans les discussions de la CCAC, ce qui s’y dit et ce que les pays veulent. Une fois que nous atteindrons une masse critique de pays qui souhaitent de nouvelles lois, le processus devrait être assez rapide. Nous sommes convaincus que ça arrivera, car selon nous c’est inévitable. Nous constatons une mobilisation et c’est ce qui nous donne espoir, bien que les roues de la diplomatie tournent aussi lentement.

Quel est votre point de vue vis-à-vis des industriels de la Silicon Valley ? Votre campagne est notamment soutenue par DeepMind et d’autres têtes pensantes du secteur comme Elon Musk, qui ont signé une lettre ouverte pour alerter sur les dangers de l’IA, mais d’un autre côté, ce sont à ces entreprises que l’on doit le développement de systèmes autonomes…

Certaines entreprises ont soutenu de manière claire l’appel à l’interdiction, notamment DeepMind, et de très nombreux ingénieurs et dirigeants ont signé nos lettres ouvertes qui plaident en faveur d’une régulation. Cependant, aucun d’entre eux ne finance la campagne, ils se contentent de suivre le mouvement.

Et personnellement, comment arrivez-vous à garder confiance en l’innovation technologique ?

Je crois complètement en un avenir paisible et prospère, notamment grâce à la technologie et à l’innovation que nous voyons actuellement se développer. Nous devons simplement anticiper les pires usages de ces outils et nous assurer que nous ne les permettrons pas. De mon point de vue, ce qui ne doit pas arriver, c’est l’usage de systèmes d’armes totalement autonomes durant les conflits. D’autre part, Human Rights Watch travaille également sur la manière dont les algorithmes et le code peuvent être biaisés et utilisés dans le maintien de l’ordre, le travail policier, le profilage… Le développement de l’IA fait émerger tout un éventail de défis au niveau des droits humains. Nous faisons très attention à préciser que cette campagne contre les robots tueurs n’est pas contre l’autonomie, l’IA ou la robotique, y compris dans le secteur militaire. Nous nous contentons de tracer une ligne, qui est de ne pas rendre des systèmes militaires autonomes au point où l’on en perd le contrôle. C’est un horizon que nous ne voulons pas voir émerger. Nous sommes confiants, mais nous devons refermer le débat rapidement.