Ces entreprises de nettoyage débarrassent Internet de tout ce qu’on ne doit pas voir

Chaque jour que Dieu fait, à chaque minute, YouTube s’enrichit de 500 heures de vidéo, Twitter de 450 000 tweets et Facebook de 2,5 putains de millions de publications. On croule sous le contenu, alors c’est normal que certains décident d’en signaler une partie pour violence, racisme, misogynie, etc.

Alors on signale ce contenu offensif, et après ? C’est quoi l’étape suivante ?

Cette question est au cœur du documentaire The Cleaners, de Moritz Riesewieck et Hans Block, et la réponse est bien plus déprimante qu’on pourrait le croire. En juin dernier, le Festival du documentaire de Sheffield présentait le film en avant-première, donc on en a profité pour interroger les cinéastes sur ceux qui nettoient le web au prix de vies humaines.

VICE : Racontez-nous comment vous vous êtes retrouvés à travailler là-dessus, et pourquoi vous avez voulu en faire un film.
Hans Block : Sur Facebook, on est tombé sur une vidéo de viol sur mineur en 2013, et on s’est demandé comment ça avait pu arriver. Ce genre de contenu existe, bien sûr, mais d’habitude ça n’atterrit pas sur les réseaux sociaux. On a commencé à demander autour de nous s’il y avait des gens qui filtraient tout ça, des censeurs, pour découvrir qu’ils étaient en fait des milliers à passer leurs journées devant leur écran et à juger de ce qu’on est censé voir ou pas. Une grande partie de ce travail est envoyée en sous-traitance dans des pays en voie de développement, à Manille aux Philippines par exemple, et presque tout le monde l’ignore.

On a essayé d’interroger les ouvriers mais c’est une industrie peu bavarde : les entreprises ne voulaient pas qu’ils nous racontent quoi que ce soit. Elles ont recours à des politiques de confidentialité très strictes et bloquent les comptes de leurs employés pour s’assurer qu’ils ne dévoilent aucun secret. Ils parlent même en codes. Si un ouvrier bosse sur Facebook, il doit parler du « projet Ratel ». La peur et la pression règnent, d’autant plus qu’une indiscrétion peut coûter aux ouvriers jusqu’à 10 000 euros d’amende, voire une peine de prison. C’est inscrit noir sur blanc dans leur charte de confidentialité.

Pourtant vous vous êtes procuré le témoignage et la confiance de certains ouvriers ou ex-ouvriers. S’occupent-ils de tout ce qui circule ou juste du contenu signalé ?
Moritz Riesewieck : On peut transférer le contenu aux Philippines de deux manières. La première, le préfiltre, est un algorithme : c’est une machine chargée d’analyser les formes, sexuelles si vous voulez, ou le rouge du sang, voire les nuances dans une couleur de peau. Chaque fois que le préfiltre détecte un élément inapproprié, il le signale aux ouvriers à Manille, où les modérateurs double checkent au cas où l’appareil se tromperait. La deuxième, on la doit aux utilisateurs qui signalent eux-mêmes les contenus choquants.

Mais alors, au nom de quoi ce préfiltre peut-il établir des profils raciaux ? La lutte contre le terrorisme ? Contre les gangs ?
Hans : On a essayé d’analyser l’appareil et son fonctionnement, mais vous vous doutez que le secret est bien gardé. On ignore ce qu’il a appris à détecter ou non. Pour certains trucs, les flingues ou la nudité, c’est évident, mais selon certains modérateurs, ces programmes sont aussi conçus pour associer la couleur de peau aux activités terroristes…

Et quand un contenu est retiré, qu’est-ce qui se passe ? Il est juste supprimé pour l’utilisateur source, ou d’Internet tout entier ?
Hans : Internet tout entier, direct. Enfin, sauf pour la pédopornographie. Là, ça devient sérieux : les modérateurs doivent consigner toutes les infos qu’ils ont, de l’adresse l’IP au nom de l’utilisateur en passant par sa localisation. Ils envoient tout ça à une organisation privée aux États-Unis, qui analyse l’info avant de la transférer à la police.

Ces modérateurs ont-ils reçu une formation adéquate ? Il faut à la fois savoir analyser un contexte donné, et connaître les implications des décisions qu’ils vont prendre…
Moritz : C’est là que réside tout le scandale : les ouvriers sortent du lycée et n’ont pas plus de 19 ans. Pour ces postes, [les entreprises] vont chercher des gens dans la rue. Les compétences requises sont très sommaires, en gros il faut savoir se servir d’un ordinateur. Ils suivent ensuite une formation de moins d’une semaine, au cours de laquelle il leur faut apprendre par cœur plusieurs centaines d’exemples, comme les 37 groupes terroristes du monde avec leurs drapeaux, leurs uniformes, leurs slogans… Et puis ils doivent assimiler toutes les instructions de Facebook, Google, YouTube et tous les autres, avant de les leur renvoyer pour éviter les fuites.

Il y a pire : ces ouvriers doivent prendre des décisions en à peine quelques secondes. On leur fixe un quota de 25 000 images chaque jour, ça fait moins de cinq secondes chacune. Impossible d’être sûr de son choix quand on doit analyser un tel flux d’informations. Vous savez, quand on signale du contenu on a le choix entre dix propositions : sexe, terrorisme, automutilation… Eux, ils se basent là-dessus pour perfectionner leur algorithme. Facebook est en train de mettre au point une IA autonome pour ce genre de trucs.

Pour résumer, on leur demande de former l’algorithme qui va leur piquer leur job ?
Hans : Non, je pense qu’une IA ne pourra jamais faire leur boulot : analyser une image, c’est une chose, mais encore faut-il savoir interpréter un contexte précis. Une vidéo de bagarre par exemple, peut très bien sortir d’un film ou d’une pièce de théâtre. Les machines ne sauront jamais faire la différence entre fiction et réalité.

Les ouvriers sont-ils armés pour faire face à toutes ces images traumatisantes ?
Moritz : Non. Dans notre film, vous avez dû voir cette modératrice qui n’a compris la nature de son job qu’une fois l’entraînement terminé et le contrat signé. Elle s’est retrouvée pour son premier jour à devoir visionner des vidéos pédopornographiques, elle est allée voir le manager pour lui dire que c’était trop pour elle, et voici ce qu’il lui a répondu : « Vous avez signé. C’est votre boulot maintenant. » On ne leur propose aucune préparation psychologique. Tous les trois mois on réunit l’équipe dans une salle, avec un psy qui demande si quelqu’un « a un problème ». Comme on peut s’en douter, personne n’ose trop rien dire, tout le monde regarde ses pieds : ils ont beaucoup trop peur de se faire virer. Si Facebook sous-traite vers les Philippines, ce n’est pas pour rien : ils ont tous une énorme pression sociale sur les épaules. Le salaire, ce n’est pas que pour eux, c’est aussi pour leur famille, et ça peut vouloir dire une dizaine de personnes. Pas question de démissionner.

C’est une sous-traitance de grande envergure ?
Moritz : Même si on n’a pas les chiffres précis, ils doivent être 10 000 rien que chez Facebook. Si on additionne toutes les autres entreprises, ça fait plus ou moins 100 000. Donc oui, grande envergure, c’est le mot.

Vous abordez très bien la question du point de vue. L’une des modératrices du film, très pieuse, se voit comme une « éradicatrice du péché » ; un autre est pro-Duterte et soutient la violence de sa politique anti-crime et anti-drogue. Ces idées politiques et éthiques, est-ce qu’elles interviennent dans leur travail ? Ils sont censés être le plus objectif possible…
Hans : Facebook ne cesse de répéter qu’ils donnent des instructions objectives, valables pour n’importe quel employé. C’est faux, et c’est tout le sujet du film. Le background culturel des employés est déterminant. Leurs instructions sont bourrées d’alinéas qui encouragent l’instinct et l’interprétation personnelle.

Le catholicisme aux Philippines, c’est du sérieux. Ils donnent beaucoup de valeur au sacrifice, surtout quand il s’agit de se battre contre le péché et pour un monde meilleur. C’est pour ça que tant d’ouvriers donnent un sens religieux à leur job. Grâce à ça, ils arrivent à travailler plus longtemps, et à accepter que ce soit si pénible. Rodrigo Duterte est un président très populaire, les gens croient en sa politique. On a interviewé beaucoup de modérateurs et ils sont tous très fiers qu’il ait remporté l’élection. Pour certains, leur travail ne fait que prolonger le sien, alors ils se basent sur ses opinions pour savoir quel contenu il faut supprimer.

Avec Cambridge Analytica, Facebook est au centre de l’attention mondiale. Quel effet vous pensez que ça va avoir sur la sphère modération ?
Moritz : Dans tous ses témoignages, Zuckerberg annonce que Facebook va embaucher 20 000 personnes pour un contenu toujours plus safe. Mais il n’a rien compris. Le problème n’est pas le nombre d’ouvriers, et embaucher 20 000 Philippins sous-payés de plus ne risque pas d’améliorer les choses. La solution, c’est d’embaucher des journalistes formés et compétents. Facebook, ce n’est pas que des photos de vacances et des invitations à des crémaillères. Aujourd’hui, c’est le plus gros moyen de communication du monde. De plus en plus de gens s’en servent pour s’informer, d’où l’importance des décisions en amont. Pour vous donner une idée, pensez cinq secondes à ce que ça donnerait si le premier pélo venu composait la une du Guardian de demain matin : un désastre, non ? Eh bien ça, c’est la situation actuelle dans l’industrie médiatique. Il faut que ça change, mais ça va coûter cher, et ces entreprises sont du genre radines. Leur solution : des ouvriers philippins non qualifiés et sous-payés.

Vous confirmez que certains signalements, pour le terrorisme par exemple, proviennent tout droit du gouvernement américain ?
Moritz : Tout à fait. La liste noire des groupes terroristes à bannir de Facebook, c’est le secrétaire d’État de la Maison-Blanche qui la compose. Pourtant, on est d’accord que la limite entre terroriste et combattant de la liberté dépend en grande partie de l’endroit où on se trouve. Quand Facebook répète à qui veut l’entendre qu’ils sont un réseau neutre, un simple outil technique, c’est du mytho ! Ils font des choix éditoriaux tous les jours.

Les démissionnaires, comment ils s’en sortent ? On les pousse au silence, on les fait suivre… ?
Hans : Pendant la phase de recherches, l’entreprise [de modération] a commencé à nous prendre en photo et à donner les clichés à tout le monde, même à leurs anciens employés, ils leur disaient qu’ils auraient des problèmes s’ils nous adressaient la parole. L’entreprise alimente un climat de peur permanent. Un gars de chez eux nous a écrit sur Messenger, très remonté : il nous a dit que si on ne partait pas tout de suite on était mal barré. Même ceux qui ne travaillent plus chez eux ont eu du mal à nous parler. On avait engagé des avocats pour assurer leur protection, avec des contrats clairs sur ce qu’on avait le droit ou non de mettre dans le film.

Parmi toutes les histoires tragiques qu’on voit dans votre film, il y a cet ouvrier qui a mis fin à ses jours. Savez-vous s’il s’agit d’une exception ?
Moritz : Non, ça arrive très souvent dans cette entreprise. Le taux de suicides est très élevé. Tous les modérateurs nous ont parlé de collègues qui s’étaient tués, c’est un vrai problème dans ce secteur. D’où l’importance d’en parler dans le film. Cet ouvrier dont vous parlez, il travaillait sur des vidéos d’automutilation, et il avait fait plusieurs demandes pour qu’on le change de poste.

Vous pensez que ces entreprises de réseaux sociaux sont au courant de tous ces suicides dans leurs rangs ?
Hans : Bonne question ! À mon avis oui. Ils ont vu le film, donc ils le savent bien, mais c’est aussi ça le problème de la sous-traitance : c’est bien facile pour Facebook de déclarer « Ce n’est pas chez nous, on n’est pas au courant, on n’a pas engagé ces gens et si leurs conditions de travail sont indécentes, on n’y est pour rien. » Voilà le prix à payer pour des réseaux sociaux clean : des suicides à grande échelle. Il faut mettre la pression à ces entreprises par tous les moyens possibles.

@DanielDylanWray