Die Menschen, die deinen Facebook-Feed von Folter, Mord und Pädophilie reinigen

Praktisch im Sekundentakt entscheiden Billiglöhner auf den Philippinen darüber, was auf den Social-Media-Plattformen internationaler Technologiekonzerne bleiben darf und was nicht. Auf ihren Bildschirmen landen Nacktbilder, politische Symbole, Pornographie, Pädophilie, Vergewaltigung, Enthauptungen und Folter. Und das in millionenfacher Ausführung.

"Content-Moderatoren" lautet die offizielle Bezeichnung für jene Menschen, die im Auftrag von Facebook und anderen Social-Media-Plattformen in ausgelagerten Unternehmen weit weg vom Silicon Valley Bilder und Videos auf ihre Richtlinien-Konformität kontrollieren. Und obwohl diese Content-Moderatoren eine so wichtige Aufgabe für die digitale Öffentlichkeit übernehmen, weiß fast niemand von ihrer Existenz.

Auch auf VICE: Die schwierige Thematik des "Ethnic Affiliate Marketings" bei Facebook

"Ich habe ursprünglich auch angenommen, dass diese Dinge einfach von Algorithmen erkannt und gelöscht werden", sagt der Autor und Regisseur Moritz Riesewieck, der dem Thema ein Buch und einen Dokumentarfilm gewidmet hat, im Gespräch mit VICE. Doch laut Aussagen des Facebook-Gründers Mark Zuckerberg wird es noch Jahre dauern, bis Maschinen diese Aufgabe vollständig übernehmen können.

Bis dahin werden weiterhin junge Frauen und Männer auf den Straßen der philippinischen Hauptstadt Manila für den Job rekrutiert werden. Moritz Riesewieck hat für sein Buch Digitale Drecksarbeit – Wie uns Facebook und Co. von dem Bösen erlösen insgesamt zweieinhalb Jahre vor Ort verbracht. Gemeinsam mit seinem Kollegen Hans Block, mit dem er die Recherchen durchführte, entstand auch der Dokumentarfilm The Cleaners.

Dieser durchleuchtet den geheimen Wirtschaftszweig des digitalen Outsourcings, dessen Auswirkungen nur allzu oft analog sind – in ihrem Einfluss auf die Prinzipien einer demokratischen Öffentlichkeit genauso wie auf die psychische Gesundheit der Content-Moderatoren selbst.

"Es dauerte, bis die Leute darüber geredet haben. Andeutungen waren schon länger da, aber es ist auf den Philippinen nicht üblich über psychische Probleme zu sprechen", erzählt Moritz Riesewieck. Alleine den Kontakt zu den Content-Moderatoren herzustellen, hätte Monate gedauert. Noch länger dauerte es, eine Vertrauensbasis zu finden. "Doch nach und nach sprachen sie über Bilder, die immer wieder bei ihnen aufpoppen. Wie Soldaten, die aus dem Krieg wiederkommen."

Ein Mann im Film sagt etwa: "Ich habe schon hunderte Enthauptungen gesehen." Seine Stimme klingt dabei trocken. Oft wüssten die Content-Moderatoren zum Beispiel, welche Messer schnell durch die Knochen gehen und mit welchen es mehrere Anläufe brauchen wird, um einen Kopf abzutrennen, sagt Riesewieck. Trotz der zum Teil grausamen Inhalte müssen die Content-Moderatoren alle Videos zu Ende sehen, um sicherzustellen, dass alle Richtlinienverstöße vermerkt werden.

"Die Symptome, unter denen sie leiden, sind immer ähnlich", so Riesewieck. "Das kann sich in Niedergeschlagenheit ausdrücken oder in Essstörungen. Viele haben keine Lust mehr auf Sex. Das haben vor allem Frauen beschrieben, wenn sie nach Hause kommen und den ganzen Tag irgendwelche Vergewaltigungen gesehen haben."

Während der Dreharbeiten zum Film nahm sich ein Content-Moderatoren das Leben. Er war in einem der Unternehmen beschäftigt, in dessen Umfeld die Regisseure sich bewegten. Er war für Selbstverstümmelungs- und Suizidvideos zuständig.

Es sind posttraumatische Belastungsstörungen, die die Content-Moderatoren quälen. Sie sehen pro Arbeitstag bis zu 25.000 Bilder, viele davon sind verstörend. Um ein Trauma zu erleiden, muss man das traumatische Ereignis nicht einmal live miterlebt haben, sagt Riesewieck. Ein Abbild – wie eben ein Bild oder Video – kann genügen. Das Entscheidende für die Aufarbeitung eines Traumas sei aber, über die belastenden Erfahrungen sprechen zu können.

Doch genau das dürfen Content-Moderatoren nicht. Es sei ihnen vertraglich und teilweise unter Androhung von Haftstrafen untersagt, mit ihren Familien und im Freundeskreis – sogar mit ihren Arbeitskolleginnen und -kollegen – über ihre Erlebnisse aus der Arbeit zu sprechen, erzählt Riesewieck.

Trotz der immensen psychischen Belastung bleiben viele in dem Job, weil sie in den Büros von Manila vor allem im Vergleich zu den ländlichen Regionen verhältnismäßig gut verdienen. Viele von ihnen müssen auch ihre Großfamilien am Land mitfinanzieren. Die Arbeit für ein Technologieunternehmen ist zudem mit einem gewissen Prestige verbunden.

Der in dem südostasiatischen Land stark verankerte, konservative Katholizismus befördert außerdem eine Kultur des Märtyrertums, in der viele Content-Moderatoren bereit sind, ihre eigene psychische Gesundheit für den "Kampf gegen das Böse" im Internet zu opfern, wie der Film eindringlich zeigt.

Die Inhalte, die von den Content-Moderatoren aussortiert werden, sind für die beiden Regisseure so etwas wie die digitale Entsprechung des Giftmülls, der jahrzehntelang an die Häfen der Philippinen geschifft wurde. Im Film dokumentieren die beiden so gesehen schlichtweg eine neue Ausprägung ökonomischer Auslagerungsprozesse, die in anderen Formen schon lange Teil der globalisierten Weltwirtschaft sind. Und auch im digitalen Outsourcing werden neben Aufgaben immer auch Kosten ausgelagert.

Doch im Gegensatz zu früher sind diese Kosten zunehmend unsichtbar, weil sie die Psyche der Arbeiter betreffen. "Wenn eine Näherin ihre Hand in die Maschine bekommt, kann sie zumindest noch immer sagen: 'Das ist beim Arbeiten entstanden, weil hier keine Sicherheitsvorkehrungen getroffen werden oder die Maschinen nicht gewartet werden'", erklärt Riesewieck im Interview. "Bei den Content-Moderatoren kann man den entstandenen Schaden nicht mehr sehen und man kann auch nicht mehr nachweisen, dass der Schaden durch die Arbeit entstanden ist."

Neben den persönlichen Konsequenzen für die Content-Moderatoren stelle die Auslagerung dieser Tätigkeit an Geringverdienerinnen und Geringverdiener in Manila auch eine Bedrohung für eine demokratische, digitale Öffentlichkeit dar, meint Riesewieck.

So wurden etwa die Community-Richtlinien, nach denen die Inhalte aussortiert werden, bis April 2018 streng geheim gehalten. Erst der Facebook-Skandal rund um Cambridge Analytica nötigte das Unternehmen, seine internen Regeln zu veröffentlichen. Selbst die Content-Moderatoren mussten bis dahin die Richtlinien in drei- bis fünftägigen Crashkursen auswendig lernen um Leaks zu vermeiden, wie die Regisseure Block und Riesewieck in ihren Recherchen erfuhren.

Doch warum diese Geheimnistuerei? Was steht in solchen Richtlinien, das die Technologieunternehmen lieber für sich behalten möchten? Kurz gesagt: Sie zeigen, welchen Einfluss die Unternehmen auf den Informationskonsum ihrer Userinnen und User haben – und wie leichtfertig sie oft mit dieser Macht umgehen. "Sobald man sich damit auseinandersetzt, wird einem bewusst, dass es so etwas wie objektiv zu exekutierende Richtlinien bei Bildern gar nicht geben kann", so Riesewieck. Als Beispiel nennt er Bilder oder Videos von Gewalt.

Die Content-Moderatoren müssen abwägen, ob Bildmaterial "gewaltverherrlichend" ist oder einen "Nachrichtenwert" hat. Doch ohne den Hintergrund, Urheber oder Kontext des Bildmaterials zu kennen, ist so eine Entscheidung oft unmöglich zu treffen – man denke etwa an Bilder aus den Wirren eines Kriegsgeschehens. Daher entscheiden die unter Zeitdruck arbeitenden Content-Moderatoren oft einfach nach ihrem Bauchgefühl.

Auch für die Einordnung von Satire, Kunst oder politischen Symbolen braucht es Wissen über Hintergrund und Kontext eines Bildes. Fälle wie die wiederholte Löschung des Ölgemäldes "L'origine du monde" von Gustave Courbet oder der berühmten Kriegsfotografie "The Terror of War" von Nick Út aus dem Vietnamkrieg sind mittlerweile bekannt. Doch generell wissen die Userinnen und User nicht, was sie nicht zu sehen bekommen und schon gar nicht, warum.

Diese Form der Richtlinien-Zensur ist vor allem deshalb ein Problem, weil einige wenige Technologieunternehmen wie Google, Facebook und Twitter so viel Marktreichweite für sich beanspruchen, dass sie zusammen beinahe synonym für das Internet stehen. "Unsere Mutmaßung ist, dass diese Unternehmen ihre Richtlinien so intransparent handhaben, weil in dem Moment, in dem die Öffentlichkeit sich mehr damit auseinandersetzen würde, die berechtigte Forderung aufkommen könnte, dass sie eigentlich viel besser qualifizierte Mitarbeiter für diese Aufgabe bräuchten", sagt Moritz Riesewieck.

Diese Mitarbeiterinnen und Mitarbeiter müssten praktisch die Rolle von Redakteurinnen und Redakteuren übernehmen. Das wiederum würde Facebook aber de facto zu einem Medienunternehmen machen – mit allen Pflichten und Verantwortungen, die dazu gehören. Allem voran die Prüfung des Wahrheitsgehaltes von Inhalten – eine Aufgabe, die das Unternehmen bisher nicht wahrgenommen hat.

Wie drastisch die Folgen sein können, wenn ein Unternehmen mit einer Reichweite wie Facebook seine redaktionelle Verantwortung nicht wahrnimmt, zeigte sich zuletzt in der Rohingya-Krise in Myanmar, wie Moritz Riesewieck beschreibt: "Dort wurde eine ganze Minderheit durch den hasserfüllten Inhalt auf Facebook erschlagen, weil er einfach nicht erkannt und gelöscht wurde. In anderen Fällen sorgt das dafür, dass Widerstandskämpferinnen mundtot gemacht werden."

The Cleaners von Hans Block und Moritz Riesewieck feiert am 5. 6. im Filmcasino Österreich-Premiere.

Folge VICE auf Facebook, Instagram und Twitter.