Wie wir bei unserer Datenanalyse über Falschmeldungen auf Facebook gearbeitet haben

Welche Nachrichtenseite verbreitet auf Facebook die meisten Halb- oder Unwahrheiten? Gehen Falschmeldungen wirklich schneller viral als korrekte Informationen? Welche Rolle spielen neben Blogs große deutschsprachige Medien im Problemkomplex von Desinformation und Fake News in sozialen Medien? Und wie weit verbreitet sind falsche oder handwerklich sehr schlechte Nachrichten eigentlich in Deutschland? Um diese Fragen zu klären, hat Motherboard auf Facebook rund 2.000 Posts von Nachrichtenmedien untersucht und nachrecherchiert.

Unser Ziel: Wir wollen der aufgeregten Debatte eine Analyse beisteuern, die so wissenschaftlich wie möglich ist. Auch das kann nur ein Versuch sein, sich der Wahrheit™ so weit wie möglich anzunähern. Doch vielleicht kann unser Datensatz nicht nur helfen zu differenzieren, wie viele unterschiedliche Aspekte in dem Phänomen stecken, sondern auch die Hintergründe des Phänomens Fake News beleuchten: Wie kommt es, dass sich Falschmeldungen mit einer teilweise erstaunlichen Wucht verbreiten?

Folgt Motherboard auf Facebook, Instagram, Snapchat und Twitter

Im folgenden FAQ liefern wir Hintergründe zum Set-up unserer Untersuchung. Weitere Fragen könnt ihr uns gerne in in einem Reddit-AMA am 19. September von 16-18 Uhr stellen. Alle Ergebnisse unserer Datenrecherche könnt in diesem Text lesen.

Was habt ihr überhaupt analysiert? Welche Posts habt ihr einem Faktencheck unterzogen?

Die Grundlage unseres Datensatzes bilden die Inhalte aller Facebook-Beiträge von Huffington Post Deutschland, Sputnik, Focus Online Politik, Bild, Spiegel, Vice, RT Deutsch und Epoch Times über einen Zeitraum von sechs Tagen. Insgesamt sind so zwischen dem 20.11. bis 26.11.2016 rund 2.100 Posts zusammengekommen.

In unserer Untersuchung haben wir alle Posts und Videos berücksichtigt, die einen Bezug zum aktuellen Zeitgeschehen und damit einen Nachrichtenwert haben; darunter Kommentare, Reportagen, Hintergründe und Meldungen aus den Bereichen Politik, Wirtschaft, Technik, Gesellschaft.

Was ist mit all den Tier-Gifs, die auf Facebook gepostet werden? Wie habt ihr da einen Faktencheck gemacht?

Herausgefiltert haben wir alle Posts, die keinen unmittelbaren Nachrichtenwert haben oder deren Inhalt sich einer faktischen Überprüfung entzieht. Dazu gehören zum Beispiel:

• Posts, die eindeutig der Unterhaltung dienten, ohne Bezug zum Zeitgeschehen
• Tier-Content
• Subjektive Erfahrungsberichte
• Witze, Sinnsprüche, Memes, Gewinnspiele
• Sportergebnisse
• Fotostrecken

Nach diesen Eingrenzungen bleiben noch 1.905 Posts, die wir verifiziert und in die drei Kategorien "wahr", "naja" und "falsch" eingeordnet haben (mehr zu den Kategorien weiter unten).

Wie habt ihr den Wahrheitsgehalt eines Posts überprüft?

Der Inhalt eines Facebook-Posts besteht aus einem Bild, einer Überschrift und einer sogenannten Copy – jenem oft nur einen Satz kurzen Anreißer, der über dem Bild eines Posts steht und die Leser für den gesamten Artikel interessieren soll.

Für jeden Post haben wir uns diese drei Aspekte angeschaut und ihn zunächst mit der eigentlichen Nachricht auf der Website des Mediums verglichen. Anschließend recherchierten wir die Geschichte nach folgenden Kriterien nach:

• Kann ich die Informationen aus dem Facebook-Post woanders finden – aus einer anderen Quelle, die nicht zum gleichen Medienhaus gehört oder der Blattlinie entspricht?
• Lassen sich die im Post getätigten Behauptungen bestätigen?
• Gibt es Nachrichtenagenturen, die darüber ähnlich berichten?
• Gibt es für den Inhalt des Facebook-Posts eine direkte Quelle wie ein Video, einen O-Ton, ein Dokument?
• Wie unmittelbar sind die angegebenen Quellen?
• Halten Überschrift und Copy einem Faktencheck stand; stimmen Daten, der Kontext, die Ausrichtung der Nachricht?
• Inwiefern und in welchem Ausmaß enthält der Facebook-Post irreführende oder falsche Informationen?

Wie habt ihr die Posts in die drei Kategorien "richtig", "naja" und "falsch" eingeteilt?

Die untersuchten Posts haben wir nach unserem Faktencheck in drei Kategorien eingeteilt.

Kategorie A, "richtig": Der Inhalt des Facebook-Posts basiert auf Fakten. Es lässt sich nachrecherchieren, dass das Gepostete weitestgehend so passiert ist. Es handelt sich also um eine Nachricht, die von mehreren Quellen bestätigt wurde und journalistisch korrekt aufgeschrieben wurde. Sollte es sich bei dem Post um einen Kommentar handeln, so ist er klar als solcher gekennzeichnet.

Kategorie B, "naja": Der Facebook-Post basiert zwar auf bestätigten Fakten, ist aber journalistisch fragwürdig: Zusammenhänge werden insinuiert, Distanz wird nicht gewahrt, Zitate aus dem Zusammenhang gerissen, Spekulationen werden als Fakten aufgeschrieben. Posts, die wir der Kategorie B zugeordnet haben, fallen manchmal auch unter das, was umgangssprachlich als Clickbait bezeichnet wird.

Kategorie C, "falsch": Die Geschichte hinter dem Facebook-Post lässt sich gar nicht verifizieren, ist so nicht passiert und / oder vermittelt über den Facebook-Post ein völlig falsches Bild. Die Nachricht basiert auf unbestätigten Behauptungen oder bringt mehrere Tatsachen in unbestätigten Zusammenhang. Stark tendenziöse und einseitige Berichterstattung. Kommentare und Meinungen sind nicht als solche gekennzeichnet.

Was habt ihr gemacht, wenn eure Redakteure sich bei der Kategorisierung nicht einig waren?

Wir haben versucht, das durch möglichst klare Kriterien und das Vier- oder Sechsaugenprinzip so gut wie möglich aufzufangen. Wackelkandidaten wurden deshalb an einen zweiten Redakteur weitergegeben, der die Einteilung direkt vorgenommen hat. War er sich selbst ebenfalls nicht sicher, haben wir die Einteilung gemeinsam mit einem weiteren Redakteur diskutiert und auch mit den Posts verglichen, die bereits in Kategorien B und C lagen.

Warum habt ihr genau diese Medien ausgewählt?

Wir haben uns auf zweimal vier deutschsprachige Medien konzentriert – vier neuere Medien und vier etablierte. Die neueren Medien wurden nach folgenden Kriterien ausgewählt:

Reichweite: Die Online-Angebote der von uns ausgewählten Medien haben pro Monat mindestens 3,5 Millionen Aufrufe. Zur Vergleichbarkeit haben wir für alle Medien die Zahlen des Analysedienstes Similarweb genutzt.

Kritik: Wir haben uns besonders für solche Seiten interessiert, die bereits häufiger im Zusammenhang mit falschen oder irreführenden Nachrichten in Erscheinung getreten sind und kritisiert wurden.

Vollredaktion: Wir haben nur Online-Medien in Betracht gezogen, die sich nicht nur an einem Themenkomplex abarbeiten, sondern beanspruchen, den Leser in vollem Umfang mit Nachrichten des aktuellen Zeitgeschehens zu versorgen. Damit fallen auch monothematische Blogs oder sogenannte Aggregatoren, die nur Inhalte anderer Medien sammeln, heraus. Auch Medien, die von Politikwissenschaftlern politisch klar links oder rechts eingeordnet werden, wie die taz oder die Junge Freiheit, haben wir nicht berücksichtigt.

Nach den bisherigen drei Kriterien haben wir vier Seiten ausgesucht: Epoch Times, Huffington Post,RT Deutsch und Sputnik. Alle Angebote existieren in Deutschland erst seit wenigen Jahren. Um herauszufinden, wie weit verbreitet das Phänomen mit den Falschmeldungen in Deutschland ist, wollten wir aber nicht nur die größeren "neuen" Player auf dem Markt untersuchen, sondern auch etablierte Angebote näher betrachten.

Aus einigen der größten deutschen Nachrichtenmedien haben wir eine Kontrollgruppe erstellt: Mit der Bild ist das reichweitenstärkste Medium überhaupt vertreten, mit der Facebook-Seite vonSpiegel Online das größte linksliberale Medium und mit Focus die größte konservative Nachrichtenseite. Und weil wir selbst schließlich auch ein Onlinemagazin sind, haben wir unsere Firma, also den Facebook-Output von Vice Deutschland, auch gleich selbst untersucht.

Warum verbreiten die Medien denn überhaupt Fake News?

Das war nicht Gegenstand unserer Untersuchung und wäre auch so gut wie unmöglich von außen zu beurteilen. Es kann schlechtes Handwerk sein, der Wille zur Manipulation oder die verzweifelte Jagd nach Klicks. In unserer Datenerhebung haben wir uns darauf konzentriert, wie viele nicht wahre und verzerrende Meldungen auf Facebook überhaupt gepostet werden und wie sich der Wahrheitsgehalt eines Posts auf die Verbreitung des Posts auswirkt.

Um mehr über die redaktionellen Hintergründe der einzelnen von uns untersuchten Seiten zu erfahren, haben wir die analysierten Medien alle mit unseren Recherchen konfrontiert und sie auch zu einzelnen falschen Facebook-Posts befragt. Die Antworten auf unsere Rückfragen könnt ihr in diesem Text über die einzelnen Posting-Strategien der Medien lesen. Dort analysieren wir auch den "Facebook-Charakter" der einzelnen Nachrichtenmedien und untersuchen, welche Posts besonders gut funktioniert haben. Da wir die Rohdaten zu allen Posts veröffentlichen, kann sich außerdem jeder ein Bild zu den einzelnen Meldungen und Spins machen, mit denen die acht Medien besonders "erfolgreich" sind.

Ich will mit euch darüber diskutieren, was all das bedeutet und sehe das mit den Fake News ein bisschen anders!

Wir hoffen sehr, dass unsere Recherche auch der Auftakt für eine differenzierte Debatte zum Thema Fake News ist. Deshalb könnt ihr uns am 19. September von 16-18 Uhr all eure Fragen in einem Ask Me Anything (AMA) auf Reddit stellen. Ihr braucht dafür einen Account bei Reddit. Die beteiligten Redakteure erreicht ihr auch auf Twitter.

Welche Probleme gab es bei der Analyse?

Was passiert und was nicht passiert ist, lässt sich in den meisten Fällen trotz Framing und unterschiedlichen Interpretationen bestimmen. Doch manche Begebenheiten, gerade wenn es um Vorgänge in Syrien geht, lassen sich nicht unabhängig verifizieren. In diesen sehr wenigen Fällen haben wir die Posts aussortiert, weil sie sich einer Bewertung komplett entziehen.

Unsere Analyse kann nur ein Anfang sein, um dem Thema ein paar handfeste Daten hinzuzufügen. Ein Beispiel: Der für uns handhabbare Untersuchungszeitraum von sechs Tagen kann nicht immer repräsentativ die ganze Bandbreite der Inhalte abbilden, die ein Medium im Laufe des Jahres veröffentlicht.

Looking at you, Spiegel Online: Obwohl sich das Medium extrem wahrheitsgetreu in unserer Datenanalyse präsentiert, leistete sich SpOn auf Facebook direkt außerhalb des Untersuchungszeitraums einen Klopper, der eigentlich nicht hätte passieren dürfen:

In diesem Post zum Tode Fidel Castros wird der Eindruck erweckt, der kanadische Ministerpräsident habe nicht nur den kubanischen Revolutionsführer, sondern auch Osama Bin Ladens Gesang gelobt. Tatsächlich bezeichnete Trudeau Castro als "bemerkenswerten Anführer" – und das stieß vielen Beobachtern sauer auf. Tatsächlich stammt das Zitat in der Copy "Gedenken wir Osama bin Laden. Er war ein Dieb und ein Terrorist, aber er hatte eine begnadete Singstimme" nicht von Trudeau, sondern von irgendeinem empörten Twitter-Nutzer, der es wohl sarkastisch meinte. Zusammen mit dem Bild, auf dem es auch noch so aussieht, als würde Trudeau tatsächlich den Satz über seinem Kopf sagen, hätten wir diesen Post in die Kategorie als verzerrend und irreführend eingestuft.

Warum habt ihr die Recherche erst jetzt veröffentlicht?

Nachdem wir die Daten Ende November erhoben haben, wurden sie händisch in Tabellen eingetragen und nachrecherchiert. Einen ersten Einblick in unsere Ergebnisse haben wir im Mai auf der Digitalkonferenz re:publica gegeben. Dort haben wir einige unserer Daten präsentiert und Posts in einer Game-Show debattiert. Die Erklärung, warum all das so lange gedauert hat, ist einfach: Wir sind eine kleine Redaktion. Alle beteiligten Redakteure hatten neben dieser Recherche auch stets tagesaktuelle Berichte, andere wichtige Recherchen und weitere Projekte, an denen sie gearbeitet haben. Gerne hätten wir dieses Projekt früher abgeschlossen, aber wir haben es einfach nicht schneller geschafft, alles gründlich fertigzustellen.

Nach unserer Präsentation auf der re:publica haben wir den untersuchten Redaktionen Gelegenheit gegeben, sich zu unseren Ergebnissen zu äußern und zu erklären, wie es zu den Falschmeldungen und Halbwahrheiten kommen konnte. Nun veröffentlichen wir unsere Recherche in der heißen Phase des Wahlkampfs, in der auch Fake News und Faktenchecks eine große Rolle spielen könnten.

Kann ich mal die Rohdaten sehen, damit ich selber entscheiden kann, welche Posts wahr oder falsch sind?

Ja, gerne. In diesem Google-Dokument könnt ihr die Daten als Excel-Tabelle (XLS) einsehen.