Ein kleiner Bug droht 24 Jahre Hirnforschung zunichte zu machen

Das menschliche Gehirn wird oft als eines der komplexesten Systeme des Universums bezeichnet. Seit tausenden von Jahren versuchen wir Menschen schon, in unser Hirn hineinzuspähen, um zu verstehen, was da eigentlich vor sich geht: Durch Trepanation, CT-Aufnahmen und in den vergangenen zwei Jahrzehnten durch die funktionelle Magnetresonanztomographie (fMRT). Die seit rund zwei Jahrzehnten bevorzugte Hirnforschungsmethode, bei der die Durchblutung und damit indirekt die Aktivität im Gehirn gemessen werden kann, hat ein ganz neues Forschungsfeld, eine endlose Reihe Studien über die Funktionsweise des Gehirns und nicht zuletzt Hoffnung bei der Heilung komplizierter neurologischer Erkrankungen hervorgebracht.

Doch jetzt gibt es möglicherweise ein großes Problem: Die statistischen Methoden, auf denen diese zahlreichen Studien beruhen, könnten laut Anders Eklund von der Linköping University in Schweden fehlerhaft sein. In dem Paper, das in der wissenschaftlichen Fachzeitschrift PNAS veröffentlicht wurde, überprüften Eklund und seine Mitautoren die normalerweise für fMRT-Studien verwendeten Methoden anhand umfangreicher Daten von echten Menschen. Sie nahmen sich dazu die drei Software-Systeme vor, die üblicherweise zur Analyse der fMRT-Scans benutzt werden und fanden heraus, dass sie Falsch-Positiv-Raten von bis zu 70 Prozent verursachen und somit Gehirnaktivität anzeigen können, obwohl tatsächlich keine vorliegt. Die Forscher hatten mit einer Falsch-Positiv-Rate von maximal 5 Prozent gerechnet.

Diese Ergebnisse stellen nun etwa 40.000 fMRT-Studien infrage, die seit 1992 veröffentlicht wurden, so die Anmerkung im Paper. Mit anderen Worten steht nun hinter einem gesamten Forschungsfeld ein großes Fragezeichen.

„Trotz der Beliebtheit der fMRT als Verfahren zur Untersuchung der Gehirnfunktion wurden die angewandten statistischen Methoden selten mit echten Daten validiert", so die Erklärung im Paper. Validierungen wurden stattdessen anhand von simulierten Daten vorgenommen, was aber nicht das Gleiche ist und die „Geräusche, die von einem lebenden menschlichen Subjekt in einem MR-Scanner erzeugt werden, nicht wiedergeben kann", so das Paper weiter.

Die Autoren der Studie haben sich die fMRT-Daten des Gehirns im Ruhezustand von 499 gesunden Menschen von unterschiedlichen Datenbanken aus aller Welt vorgenommen. Diese 499 Probanden teilten sie in Gruppen von jeweils 20 ein und verglichen sie miteinander, was insgesamt zu drei Millionen Vergleichen zufällig ausgewählter Gruppen führte. Innerhalb dieser gesunden Kontrollgruppen „hätte es zu keinen Unterschieden kommen dürfen", erklärt Eklund gegenüber Motherboard—zumindest nicht über den akzeptablen Wert von fünf Prozent Falsch-Positiv-Rate hinaus. Die Differenz war aber häufig um einiges größer, was darauf hinweist, dass die Daten positive Resultate anzeigen könnten, wo es keine gegeben hat.

Eine der Ursachen für den Fehler war wohl laut der Forscher ein Bug in der Software, der offensichtlich seit 15 Jahren im Quellcode war. (Laut Paper wurde der Bug im Mai 2015 behoben, als das Manuskript für die Studie gerade vorbereitet wurde.) Was das Problem aber besonders heimtückisch macht, ist laut Eklund die Tatsache, dass es bisher sehr schwierig gewesen ist, die Forschungsmethoden zu validieren. Die aktuelle Studie könnte das erste Mal sein, dass sie so streng überprüft wurden. Und doch haben etliche Forscher jahrzehntelang auf diese Methoden vertraut.

Ein weiterer wesentlicher Grund liegt bei den Kosten: fMRT-Scans sind unglaublich kostspielig. Einen Scan durchzuführen kann pro Stunde um die 600 US-Dollar kosten, und ein einziges fMRT-Gerät kostet bis zu 3 Millionen US-Dollar. Dadurch ist es für Forscher natürlich schwierig, groß angelegte Studien durchzuführen und meistens müssen sie sich „mit 20-30 Probanden zufrieden geben", so Eklund.

Für dieses Paper hat der Wissenschaftler eine Lösung dieses Problems gefunden: In den letzten Jahren haben einige Forschungsgruppen damit begonnen, ihre fMRT-Daten kostenlos zur Verfügung zu stellen. Diese Initiativen der gemeinsamen Datennutzung haben es ermöglicht, eine viel größere Menge an Daten statistisch zu analysieren, so das Paper. „Ich vermute, dass wir etwa eine Million US-Dollar einsparen konnten, indem wir [Patientendaten] kostenlos heruntergeladen haben", erzählt Eklund.

Ein weiterer Grund für die mangelnde Validierung lag bis vor kurzem noch in der geringen Rechenleistung der Computer—sie waren schlicht zu langsam. „Es hätte an einem Computer vielleicht zehn oder 15 Jahre gedauert, diese Analyse durchzuführen", sagte er, „doch heute benutzen wir [für die extrem aufwendige Bildanalyse] eine Grafikkarte." Dadurch konnte die Bearbeitungszeit „von zehn Jahren auf 20 Tage" gesenkt werden.

Eklund war sich offenbar darüber im Klaren, dass seine Ergebnisse in der Wissenschaftswelt großes Aufsehen erregen würden. Bevor er sein Paper im PNAS veröffentlichen ließ, teilte er seine Erkentnisse also zunächst auf den Preprint-Servern mit anderen Forschern aus dem Bereich und gab ihnen somit die Möglichkeit, seine Ergebnisse im Vorhinein zu überprüfen und eventuelle Einwände zu erheben.

Außerdem ließ er auch die Hersteller der drei Software-Systeme von seinen Ergebnissen wissen und sagte ihnen, „das haben wir gemacht, das ist der Code, bitte überprüfen Sie, ob wir richtig vorgegangen sind", so Eklund. Bisher hat ein Hersteller Einwände erhoben, ein anderer hat die Arbeit des Teams überprüft und mit einem technischen Bericht darauf geantwortet.

Zur Zeit kann nicht genau gesagt werden, wie viele der etwa 40.000 Studien, die auf fMRT basieren, möglicherweise fehlerhaft sind, und natürlich ist es unmöglich, alle zu wiederholen. Die Autoren rufen die fMRT-Gemeinschaft jetzt aber dazu auf, vor allem die Methoden, die heute benutzt werden, zu überprüfen. Trotzdem ist es ein kritischer Zeitpunkt, an dem die Ergebnisse nun vorgelegt werden: Wissenschaftler befinden sich gerade in einer Reproduzierbarkeits-Krise, während der sie einsehen mussten, dass Ergebnisse nicht immer wiederholt werden können. Nun muss also das Peer-Review-System selbst neu überdacht werden.

Wissenschaftspraxis setzt sich aus einer langen Kette gegenseitiger Kontrollen zusammen. „Wir sind ständig dabei, Arbeiten zu überprüfen und zu korrigieren", sagt Eklund, der seine Analyse als Teil dieses Prozesses ansieht.

Die neuesten Erkenntnisse sollten der Wissenschaftswelt vor allen Dingen eins klarmachen: Es ist wichtig, Daten kostenlos mit anderen Institutionen aus dem gleichen Forschungsbereich zu teilen. Sonst wären beispielsweise Eklunds Analyse und die Veränderungen, die sich daraus vielleicht noch ergeben werden, nicht möglich gewesen.