Viene spesso ripetuto, forse in modo un po’ iperbolico, che il cervello umano è la più complessa struttura nell’universo conosciuto. Per migliaia di anni, abbiamo cercato di sbirciare cosa succede al suo interno—prima attraverso la trapanazione, successivamente, via tomografia computerizzata, o altre tecniche moderne, come la risonanza magnetica funzionale (fMRI) che misura il flusso sanguigno (e, indirettamente, l’attività) all’interno del cervello.

La fMRI è uno strumento incredibile che ha portato alla nascita di un intero nuovo campo di ricerca, oltre a una serie infinita di nuovi studi sul funzionamento del cervello. Ha permesso ai ricercatori di studiare la dipendenza da stupefacenti, l’empatia umana verso i robot e gli effetti sul cervello tanto della poesia quanto della prosa, giusto per fare qualche esempio tra i tanti.

Ma c’è un problema. Un grosso problema. I metodi statistici su cui si basano questi studi potrebbero essere compromessi da gravi difetti, stando ad Anders Eklund, dell’università di Linköping, in Svezia. In un nuovo articolo pubblicato su PNAS Eklund e i suoi co-autori valutano i metodi comunemente utilizzati negli studi basati su fMRI, mettendoli alla prova con un grande numero di dati tratti da persone reali. Hanno preso in considerazione tre software utilizzati in questo genere di ricerche e scoperto che i falsi positivi possono ammontare al 70 percento—indicando, potenzialmente, un’attività nel cervello dove non ce n’è nessuna. Quando hanno cominciato il processo di revisione si aspettavano che i falsi positivi non incidessero di oltre il 5 per cento.

Il problema getta ombre su qualcosa come 40.000 articoli basati sull’uso dell’fMRI, pubblicati dal 1992 a oggi. In altre parole, l’intero campo di ricerca è sospetto.

“Nonostante la popolarità dell’fMRI come strumento per studiare il cervello, i metodi statistici correlati sono stati raramente messi alla prova con dati reali,” recita l’articolo. La verifica è sempre stata condotta su dati simulati, ma non è proprio la stessa cosa—e certamente non può rispecchiare con precisione il “rumore di fondo prodotto da un vero soggetto umano durante una vera risonanza magnetica,” prosegue.

È impossibile sapere con certezza quanti e quali, tra i 40.000 esistenti, siano gli studi compromessi.

Nello studio, gli autori hanno osservato dati delle fMRI di 499 soggetti sani a riposo, provenienti da vari database di tutto il mondo. Li hanno poi divisi in gruppi da 20 e comparati tra loro, mettendo a punto un totale di tre milioni di comparazioni tra gruppi selezionati a caso. Tra questi gruppi di controllo sani, “non dovrebbero registrarsi differenze,” mi ha spiegato Eklund—comunque, una porzione di falsi positivi che non vada oltre il 5 per cento. Le differenze, invece, erano molto maggiori, a significare che i dati possono indicare casi positivi che non esistono.

Uno dei problemi individuati era un bug nel software apparentemente non rilevato per oltre 15 anni. (Bug risolto nel maggio del 2015, stando all’articolo, nello stesso periodo in cui veniva redatta la prima bozza del paper.) Ma un problema più insidioso, mi ha detto Eklund, è la difficoltà incontrata fino a oggi nel validare i metodi in uso e questo studio potrebbe rappresentare il primo caso in cui sono stati messi alla prova con un metodo così rigoroso. Eppure, un’infinita di ricercatori ha fatto affidamento sugli stessi metodi per anni.

Uno dei motivi principali è di natura economica: le scansioni fMRI sono notoriamente costose. (Una scansione può costare fino a 600 dollari all’ora e una macchina può arrivare a 3 milioni di dollari.) Questo rende difficile per il ricercatore produrre studi su vasta scala con molti pazienti, quindi “di solito lavorano con [appena] 20 o 30 soggetti,” ha aggiunto Eklund.

Per questo articolo, gli studiosi sono riusciti ad aggirare il problema: nel corso degli anni, alcuni gruppi di ricerca hanno cominciato a condividere gratuitamente i propri dati fMRI. Queste iniziative hanno reso possibile l’analisi statistica di un grandissimo quantitativo di dati, stando all’articolo. “Penso che abbiamo risparmiato almeno un milione di dollari solo scaricando i dati dei pazienti gratis,” mi ha spiegato.

Un’altra ragione per cui in precedenza era difficile validare i metodi e gli strumenti di ricerca era che i computer non erano all’altezza del compito—o comunque non di portarlo a termine in un tempo ragionevole e utile. “Un singolo computer ci avrebbe impiegato 10 o 15 anni a concludere l’analisi dei dati,” mi ha detto, “ma oggi è possibile sfruttare le moderne schede grafiche.” Questo ha permesso di abbassare i tempi “da 10 anni a 20 giorni.”

Eklund deve aver realizzato presto l’importanza dei suoi risultati, perché prima che l’articolo venisse pubblicato su PNAS, aveva già diffuso la sua scoperta sui server pre-stampa, aprendoli a qualsiasi controllo o obiezione da parte dei ricercatori del campo.

Ha anche inviato le sue conclusioni agli sviluppatori dei tre pacchetti software, “e spiegato quello che avevamo fatto, il codice utilizzato e chiedendo se, per cortesia, potessero controllare che tutto fosse stato fatto per bene.” A oggi, uno dei tre sviluppatori ha introdotto dei cambiamenti nel proprio programma, mentre un altro ha revisionato il lavoro del team e pubblicato una risposta qui.

È impossibile sapere con certezza quanti e quali, tra i 40.000 esistenti, siano gli studi compromessi e non è certo possibile rifarli tutti. Gli autori hanno incoraggiato la comunità fMRI a verificare i metodi attualmente in uso. Anche così, però, questa scoperta arriva in un momento difficile: gli scienziati stanno combattendo una crisi di riproducibilità, nata dalla difficoltà nel replicare i risultati di molte ricerche. Il sistema di peer review è esso stesso sotto esame.

La scienza esiste attraverso una serie di controlli e bilanciamenti. “Stiamo sempre revisionando e correggendo un lavoro precedente,” ha aggiunto Eklund, che ritiene i suoi risultati parte del processo.

Se non altro, questa scoperta suggerisce con una certa autorità che molti altri ricercatori dovrebbero condividere i propri dati: senza questo dataset, l’analisi di Eklund sarebbe stata impossibile, insieme a qualsiasi cambiamento che potrebbe nascere da questa.