Quanto sono credibili gli esperimenti psicologici?

La scienza deve essere universale per definizione e a loro volta gli esperimenti, per poter essere considerati scientifici, devono risultare perfettamente riproducibili. Il fatto che due oggetti cadano verso il suolo con la stessa accelerazione sia che vengano rilasciati dalla Torre di Pisa, dalla Tour Eiffel o dal balcone di casa vostra è un fatto scientifico. Gli esperimenti sul controllo mentale portati avanti dalla CIA, invece, purtroppo non lo sono.

Se la riproducibilità degli esperimenti viene messa in discussione, crolla tutto l'edificio teorico della scienza e la sua pretesa di universalità. Per questo, l'inaugurazione di una sezione dedicata alle meta-research sul sito Plos Biology è un'ottima notizia. Tuttavia, negli ultimi tempi, è stata la psicologia sperimentale la branca della scienza che ha animato il dibattito più vivace sul tema della riproducibilità.

Lo scorso dicembre, infatti, la rivista Science ha inserito tra i maggiori successi scientifici del 2015 i risultati del Reproducibility Project. Lo studio nasce nell'ambito del Center for Open Science, una società no-profit fondata nel 2013 da Brian Nosek della University of Virginia la cui missione è indagare sulla trasparenza, l'integrità e la riproducibilità della ricerca scientifica.

Il COS offre vari servizi, tra cui Metascience, una piattaforma dedicata appunto alla ricerca sulla ricerca. Tra i lavori più importanti di Metascience si possono citare Crowdsourcing a dataset, in cui più team analizzano gli stessi set di dati con metodi differenti per verificare se giungono agli stessi risultati, Cancer Biology in cui vengono messi sotto la lente d'ingrandimento gli studi condotti sul cancro e infine il già citato Reproducibility Project dedicato alla psicologia: per 4 anni, 270 ricercatori hanno provato a replicare i risultati di 100 studi di psicologia cognitiva e sociale pubblicati nel 2008 sui tre dei journal scientifici più prestigiosi.

La percentuale di studi riprodotti che ha ottenuto gli stessi risultati di quelli originali è stata del 39%, poco più di un terzo. Quali conclusioni si possono trarre da questi risultati?

Lo studio ha sottolineato la difficoltà nel riprodurre i risultati di ricerche scientifiche, mettendo in luce l'infinità di elementi che possono influenzare i risultati delle ricerche condotte sui comportamenti umani ma sopratutto ha sollevato la questione di definire meglio cosa costituisca, nei fatti, la replica di un risultato scientifico.

Ed è qui che entrano in gioco gli indicatori di riproducibilità. La grandezza che misura la riproducibilità prende il nome di P-value e misura la significatività statistica delle osservazioni. Per esempio, uno studio che ottiene un valore P basso ha risultati maggiormente prevedibili, gli studi con il valore P più alto sono invece i più difficili da riprodurre.

Come concludono gli autori, "la riproducibilità non viene presa sufficientemente in considerazione perché si tende a dare priorità alle novità rispetto alle repliche," anche le scelte editoriali dei journal contribuiscono ad alimentare questo processo. "I rewiever e gli editor scelgono di non pubblicare nuovi test effettuati su studi già noti" anche se solo "la replicabilità può rendere sicuri determinati risultati e promuovere l'innovazione," insomma, per gli studiosi del COS "c'è ancora molto lavoro da fare per verificare se conosciamo davvero quello che pensiamo di sapere."

In prima analisi verrebbe da reputare la percentuale di successo nella riproducibilità degli esperimenti bassa, ma qui sta il paradosso della ricerca scientifica. Non è possibile affermare con certezza che i risultati del primo studio siano falsi. Variazioni nei setting degli esperimenti difficili da cogliere a prima vista possono avere portato a risultati completamente differenti: anche i secondi tentativi rischiano di essere sbagliati.

La replica allo studio di COS, infatti, non ha tardato ad arrivare, così, il 4 Marzo, Science ha pubblicato un altro paper firmato da Daniel T. Gilbert della Harvard University e dal suo team, nel quale si afferma che è proprio lo studio che mette in discussione la riproducibilità degli studi ad essere falsato. Se alcuni studi del Reproducibility Project non hanno superato la prova della replica, questo non indica che i risultati originali fossero falsi, ma piuttosto che fossero "veri soltanto in certe condizioni", spiegano gli autori.

La parte più divertente del documento è quella in cui vengono criticate le modifiche ai campioni di popolazione selezionate per prendere parte ai test "uno studio che misurava i preconcetti degli americani verso gli afro-americani è stato replicato con gli italiani, i quali non condividono gli stessi stereotipi; uno studio in cui veniva chiesto agli studenti universitari di immaginare di essere chiamati da un professore è stato replicato con soggetti che non hanno mai frequentato il college."

Anche la variazione nelle procedure viene individuata come problematica: "uno studio in cui veniva chiesto a degli israeliani di immaginare le conseguenze di intraprendere servizio militare è stato replicato chiedendo agli americani di immaginare le conseguenze di partire per una luna di miele" (?!) e ancora "uno studio che mostrava come variare la formulazione di un appello alla carità inviato per posta ai coreani aiutasse ad incrementare il tasso di risposta è stato replicato con l'invio di 771,408 mail a persone di tutto il mondo (ottenendo un tasso di risposta essenzialmente nullo in ogni caso)."

Secondo Gilbert, gli studi da replicare non sarebbero stati scelti in maniera casuale e non sarebbero state operate le dovute correzioni statistiche. I problemi sono che "l'OSC non ha considerato le fonti di errore,ha sottostimato il tasso di successo degli studi" ed è stata affetta a sua volta dai suoi pregiudizi (il fenomeno del bias) tendendo a ricercare il risultato ad effetto coerente con le sue tesi. Insomma "la metascienza non è esente dalle regole della scienza," come dichiarato nelle conclusioni.

Quindi al momento, secondo questo ultimo studio, non esiste nessuna crisi nella riproducibilità degli esperimenti psicologici. Piuttosto, se da un lato non si può affermare con certezza che gli studi presi come riferimenti siano universalmente "validi," per Gilbert e colleghi è sicuro che le analisi condotte dal Reproducibility Project contengano errori. Il dato confortante, sempre secondo il ricercatore di Harvard, è che una percentuale di successo del 39% è da considerarsi alta.

Ovviamente queste si sono meritate una risposta firmata da alcuni autori dello studio sulla riproducibilità del COS, i quali, pur riconoscendo alcuni tra i difetti individuati, hanno spiegato che sul caso possono essere fatte conclusioni sia ottimistiche che pessimiste - dipende dal punto di vista.

E il mistero della riproducibilità negli esperimenti psicologici si infittisce.