Un nuovo studio lo conferma: gli esperimenti psicologici hanno un problema

In un’intervista a Vanity Fair del 2012, Obama rivelava di indossare sempre gli stessi abiti, di modo da ridurre le decisioni prese durante la giornata. L’ego depletion è il fenomeno secondo cui autocontrollo e capacità di scelta attingono a un serbatoio limitato di energie. In breve, se si concentrano i propri sforzi nello stare a dieta o nella scelta della spesa, si avranno meno energie disponibili per prendere decisioni successive. Dalla sua prima descrizione nel 1998, l’ego depletion è diventato uno dei costrutti più prolifici della psicologia sociale, e ha prodotto una quantità impressionante di letteratura sia specialistica che divulgativa.

La sua attendibilità, però, è stata presto messa in dubbio nel pieno di una crisi più ampia che sta riguardando la riproducibilità scientifica nelle scienze sociali e psicologiche — un problema la cui esistenza è stata evidenziata ancora di recente da uno studio uscito su Nature.

È nel 2010 che le cose iniziano a sgretolarsi: Evan Carter, studente della Miami University, passa in rassegna una meta-analisi (quella che nel mondo delle pubblicazioni accademiche è una sorta di compendio di tutti gli studi effettuati su un determinato costrutto per fare un po’ il punto della situazione) proprio sull’ego-depletion, dopo aver provato a ricreare senza successo un esperimento piuttosto noto, che dimostrava come le bevande zuccherate potessero rimpolpare la scorta di energie necessarie a prendere decisioni e a esercitare autocontrollo.

Più Carter si impegna a capire cosa può aver sbagliato nel ricreare le condizioni sperimentali dell’ effetto limonata, più si rende conto che in generale i risultati degli studi sull’ego-depletion sono affetti da svariati vizi che in ultima analisi ne alterano la credibilità.

Così, nel 2015, Carter pubblica insieme ai colleghi di laboratorio una revisione della meta-analisi sull’ego-depletion, utilizzando nuovi modelli statistici per valutare i bias contenuti nella prima meta-analisi. L’articolo s’intitola “ A Series of Meta-Analytic Tests of The Depletion Effect: Self-Control Does Not Seem to Rely on a Limited Resource” e segna di fatto il declino di uno dei costrutti più floridi della psicologia sociale degli ultimi anni.

Ma non è finita qui, perché il 2015 è un anno davvero complicato per la psicologia sperimentale: il 28 agosto compare su Science l’articolo “Estimating the reproducibility of Psychological Science” firmato a nome della Open Science Collaboration, che con il Reproducibility Project si pone l’obiettivo di replicare cento esperimenti importanti pubblicati da tre autorevoli riviste del settore. La riproducibilità è un pilastro del metodo scientifico: perché un esperimento sia valido, deve essere riproducibile, ossia, per dirla con le parole del direttore di Science: “una persona diversa dallo sperimentatore originale deve essere in grado di ottenere gli stessi risultati seguendo lo stesso protocollo sperimentale. Quanto più uno studio può essere replicato facilmente, tanto più affidabili sono i suoi risultati”.

Detta in modo ancora più semplice, se si sostiene di poter trasformare l’acqua in oro, si deve anche fornire il metodo con cui si è riusciti nell’impresa, affinché questa possa essere riprodotta da altre persone nel mondo.

I risultati dell’articolo del 2015 mostrano però che soltanto il 36% degli esperimenti presi in considerazione supera il test della riproducibilità. Le critiche non tardano ad arrivare, tra chi sostiene che i metodi utilizzati per replicare gli esperimenti siano discutibili, o che i risultati diversi siano dovuti a fattori contestuali e culturali che non riguardano il protocollo sperimentale di per sé — per esempio, soggetti sperimentali olandesi sono diversi da soggetti sperimentali americani a livello culturale e sociale, cosa che potrebbe inficiare il grado di riproducibilità di un protocollo sperimentale.

Eppure, anche ammettendo che i risultati ottenuti dal Reproducibility Project possano essere in parte esagerati, l’impressione che l’imperatore sia nudo, o almeno in topless, c’è. Ma come si è arrivati a questo punto? Per capirlo tocca fare un passo indietro e guardare a come funziona il mondo accademico.

La ricerca costa soldi e a prescindere che sia finanziata da pubblici o privati; se non ottiene risultati “utili” viene privata delle sue risorse. Questo vuol dire che i ricercatori e i laboratori subiscono una certa pressione per pubblicare risultati elettrizzanti e ottenere finanziamenti e riconoscimenti accademici, e dall’altra parte le riviste non aspettano altro che la nuova grande scoperta. Non si ottiene alcun tipo di ricompensa economica e sociale replicando esperimenti passati o pubblicando esperimenti che non contengono elementi di novità o che non hanno trovato i risultati previsti.

Non solo: spesso esperimenti che ne invalidano altri non vengono accettati dalle riviste di settore. Un esempio piuttosto incredibile è quello che si è verificato nel 2011, quando Daryl Bem, professore alla Cornell, ha pubblicato una serie di esperimenti che provavano l’esistenza di fenomeni psichici (come la preveggenza). Dopo l’uscita del paper, si sono sollevati parecchi studiosi, e tre team di ricercatori hanno inviato alla rivista la confutazione empirica dei risultati di Bem senza riuscire a farsi pubblicare.

Un’altra pratica che favorisce l’invalidità degli esperimenti è il p-value haking, che consiste nello smettere di accumulare dati nel momento in cui quelli che si hanno confermano le aspettative sperimentali. Oppure, nel momento in cui non si trovano i risultati sperati per un certo set di dati, si decide di analizzare i dati in un altro modo, andando letteralmente a pesca di risultati tangibili che naturalmente saranno per lo più casuali. Un altro fattore importante è rappresentato dalla limitatezza del campione negli esperimenti psicologici.

La sperimentazione si basa sul presupposto che un campione sia abbastanza ampio da fornire una rappresentazione della popolazione generale. Se si lavora con modelli computazionali, si possono eseguire infinite misurazioni sul fenomeno oggetto di studio, ma quando si lavora con gli esseri umani è complicato, costoso e poco realistico raccogliere un campione formato da migliaia di persone.

Si potrebbe andare avanti a lungo, elencando gli elementi che rendono traballanti molte delle recenti scoperte in campo psicologico e, a onor di cronaca, il problema della riproducibilità non riguarda soltanto le scienze sociali.

Quindi? Come si risolve tutto questo casino?

Pochi giorni fa è comparso un nuovo articolo su Nature firmato da alcuni degli autori che avevano partecipato al Reproducibility Project del 2015, in primis Brian Novak, professore alla Virginia University e fondatore del Centre for Open Science, un servizio no-profit per la trasparenza dei dati nella ricerca scientifica. Nell’articolo vengono replicati 21 esperimenti comparsi su Nature e Science — le due riviste più autorevoli per la comunità scientifica — tra il 2010 e il 2015. Di nuovo, solo 13 su 21 esperimenti si rivelano riproducibili, ma questa volta gli autori fanno un passo in più: chiedono ad altri 200 scienziati di valutare la riproducibilità degli esperimenti presi in considerazione, ossia di prevedere, basandosi sui dati delle 21 ricerche, quali di queste avrebbero superato il test della riproducibilità. I risultati mostrano che le previsioni degli esperti sono giuste, lasciando intendere che gli esperti stessi sarebbero in grado di capire quando uno studio produce risultati peregrini e quando non lo fa — il che lascia intendere l’entità dello scarto tra buon senso e interessi esterni alla ricerca scientifica nella scelta delle pubblicazioni da parte delle riviste di settore.

La crisi della riproducibilità ha aperto una voragine nel mondo scientifico e ha sollevato reazioni emotive intense. D’altro canto, per quanto sia banale ribadirlo, è bene conoscere le falle del sistema per cercare di limitarle. Da qualche anno molte riviste si sono attrezzate: alcune si impegnano a pubblicare anche gli esperimenti che non ottengono i risultati previsti; altre pretendono che le analisi dati vengano registrate a priori dell’esperimento di modo da evitare le analisi post hoc accennate in precedenza; altre ancora esistono con l’unico obiettivo di pubblicare esperimenti falliti.

Il problema poi, visto da una prospettiva esterna all’accademia, è ancora più stridente. Il metodo scientifico negli ultimi anni soffre già di una crisi drammatica di credibilità, tanto che l’opinione pubblica ne ignora i risultati sempre più volentieri (il caso Stamina, per fare un esempio qualunque), e ora sembra sia affetto anche da una malattia autoimmune. Ma non è proprio così, anzi: quella che si tende a scambiare per una pecca del metodo scientifico, ne è in realtà il cuore pulsante.

Il filosofo della scienza Karl Popper, a questo proposito, scriveva che “l'inconfutabilità di una teoria non è (come spesso si crede) un pregio, bensì un difetto. Ogni controllo genuino di una teoria è un tentativo di falsificarla o di confutarla. La controllabilità coincide con la falsificabilità; alcune teorie sono controllabili o esposte alla confutazione più di altre; esse per così dire, corrono rischi maggiori.”

La ripresa sarà lunga, però. E la sensazione di non potersi fidare della maggior parte delle ricerche scientifiche in parecchi campi è alienante.

Ne è una testimonianza commovente il post comparso il 29 febbraio del 2016 sul sito di Mark Inzlicht, professore di neuroscienze sociali all’università di Toronto, che per anni si è concentrato sul costrutto dell’ego depletion:

“[…] Sono al buio totale. Mi sento come se la terra si muovesse sotto i miei piedi e non so più cosa sia reale e cosa no.”