Non è vero che molti studi scientifici non sono riproducibili, dice un altro studio scientifico

Sul numero del 4 marzo di Science, una tra le più autorevoli riviste scientifiche al mondo, è stato pubblicato un articolo nel quale un gruppo di ricercatori ha contestato un altro articolo uscito su Science la scorsa estate, che sosteneva che quasi il 40 per cento degli studi che presentano nuove scoperte nel campo della psicologia non sono riproducibili e di conseguenza non sono scientificamente attendibili. L’articolo uscito la scorsa settimana è il frutto di una ricerca condotta da tre docenti dell’università di Harvard e uno della University of Virginia, che hanno analizzato le modalità con le quali era stato realizzato il primo studio, scoprendo che in diversi casi i metodi utilizzati non erano scientificamente validi. La tesi del nuovo articolo è che, al contrario di quanto sostenuto nel primo, la maggior parte degli studi contemporanei di psicologia sono riproducibili.

Per l’articolo originale, un gruppo di 270 ricercatori del Center for Open Science (COS), un’organizzazione non profit con sede a Charlottesville, in Virginia, aveva riprodotto parti di 100 studi pubblicati nel 2008 su tre diverse e autorevoli riviste di psicologia. Erano stati scelti studi considerati importanti per capire le dinamiche della personalità, delle relazioni, dell’apprendimento e della memoria, e sulle cui conclusioni fanno affidamento diversi metodi utilizzati da educatori e terapisti. Le conclusioni dello studio, per il quale erano stati necessari tre anni di lavoro e che era stato coordinato da Brian Nosek, professore di psicologia alla University of Virginia, erano che solo il 39 per cento degli studi riprodotti aveva dato risultati statisticamente compatibili con gli originali. L’articolo era stato ripreso da molti siti e giornali anche non specializzati in tutto il mondo, che avevano parlato di una crisi della psicologia contemporanea. Il New York Times per esempio aveva scritto che la ricerca aveva confermato «le peggiori paure degli scienziati che da tempo erano preoccupati che la loro disciplina avesse bisogno di una forte raddrizzata».

Lo studio pubblicato sul numero del 4 marzo 2016 sostiene che quello di Nosek, scegliendo di replicare solo 100 studi, ha preso in considerazione un campione statistico troppo limitato e non rappresentativo. L’altro grande problema trovato nello studio dai ricercatori di Harvard è che molti degli esperimenti non sono stati riprodotti con esattezza. In uno degli studi replicati, per esempio, si valutava l’atteggiamento degli americani nei confronti dei neri: nella replica gli intervistati erano invece italiani. Un altro studio era stato condotto a Stanford, in California, mentre la sua riproduzione è stata fatta ad Amsterdam. Dan Gilbert, uno degli psicologi di Harvard che ha lavorato alla critica all’esperimento di Nosek, ha spiegato che quando si parla di riproduzione di una ricerca si pensa a qualcosa che si differenzia dall’originale solo per piccoli dettagli: in realtà gli esperimenti in questione erano stati replicati con molti meno mezzi e disponibilità economiche rispetto agli originali, e quindi spesso erano simulazioni molto approssimative. A questo proposito il giornalista scientifico Brian Resnick si è chiesto su Vox se abbia senso però che gli esperimenti siano così specifici da fallire se riprodotti con qualche cambiamento.

Per il loro studio, Nosek e i suoi colleghi avevano collaborato con gli autori delle ricerche originali, e dei ricercatori indipendenti avevano verificato che le repliche fossero fedeli agli originali. Nel nuovo studio però si sostiene che 31 degli autori degli studi originali non avevano approvato le modalità con le quali erano state condotte le riproduzioni degli esperimenti: in questi 31 casi, i ricercatori del COS erano arrivati alle stesse conclusioni solo nel 15,4 per cento dei casi. Negli altri 69 casi in cui gli autori delle ricerche originali condividevano le riproduzioni, invece, la percentuale di successo delle repliche è stata di quattro volte superiore, del 59,7 per cento. Sullo stesso numero di Science è stata pubblicata una risposta degli autori dello studio del COS, che hanno sostenuto che un ricercatore può non approvare un tentativo di riproduzione di un suo esperimento non solo perché non è convinto dei metodi utilizzati, ma anche perché poco sicuro dei suoi risultati originali: può succedere quindi che non dia la sua approvazione perché teme che le sue scoperte possano essere smentite.

Il dibattito tra i due gruppi di ricercatori ha attirato diverse attenzioni perché è uno degli esempi più espliciti di quello che diversi esperti considerano effettivamente un momento delicato per le discipline psicologiche, se non una vera crisi. Jonathan Schooler, uno psicologo dell’Università di Santa Barbara, ha detto all’edizione americana di Wired: «C’è una comunità di ricercatori che pensa che semplicemente non ci sia un problema di nessun tipo, e un’altra che invece crede che la disciplina sia seriamente in crisi. C’è qualche antagonismo tra queste due comunità, e entrambe le parti hanno una prospettiva che può influenzare il modo in cui vedono le cose». Nosek ha spiegato che è stato proprio “l’amore per la disciplina” e la voglia di migliorare le cose che lo ha portato a condurre l’esperimento sulla riproducibilità. Gilbert ha invece detto che lo scopo del nuovo studio era di smentire le estese critiche ricevute dalla psicologia dopo la pubblicazione dell’articolo su Science la scorsa estate.

In occasione della pubblicazione del suo primo articolo, Nosek aveva spiegato che il problema con molti nuovi studi è che tra i ricercatori c’è una grande pressione a raggiungere conclusioni accattivanti, sicure e innovative, così da essere pubblicate sulle riviste più prestigiose, dal momento che le loro carriere e spesso i loro finanziamenti dipendono dalle pubblicazioni. Questo porta a volte i ricercatori a trarre le conclusioni che vogliono trarre, dai propri esperimenti, adattando o interpretando i risultati realmente ottenuti. Questa tendenza, che va avanti da diversi anni, ha portato alcuni studiosi a mettere in discussione le basi stesse della moderna psicologia: cosa succede se si dovesse scoprire che anche ricerche e scoperte centrali della disciplina non fossero riproducibili? Tra gli psicologi, c’è anche chi sostiene però che la disciplina potrebbe uscire rafforzata da questo momento di apparente crisi, obbligando i ricercatori e le riviste a una maggiore accuratezza. Il New York Times ha spiegato che nella psicologia è già in corso una specie di contrapposizione generazionale, che vede i giovani ricercatori condividere con maggiore trasparenza i dati e i procedimenti alla base dei propri studi ancora prima della pubblicazione.

Lisa Feldman Barrett, una psicologa della Northeastern University di Boston, ha spiegato a Wired che il vero problema degli studi psicologici è che, avendo a che fare con le persone, sono soggetti a un gran numero di variabili soggettive e straordinarie che rendono difficile replicarli con precisione. Secondo Barrett è su questo che l’intero settore deve ragionare, per sviluppare una «scienza generalizzabile»: la psicologia non è nel mezzo di una «crisi della riproducibilità», dice Barrett, ma di una «crisi della filosofia della scienza». Gary King, un altro dei professori di Harvard dello studio più recente, è d’accordo che quello della riproducibilità sia comunque un tema molto importante, al di là della validità – scarsa, secondo lui – dello studio di Nosek. Se ci sono moltissimi psicologi che ritengono che la disciplina debba lavorare per riguadagnare la fiducia delle persone, c’è anche chi sostiene una posizione più elitista: Gilbert ad esempio crede che «la persona media non può giudicare una scoperta scientifica più facilmente di quanto possa difendersi da sola in tribunale o si possa asportare chirurgicamente la propria appendice».