Molti studi scientifici non sono replicabili, dice uno studio scientifico

Se ci si informa riguardo le nuove scoperte scientifiche, soprattutto quelle nel campo della psicologia, sulla stampa generalista, è facile avere l’impressione che vengano pubblicati settimanalmente studi che dicano tutto e il contrario di tutto. Spesso quest’impressione è dovuta al fatto che i giornali prendono per buoni studi poco autorevoli, e che non vengono pubblicati dalle più importanti riviste scientifiche, quindi solo dopo un accurato lavoro di verifica. Giovedì, la rivista scientifica Science ha pubblicato un articolo con i risultati di una lunga ricerca condotta dal Center for Open Science, un’organizzazione non profit con sede a Charlottesville, in Virginia, che sostiene che ripetendo la maggior parte degli studi che presentano nuove scoperte nel campo della psicologia si ottengono risultati diversi da quelli originali: non sono quindi riproducibili. E quella della riproducibilità è una delle basi del metodo scientifico, da Galileo in poi: se replicando uno studio si arriva a conclusioni molto diverse, quello studio in teoria non è scientificamente valido.

Brian Nosek, professore di psicologia alla University of Virginia e direttore del Center for Open Science, ha lavorato con 270 colleghi per provare a riprodurre parti di 100 studi pubblicati nel 2008 su tre diversi e autorevoli riviste di psicologia. Gli studi erano considerati importanti per capire le dinamiche della personalità, delle relazioni, dell’apprendimento e della memoria, e sulle loro conclusioni fanno affidamento diversi metodi utilizzati da educatori e terapisti. Lavorando in 90 diversi gruppi, i ricercatori hanno riprodotto solo parzialmente gli esperimenti, perché farlo interamente sarebbe stato troppo lungo e costoso: hanno scelto però fasi dello studio originale che secondo loro erano fondamentali per confermare il risultato ottenuto. Le diverse squadre hanno anche contattato i ricercatori dello studio originale per assicurarsi di riprodurre correttamente e fedelmente l’esperimento, e poi hanno riformulato le conclusioni sostituendo ai dati originali quelli ottenuti nella loro esperienza.

Solo in 47 casi su 100 le conclusioni originali erano compatibili con quelle ottenute riproducendo l’esperimento (con un intervallo di fiducia del 95 per cento). E solo in 39 casi i ricercatori che hanno replicato l’esperimento hanno reputato, soggettivamente, di aver raggiunto le stesse conclusioni dello studio iniziale. In totale, i ricercatori hanno concluso che solo il 36 per cento degli studi riprodotti ha dato risultati statisticamente compatibili. In 82 casi su 100 – compresi quindi quelli in cui le conclusioni erano compatibili – l’entità dei risultati finali era più modesta dell’originale: è stata quindi rilevata una sorta di “tendenza all’ingigantimento”. In pochissimi casi i nuovi risultati hanno contraddetto gli originali: erano semplicemente più deboli.

Le conclusioni dello studio del Center for Open Science non sono state in nessun caso che gli esperimenti iniziali fossero manipolati o da considerarsi falsi in assoluto: il fatto è che le prove a sostegno della maggior parte delle nuove scoperte nel campo della psicologia non sono solide come vengono presentate. Una parte del problema, spiega l’Economist, è rappresentato dai meccanismi che stanno dietro le scelte editoriali delle riviste di settore: per essere pubblicato, uno studio deve superare una peer review, cioè una valutazione fatta da altri scienziati, esperti nel settore in questione. Se è giudicato idoneo e l’editore decide di pubblicarlo, può benissimo succedere che lo studio non venga mai effettivamente replicato: per i ricercatori è molto più appagante e attraente arrivare a nuove scoperte piuttosto che confermare quelle degli altri. Secondo i ricercatori che hanno riprodotto gli esperimenti comunque questo studio non è una prova del fallimento della psicologia, ma invece rappresenta un esempio di «scienza che si comporta come dovrebbe».

Nosek ha spiegato che il problema con molti nuovi studi è che tra i ricercatori c’è una grande pressione a raggiungere conclusioni così accattivanti, certe e innovative da essere pubblicate sulle riviste più prestigiose, dal momento che le loro carriere e spesso i loro finanziamenti dipendono dalle pubblicazioni. Questo porta a volte i ricercatori a trarre le conclusioni che vogliono trarre, dai propri esperimenti, adattando o interpretando i risultati realmente ottenuti. C’è però anche chi crede che la ripetizione degli esperimenti porti a degli inconvenienti: molti scienziati affermati non accettano l’idea che un ricercatore più giovane e inesperto possa mettere in dubbio il frutto di anni di ricerche. Secondo Norbert Schwarz, professore di psicologia alla University of Southern California, spesso le ripetizioni sono solo «un attacco, un esercizio poliziesco», e che gli studi che riproducono un esperimento non vengono quasi mai esaminati e valutati dal punto di vista del metodo. La direttrice di Science Marcia McNutt ha detto in una conferenza stampa che spera che questo studio «non sia considerato l’ultima parola sulla questione della riproducibilità, ma invece come un inizio».

Negli ultimi mesi alcune riviste autorevoli hanno dovuto ritirare studi dopo la pubblicazione, perché erano stati smentiti: lo scorso maggio, ad esempio, proprio Science aveva ritirato uno studio su come gli attivisti di partito che fanno propaganda politica porta a porta o per le strade possono cambiare le opinioni degli elettori sui matrimoni gay perché temeva che i dati potessero essere stati falsificati. Recentemente molti giornali autorevoli hanno cambiato gli standard di trasparenza richiesti ai ricercatori pubblicati. Alan Kraut, direttore esecutivo dell’Association for Psychological Science, ha commentato lo studio dicendo: «L’unica scoperta che sarà riproducibile al 100 per cento è quella che sarà probabilmente trita e noiosa e già nota».

Trattandosi di esperimenti nel campo della psicologia dell’individuo, comunque, molti scienziati hanno notato che le ragioni delle differenze nei risultati possono dipendere da molti fattori, compresi quelli ambientali. Uno degli studi ripetuti ad esempio sosteneva che gli studenti che bevono una bibita zuccherata prendevano decisioni migliori quando veniva chiesto loro se preferivano un grande appartamento distante dal campus universitario o uno piccolo ma vicino. L’esperimento originale però era stato condotto alla Florida State University, il secondo alla University of Virginia: e decidere dove vivere a Charlottesville, la città della Virginia dove si trova l’università, è molto più semplice che a Tallahassee, dove si trova la FSU. Nosek ha ammesso che il suo stesso esperimento sarebbe difficile da riprodurre, perché i ricercatori hanno potuto prendere decisioni personali su come riprodurre effettivamente gli esperimenti e dal momento che hanno scelto gli studi da ripetere è possibile che abbia influito anche qualche forma di pregiudizio iniziale.