Il sistema della “peer review” è pieno di problemi
Da tempo si discute dei difetti e dei limiti crescenti del sistema di revisione della ricerca scientifica, che secondo molti richiede interventi correttivi complicati ma necessari
La revisione tra pari – traduzione letterale dell’espressione inglese peer review, piuttosto diffusa anche in Italia – è il più utilizzato e conosciuto sistema di valutazione preliminare delle ricerche scientifiche. Tutte quelle che finiscono sulle riviste più autorevoli devono infatti essere valutate da revisori volontari non coinvolti nella ricerca, che ne verificano l’affidabilità prima della pubblicazione. Da diversi anni il processo di revisione basato sulla peer review, considerato un fondamento della ricerca scientifica, è però oggetto di molte discussioni tra gli stessi scienziati.
Da una parte c’è chi ritiene che alcuni limiti e storture di questo sistema, che possono influenzare le pubblicazioni in modo significativo ed eclatante, e ridurre la fiducia collettiva nella scienza, siano cresciuti nel tempo al punto da richiedere complicati ma necessari interventi correttivi. Dall’altra parte c’è chi contrappone alle preoccupazioni attuali la convinzione che, per quanto imperfetta, la peer review rimanga comunque il miglior modo di giudicare la ricerca scientifica tra tutti gli altri possibili, e che non esista un solo modo universalmente valido per migliorarla.
Nel suo recente libro Rescuing science: restoring trust in an age of doubt, uscito a marzo negli Stati Uniti, l’astrofisico e divulgatore scientifico statunitense Paul Sutter ha scritto della progressiva perdita di fiducia nella scienza in una parte della società, e dei possibili modi per provare a ripristinarla ed estenderla. In un capitolo del libro dedicato alle frodi scientifiche e ripubblicato sul sito Ars Technica, Sutter ha posto l’attenzione su quello che secondo lui e secondo molti altri è uno dei fattori più influenti nell’attuale crisi della peer review: la pressione a pubblicare il più possibile per avere successo in ambito accademico. È un problema discusso da tempo, sintetizzato attraverso l’aforisma publish or perish, “pubblica o muori”.
Il successo di questo approccio deriva dal fatto che le pubblicazioni in generale attirano l’attenzione – e di conseguenza gli investimenti – non solo verso gli autori e le autrici, ma anche verso le università e gli enti che sostengono il loro lavoro. Ma è anche una delle principali cause della proliferazione delle cosiddette “riviste predatorie”: riviste di scarsa qualità il cui modello di business si basa sulla pubblicazione di articoli scientifici dietro compenso e su processi di peer review poco rigorosi o del tutto assenti.
È un fenomeno che interessa ambiti eterogenei della ricerca, per esempio anche quella oncologica, come scritto in un articolo pubblicato a maggio sulla rivista principale della Società americana di oncologia clinica. «L’eccessivo affidamento sulla quantità piuttosto che sulla qualità dei risultati della ricerca viene utilizzato per migliorare la visibilità internazionale e il posizionamento delle università e delle istituzioni», hanno scritto gli autori e le autrici dell’articolo.
– Leggi anche: Un disonesto studio sull’onestà
La pratica della peer review risale a un’epoca precedente la diffusione dei computer, in cui gli argomenti e le analisi che portavano a trarre una certa conclusione in fondo a un articolo erano di solito contenuti nell’articolo stesso, ha scritto Sutter. Eventuali errori potevano essere notati e segnalati perché le informazioni necessarie per la valutazione erano disponibili e a portata di mano, diversamente da quanto succede nel contesto attuale. Molte delle informazioni contenute in milioni di articoli pubblicati ogni anno non sono disponibili per il pubblico perché sono ottenute tramite software per computer non utilizzabili da altri scienziati nella revisione, ha scritto Sutter.
La ragione per cui gli autori e le autrici degli articoli non rendono disponibile tutto il codice delle loro ricerche, secondo lui, «si riduce allo stesso motivo per cui gli scienziati non fanno molte cose che potrebbero migliorare il processo scientifico: non ci sono incentivi». Rendere disponibili le informazioni e il codice dei software utilizzati non migliora il profilo accademico degli scienziati: solo pubblicare articoli lo fa, perché migliora l’indice H (una misura della prolificità e dell’impatto scientifico di un autore o un’autrice, che si basa sul numero delle pubblicazioni e sul numero di citazioni ricevute). È una questione rilevante perché condiziona pesantemente il lavoro del revisore: «Come posso giudicare la correttezza di un articolo se non riesco a vedere l’intero processo?», si è chiesto Sutter.
La peer review è descritta da ormai molti anni come un sistema sostanzialmente «rotto» perché in moltissimi casi non riesce più a garantire l’integrità della ricerca: che è esattamente lo scopo per cui era stato pensato di introdurla. I revisori non hanno né il tempo né la voglia di valutare le nuove ricerche «con un pettine a denti fini», ha scritto Sutter. E nei casi in cui qualcuno si prende la briga di esaminarle più a fondo e segnala un problema – che sia un errore in buonafede o una presunta frode scientifica – gli articoli contestati possono essere rigirati dall’editore della rivista ad altri revisori meno scrupolosi, o essere pubblicati su altre riviste.
– Leggi anche: C’è un dibattito su un articolo scientifico con immagini senza senso
Al problema dell’indisponibilità dei dati delle ricerche è associato anche, secondo Sutter, un fenomeno più ampio noto come «crisi della replicazione». Definisce una progressiva e preoccupante riduzione della tendenza a riprodurre gli esperimenti, che è invece un valore fondamentale nella pratica scientifica, tanto più in un contesto in cui la replicabilità è scoraggiata dalla grande quantità di dati e di strumenti necessari. Replicando un esperimento come descritto in un articolo pubblicato su una rivista, uno scienziato concorrente può ottenere lo stesso risultato o uno diverso: entrambi i casi determinano un progresso scientifico. Il problema è che i risultati di un esperimento replicato hanno in generale uno scarso valore di «appeal» per le riviste scientifiche, perché sono giudicati meno importanti sul piano della conoscenza che permettono di acquisire, secondo Sutter.
«Gli studi di replicazione non vengono pubblicati su riviste ad alto impatto, e gli autori di studi di replicazione non ricevono tante citazioni per il loro lavoro. Ciò significa che il loro indice H è più basso, il che riduce le loro possibilità di ottenere sovvenzioni e promozioni», ha spiegato Sutter. Le condizioni attuali nella ricerca scientifica sono tali da creare uno squilibrio profondo tra la quantità piuttosto esigua di ritrattazioni e correzioni da una parte, e la quantità di frodi scientifiche dall’altra, difficile da ridurre perché nessuno ha sviluppato un sistema efficiente e tempestivo per farlo. «Il tipo di indagini che portano a ritrattazioni o correzioni complete non viene effettuato abbastanza spesso e, nel frattempo, viene pubblicata troppa scienza», ha scritto Sutter.
Come spesso segnalato dal blog Retraction Watch, che si occupa di ritrattazioni di articoli scientifici, le frodi scientifiche tendono a essere scoperte troppo tardi e con ripercussioni minime o nulle. E intanto nessuno ha il tempo di leggere tutti gli articoli scientifici importanti nel proprio campo, perché «ogni scienziato scrive quanto più possibile, senza scavare davvero nella letteratura esistente, aggiungendo altro rumore», ha scritto Sutter, citando come esempio il suo campo, l’astrofisica, in cui ogni giorno – festivi inclusi – «vengono pubblicati dai 40 ai 60 nuovi articoli».
Molti scienziati condividono l’idea che la principale ragione degli attuali limiti della ricerca non sia la malafede di chi la fa, ma piuttosto una serie di incentivi tipici di un mercato concorrenziale, in presenza dei quali «è facile convincersi che quello che stai facendo non è davvero una frode», ha scritto Sutter. Non rendere disponibile il codice delle proprie ricerche, per esempio, è visto da alcuni scienziati come una legittima protezione del proprio investimento di tempo e risorse, e un modo di non dare vantaggi competitivi a scienziati concorrenti. Altri sono più inclini a considerare eventuali revisioni con esito negativo un atto irragionevolmente severo, anziché una fondamentale forma di collaborazione tra scienziati, e sono quindi portati a pubblicare per altre vie – anche a proprie spese – i propri articoli piuttosto che ritirarli o rivederli.
– Leggi anche: Il caso che sta agitando le scienze comportamentali
Da qualche tempo una delle più condivise proposte per cercare di migliorare il sistema delle peer review è retribuire le revisioni, che al momento sono perlopiù il risultato di un lavoro volontario e spesso anonimo. Come scritto sulla rivista Undark dal biologo statunitense Brandon Ogbunu, professore di ecologia e biologia evolutiva alla Yale University, sarebbe un modo di riequilibrare il modello di business delle riviste, che attualmente si regge sugli abbonamenti da parte delle biblioteche e di altre istituzioni, e spesso anche sulle quote pagate dai singoli ricercatori per farsi pubblicare un articolo. «Il tutto mentre le riviste utilizzano manodopera gratuita o a basso costo da parte di redattori e revisori», ha scritto Ogbunu.
Sebbene la maggior parte della ricerca negli Stati Uniti benefici di finanziamenti pubblici, attraverso due principali agenzie governative (la National Science Foundation e i National Institutes of Health), i risultati di quella ricerca sono spesso accessibili solo dietro pagamento. Il che significa, ha scritto Ogbunu, che sono accessibili solo per le istituzioni che possono permettersi gli abbonamenti e, molto più raramente, per gli individui che pagano da sé. Molte delle riviste open access, i cui articoli sono invece accessibili gratuitamente, addebitano ai ricercatori e alle ricercatrici costi «esorbitanti» per la pubblicazione.
Una ricerca pubblicata nel 2023 dalla rivista Quantitative Science Studies ha stimato l’importo totale delle spese sostenute dagli autori e dalle autrici di articoli scientifici pubblicati tra il 2015 e il 2018 su riviste open access controllate dai cinque maggiori editori commerciali (Elsevier, Sage, Springer Nature, Taylor & Francis e Wiley). Secondo i risultati della ricerca, gli autori e le autrici avrebbero pagato complessivamente 1,06 miliardi di dollari in commissioni per la pubblicazione.
Secondo Ogbunu e altri ricercatori, tra cui Lex Bouter, professore di deontologia della ricerca scientifica alla Vrije Universiteit ad Amsterdam, il sistema attuale premia molto più la produttività individuale e i comportamenti egoistici che i contributi collettivi al sistema stesso. Si è creata cioè «una discrepanza tra i desideri e i bisogni dei singoli scienziati, e lo sforzo necessario per gestire un’impresa scientifica sostenibile, in cui i giudizi dei nostri colleghi sono necessari», ha scritto Ogbunu.
L’importanza del sistema della peer review si basa però sul presupposto che le persone valuteranno attentamente il lavoro altrui per buona volontà, o che gli autori riconosceranno le ore di lavoro richieste ai revisori restituendo in seguito il favore. Ogbunu, che è un ricercatore relativamente giovane, ha scritto di come i suoi mentori gli abbiano suggerito di rinunciare alla revisione degli articoli e di concentrarsi piuttosto sui suoi. È un suggerimento che determina però una grave stortura, perché «la peer review di qualità è ciò che ci dà la certezza che la ricerca che leggiamo sulle riviste sia di qualità», ha aggiunto.
Il problema è che praticamente nessuno è mai stato promosso o ricompensato in modo significativo e diretto perché ha fornito ottime recensioni del lavoro altrui, ha aggiunto. Banalmente, le prospettive di carriera accademica sono migliori per chi scrive articoli che per chi partecipa alla loro valutazione. Considerando che molti articoli di grande impatto scientifico sono stati il risultato del lavoro di due o tre revisori, per mantenere una sorta di «equilibrio energetico», ha scritto Ogbunu, servirebbe invece che ogni ricercatore o ricercatrice rivedesse due o tre articoli per ciascun articolo da lui o da lei pubblicato in qualità di autore principale o autore corrispondente (corresponding author, chi è incaricato di gestire le comunicazioni con i revisori).
– Leggi anche: Come capire le ricerche scientifiche
Sebbene la peer review sia spesso considerata un’impresa collettiva della comunità scientifica, in pratica solo una piccola parte della comunità svolge la maggior parte del lavoro. Secondo uno studio del 2016 condotto sulle riviste di area biomedica, per esempio, il 20 per cento dei ricercatori e delle ricercatrici era stato responsabile del 94 per cento delle peer review degli articoli usciti nel 2015.
Diversi scienziati concordano nel ritenere che il lavoro di revisione dovrebbe essere valorizzato e migliorato, ma non esistono proposte universalmente condivise e la cui accettazione non comporti una serie di altri rischi di tipo diverso. Rimuovere l’anonimato in fase di revisione degli articoli, rendendo pubblico agli autori il nome dei revisori e ai revisori il nome degli autori, negherebbe un principio alla base dell’imparzialità della revisione e dell’integrità della ricerca. Ma l’anonimato, come scritto nel 2022 sul sito The Conversation da un gruppo di ricercatrici e ricercatori di diverse università, può anche rendere il processo meno trasparente e responsabilizzante, a scapito della qualità delle revisioni. In concreto, poi, una volta ricevuto l’incarico da un editore, molti revisori cercano comunque di scoprire subito il nome degli autori dell’articolo che devono revisionare, per semplificare e accelerare il lavoro.
Anche l’offerta di incentivi economici per le peer review potrebbe generare a sua volta altre storture, ha scritto il gruppo di ricercatrici e ricercatori su The Conversation. Ma in generale è abbastanza condivisa l’idea che il modello attuale fornisca incentivi principalmente ai comportamenti egoistici, sia nel caso di revisori più anziani che di revisori giovani. I più anziani non sono incentivati perché la loro stabilità economica non dipende dalla partecipazione ai processi di revisione, ha scritto Ogbunu su Undark. E i più giovani non sono incentivati perché sono più concentrati sulla loro produttività, determinante per l’ascesa professionale.
Questa situazione determina una difficoltà generale a trovare revisori competenti, anche per riviste prestigiose. Anche le ricercatrici e i ricercatori più giovani potrebbero e dovrebbero partecipare ai processi di revisione più di quanto non avvenga attualmente, secondo Ogbunu, perché molte e molti di loro sono qualificati per farlo e avrebbero da guadagnarci anche sotto l’aspetto formativo.
Oltre che un rischio per la qualità e per l’integrità della ricerca, i problemi attuali della peer review determinano anche rischi per l’innovazione, perché riducono l’eterogeneità di prospettive e vedute che è invece necessaria per la valutazione delle ricerche scientifiche. «Senza un gruppo ampio e diversificato di revisori, un numero relativamente piccolo di individui dà forma al lavoro che finisce nelle riviste», ha scritto Ogbunu. E anche se sono persone serie e affidabili, «i loro pregiudizi – metodologici o di altro tipo – sicuramente distorcono il tipo di ricerca che finisce nelle pagine delle nostre riviste preferite».
– Leggi anche: Il problema nello studiare gli psichedelici
