Un disonesto studio sull’onestà

Nel 2012, cinque ricercatori della Harvard Business School di Boston e di altre università e istituti di ricerca americani pubblicarono sulla rivista scientifica Proceedings of the National Academy of Sciences (PNAS) un autorevole articolo sui comportamenti disonesti, in seguito molto citato e ripreso nell’ambito dell’economia comportamentale e anche nel perfezionamento dei processi di lavoro in società di assicurazioni e agenzie governative. L’articolo riportava uno studio in base al quale le persone sono più inclini a condividere dati veri quando la parte in cui è richiesto loro di garantire con una firma l’autenticità dei dati riferiti è posta all’inizio anziché alla fine del modulo di richiesta dei dati.

Un’analisi recentemente condotta da Joseph Simmons dell’Università della Pennsylvania, Leif Nelson dell’Università della California, Berkeley, e Uri Simonsohn della Esade Business School di Barcellona, tre scienziati comportamentali e autori del blog Data Colada, che assieme ad altri collaboratori rimasti anonimi hanno utilizzato dati dello studio del 2012, ha scoperto però che lo studio era basato «senza ombra di dubbio» su un insieme di dati artefatti.

Le conclusioni sono state condivise dagli stessi autori dello studio, che hanno espresso rammarico per non averne preso atto all’epoca della pubblicazione e che, a marzo 2020, avevano pubblicato sulla stessa rivista, assieme ad altri ricercatori, un articolo in cui davano conto dei loro tentativi falliti di replicare l’esperimento originale ottenendo gli stessi risultati.

È una storia di «frode scientifica», come è stata definita dagli autori dell’analisi su Data Colada, di cui si è estesamente occupato il sito BuzzFeed News, la sezione di notizie e inchieste del sito statunitense BuzzFeed, che ha ricevuto risposte e chiarimenti dagli stessi autori dell’articolo del 2012. Tra loro c’è il docente americano di origini israeliane Dan Ariely, un popolare esperto di economia comportamentale e psicologia cognitiva, la cui reputazione fu rafforzata da quello studio del 2012. Proprio ad Ariely è stata attribuita dagli altri autori dell’articolo la responsabilità dei dati dello studio contestato.

– Leggi anche: È stato un grande anno per la scienza partecipata

Ariely, che è docente di psicologia ed economia comportamentale alla Duke University, a Durham, nel North Carolina, è anche noto per i suoi interventi in conferenze TED Talk, convegni e documentari, oltre che autore di libri di successo sui processi cognitivi tra cui “The (Honest) Truth About Dishonesty: How We Lie to Everyone — Especially Ourselves”. In seguito alle recenti indagini sull’articolo del 2012 e ai sospetti sull’origine dei dati dello studio, Ariely ha negato di averli inventati e ne ha attribuito la raccolta a una società di assicurazioni del Connecticut, la Hartford, da lui indicata come partner di ricerca.

Gli altri autori, tra i quali Max Bazerman, un rispettato docente di economia aziendale alla Harvard Business School, hanno detto di non aver avuto alcun ruolo nella raccolta dei dati dello studio. Tutti loro, incluso Ariely, hanno riconosciuto come implausibili e falsi i dati di quell’esperimento e alcuni hanno chiesto alla rivista PNAS di ritirare l’articolo. Ma non è ancora chiaro, scrive BuzzFeed, chi abbia inventato quei dati e perché. Ariely ha riconosciuto di essere stato il primo a gestirli dopo averli ricevuti dalla Hartford, ma ha detto di non avere più documenti, registrazioni o email che attestino le sue passate interazioni con la compagnia di assicurazioni. «Vorrei avere una buona storia, ma semplicemente non c’è», ha detto a Science.

Lo studio utilizzato per l’articolo del 2012 riportava i risultati di una presunta ricerca condotta da una compagnia di assicurazioni anonima su 13.488 clienti. La compagnia aveva chiesto ai suoi clienti un aggiornamento sul chilometraggio delle loro auto assicurate. Ad alcuni aveva chiesto di attestare con una firma la veridicità delle dichiarazioni in una sezione nella parte alta del modulo. Ad altri aveva fatto la stessa richiesta ma in una sezione posta nella parte finale del modulo.

I clienti del primo gruppo, secondo lo studio, si dimostrarono più onesti: riferirono un chilometraggio mediamente maggiore rispetto a quello riferito dai clienti che avevano dovuto firmare nella parte bassa del modulo. Questi dati sul chilometraggio sono in genere utilizzati dalle compagnie di assicurazioni per stabilire la percentuale di rischio di incidenti automobilistici e determinare i premi assicurativi (solitamente, percorrenze maggiori determinano tariffe maggiori). L’articolo conteneva anche i dati di altri due esperimenti condotti in laboratorio in cui erano emersi risultati simili.

– Leggi anche: Che cos’è l’effetto Matilda

Le indicazioni tratte dall’articolo di Ariely e dei suoi colleghi furono molto condivise anche fuori dai contesti accademici. Nel 2016, il team di scienze sociali e comportamentali del National Science and Technology Council – il consiglio responsabile del coordinamento delle politiche scientifiche e tecnologiche del governo americano – citò esplicitamente l’articolo in una relazione annuale in cui raccomandava di adottare «incentivi non finanziari», come appunto l’aggiunta una firma di conferma nella parte superiore dei moduli, per incrementare l’onestà delle dichiarazioni dei redditi. La compagnia di assicurazioni Lemonade assunse lo stesso Ariely come capo responsabile dell’ufficio sui comportamenti.

Ma altri studi non legati a quello del 2012 erano giunti nel frattempo a conclusioni differenti: le persone non erano portate a essere più sincere in caso di assunzione preliminare di responsabilità sulla veridicità dei dati, e in alcuni casi accadeva piuttosto il contrario. Fu questa quantità crescente di conclusioni contrastanti a indurre gli autori dell’articolo a pubblicare nel 2020 un nuovo articolo in cui ritrattarono i risultati del precedente. Riscontrando delle anomalie nello studio originale decisero inoltre di rendere pubblico l’intero set di dati, lo stesso utilizzato poi dai ricercatori che hanno recentemente partecipato all’analisi pubblicata sul blog Data Colada.

Esaminando attentamente i fogli di calcolo, Simmons, Nelson e gli altri ricercatori hanno scoperto che i dati erano statisticamente impossibili e sembravano piuttosto il risultato di una manomissione. In altri insiemi di dati sulle distanze di guida percorse dagli automobilisti si riscontra generalmente una distribuzione normale la cui rappresentazione grafica tende a essere una curva a campana. Indica che alcune persone percorrono molti chilometri e altre pochi chilometri, e la maggior parte delle persone ne percorre una quantità compresa nel mezzo.

Nello studio utilizzato da Ariely, come confermato a Science da ricercatori anonimi che hanno collaborato con gli autori di Data Colada, la distribuzione insolitamente omogenea dei dati sembrava il risultato di una generazione di numeri casuali entro margini predefiniti. Tante persone avevano percorso circa 500 miglia quanto quelle che ne avevano percorse circa 10 mila e quelle che ne avevano percorse circa 40 mila, e nessuno aveva superato le 50 mila. Inoltre, ad alimentare il sospetto di una duplicazione, all’interno di ciascuno di questi intervalli di riferimento una metà dei dati aveva un carattere tipografico (Calibri) e l’altra metà un altro (Cambria).

Un’altra anomalia individuata dai ricercatori era l’assenza di valori arrotondati, circostanza da loro giudicata alquanto insolita considerando che almeno una parte degli automobilisti avrebbe dovuto verosimilmente fornire stime approssimative piuttosto che le cifre esatte riportate sul contachilometri.

– Leggi anche: Gli stereotipi di genere alterano la ricerca scientifica

«Siamo consapevoli della situazione e siamo in contatto con gli autori», ha detto il responsabile dell’etica editoriale di PNAS. Rispondendo alle domande di BuzzFeed, Ariely ha sostenuto di non ricordare con precisione quando sia avvenuto l’esperimento condotto dalla compagnia di assicurazione: «nel 2010 o 2011, o qualcosa del genere». I metadati – le informazioni con la descrizione del contenuto – del file sullo studio della compagnia di assicurazioni, reso pubblico dagli autori dell’articolo del 2012, indicano che il set di dati è stato creato da Ariely nel febbraio 2011. Ma lo stesso Ariely, fa notare BuzzFeed, aveva discusso dei risultati di quello studio già nel 2008 e nel 2009.

«Vorrei aver lavorato più a fondo per individuare i dati fraudolenti, per controllare una ricerca rigorosa in un contesto collaborativo e ritirare tempestivamente il documento del 2012», ha detto Bazerman, raccontando a BuzzFeed di aver avuto dubbi fin dall’inizio su alcuni dati di quello studio ma di essersi fidato dei suoi colleghi. Tutti gli autori dell’articolo hanno affermato di non avere avuto responsabilità dirette nella raccolta dei dati.

Ariely ha detto di essere in contatto con la compagnia di assicurazioni e che sta cercando qualche responsabile in grado di recuperare email archiviate risalenti a circa dieci anni fa. Un esperto di dati forensi citato da Science, Marc Ruef, ha spiegato che il fatto che Ariely risulti l’autore del file creato nel 2011 non indica necessariamente che sia anche il responsabile dell’inserimento dei dati, e che quel file potrebbe effettivamente essere stato compilato in seguito dalla compagnia di assicurazioni. Alcuni scienziati comportamentali si sono tuttavia chiesti sui social quale interesse avrebbe avuto un’azienda a inventare dati sul comportamento che sostenessero le teorie di Ariely.

Gli autori del blog Data Colada, che hanno detto di considerare Ariely un amico e descritto il loro lavoro come «incredibilmente stressante», sostengono che sia da considerare un fallimento della scienza il fatto che ci sia voluto così tanto tempo prima che dati del 2012 si rivelassero falsi. «Affrontare il problema della frode scientifica non dovrebbe essere un compito lasciato a pochi informatori anonimi (esausti e spaventati) e ad alcuni blogger (esausti e spaventati)», hanno scritto Simmons, Nelson e Simonsohn.