Amy Cuddy e la crisi delle ricerche sul comportamento

Amy Cuddy è una studiosa di psicologia statunitense diventata famosa anche al di fuori dell’ambiente accademico grazie a una conferenza TED del 2012, che l’ha portata a tenere seminari per le aziende, essere invitata a parlare in pubblico in varie occasioni e pubblicare un libro bestseller negli Stati Uniti, Il potere emotivo dei gesti. La TED era ispirata a un articolo del 2010, scritto da Cuddy insieme a un’altra studiosa di psicologia, Dana Carney, e a un suo dottorando. Da un lato l’articolo ha reso Cuddy ricca e famosa, ma dall’altro ha attirato numerose critiche molto dure dopo essere finito al centro di un grosso e rivoluzionario dibattito sui metodi degli studi di psicologia sociale. In un lungo articolo sul New York Times Magazine, Susan Dominus ha raccontato la storia di Cuddy. È utile per capire i meccanismi della comunità scientifica di oggi, ma anche come le persone vengono criticate (talvolta a livello personale) e reagiscono alle critiche quando in mezzo si mettono i social network.

Tutta la storia inizia con il successo della TED di Cuddy. È possibile che l’abbiate vista: sul sito delle TED è stata guardata più di 43 milioni di volte, diventando la seconda più vista di sempre. In breve, Cuddy spiega che tenendo un certo tipo di postura è possibile sentirsi più sicuri di sé e più potenti. Il successo della TED è dovuto probabilmente alla semplicità del messaggio di Cuddy, ma anche al suo stile oratorio convincente.

Il video è in inglese, ma si possono aggiungere i sottotitoli, anche in italiano:

I contenuti di quella conferenza erano già presenti in un articolo del 2010, pubblicato sulla rivista specialistica Psychological Science intitolato Power Posing: Brief Nonverbal Displays Affect Neuroendocrine Levels and Risk Tolerance, cioè “Posture di potere: brevi atteggiamenti non verbali influenzano i livelli neuroendocrini e la tolleranza del rischio”. Riassumeva i risultati di un esperimento che aveva coinvolto 42 persone, studenti della Columbia University dove Carney insegnava all’epoca. L’esperimento era stato ispirato dalle osservazioni di Cuddy e Carney sull’atteggiamento delle loro studentesse – Cuddy insegnava nella facoltà di Economia dell’Università di Harvard – che a lezione e durante gli scambi verbali sembravano molto più insicure dei compagni maschi per via della loro postura, nonostante i loro risultati nei test scritti fossero molto buoni.

Agli studenti non fu rivelato il vero scopo dell’esperimento, dicendogli che i test servivano semplicemente per capire quali differenze comportasse l’applicazione degli elettrodi per un elettrocardiogramma più in basso o più in alto rispetto al cuore. A metà degli studenti fu chiesto di mettersi in pose associate con il potere, ad esempio tenendo le gambe incrociate su un tavolo e spingendo indietro lo schienale della propria sedia; l’altra metà di studenti fu invitata ad assumere pose associate con la subordinazione e l’insicurezza, come tenere le braccia incrociate davanti al corpo.

Cuddy, Carney e Andy J. Yap, il loro collaboratore, raccolsero campioni di saliva dagli studenti prima e dopo averli fatti stare in quelle posizioni per due minuti, per verificare i livelli di due ormoni, il cortisolo, più alto in condizioni di stress, e il testosterone, legato all’aggressività. Chiesero anche di fare un’autovalutazione con una scala da 1 a 4 di quanto si sentissero in controllo e in una posizione di potere, prima e dopo aver assunto le diverse posture. Infine, cercarono di verificare se l’esperimento avesse avuto conseguenze sul loro comportamento: secondo molti studi le persone che si sentono potenti tendono più facilmente a correre dei rischi quindi, per verificare che i partecipanti allo studio si sentissero tali dopo aver passato del tempo in una delle pose associate a questa sensazione, gli fu chiesto se volessero partecipare a una scommessa tirando un dado.

I risultati dello studio confermarono l’ipotesi di Cuddy e Carney sul fatto che ci fosse una relazione tra il cosiddetto “linguaggio del corpo” e il senso di sicurezza e fiducia: dopo aver tenuto le posture associate al potere i partecipanti allo studio dissero di percepire «un senso di potere» più forte e la loro saliva conteneva più alti livelli di testosterone e minori di cortisolo.

Anche se la prima autrice dello studio è Carney, fu Cuddy a diventarne la divulgatrice: prima ancora della conferenza TED, ne parlò in TV, in vari programmi, e poi in tanti altri posti – tra cui gruppi di donne in Australia, case rifugio per adolescenti senza fissa dimora e aziende di vari settori – fino a diventare una faccia nota ed essere riconosciuta da molte persone in giro per il mondo.

La cose nella vita di Cuddy cambiarono però nel 2015, dopo che i risultati del suo studio furono messi in discussione e sostanzialmente confutati da altri ricercatori. Non successe semplicemente perché qualcuno si mise a ri-analizzare l’esperimento del 2010, ma perché dal 2011 in poi i metodi della psicologia sociale usati fino a quel momento erano stati messi in discussione da un gruppo di psicologi secondo cui troppo spesso i risultati degli studi in questo campo non erano obiettivi, ma influenzati dalle idee di chi li conduceva.

Per capire questa cosa, è necessario sapere come avviene l’analisi dei dati raccolti negli esperimenti scientifici, di psicologia in particolare. È capitato spesso che dai dati raccolti nel corso di un esperimento fossero eliminati quelli che nell’opinione degli sperimentatori non erano significativi. Togliere dati non significativi non è necessariamente un errore, ma in molti casi farlo porta i risultati dell’esperimento a confermare le ipotesi di partenza. Per anni nessuno aveva messo in discussione questo modo di considerare i dati perché era usato un po’ da tutti. I suoi limiti sono diventati evidenti non appena altri ricercatori si sono messi a “replicare” gli studi del passato, cioè riprodurli più o meno come erano stati fatti inizialmente, per valutarne l’accuratezza e confermarne i risultati o meno.

Il grande dibattito sui metodi degli studi di psicologia e il successivo movimento di replica degli esperimenti è iniziato nell’ottobre del 2011 con la pubblicazione di False-Positive Psychology, “La psicologia falsa-positiva”, sempre su Psychological Science, grazie al lavoro degli studiosi di psicologia Joseph P. Simmons, Leif D. Nelson e Uri Simonsohn. La prima parte dell’articolo sostiene che «la flessibilità nella raccolta e nell’analisi dei dati aumenta la frequenza di falsi-positivi», cioè di conferme di ipotesi che in realtà non sono corrette. Semplificando molto: succede spesso che chi conduce un esperimento trascuri prove che smentiscono la sua ipotesi di partenza, per non affrontare il loro fallimento. Simmons, Nelson e Simonsohn hanno motivato la loro ipotesi analizzando un valore statistico usato negli studi scientifici che si chiama “valore p”. È il livello di significatività degli esperimenti, un numero che si ottiene con un’analisi statistica e dice se i risultati ottenuti in un esperimento possono essere ritenuti significativi. Nello specifico, indica la probabilità che il risultato osservato sia dovuta al caso rispetto alla conferma della tesi dello studio (qui è spiegato più estesamente). Uno studio è considerato significativo per la ricerca scientifica se il valore p calcolato a partire dai suoi risultati è minore di 0,05. Simmons ritiene che i ricercatori facciano inconsapevolmente del «p-hacking» per fare in modo di abbassare il valore p e renderlo più consono per la conferma dell’ipotesi di partenza.

In una presentazione successiva, Simonsohn introdusse l’idea di utilizzare un grafico per valutare più studi che nel tempo si erano occupati dello stesso ambito di ricerca. Semplificando, il grafico viene costruito utilizzano i valori p attribuiti ai singoli studi. Il sistema consente di costruire una “curva p”, che può essere poi utilizzata per valutare l’eventuale presenza e impatto del «p-hacking» nella letteratura scientifica su un certo argomento.

L’articolo di Simmons, Nelson e Simonsohn cominciò a creare conflitti nella comunità accademica della psicologia sociale nel gennaio del 2012, durante un convegno della Society for Personality and Social Psychology a San Diego, in California. Mentre Simmons, Nelson e Simonsohn presentavano il loro articolo un altro psicologo, il rispettato e conosciuto Norbert Schwarz, li interruppe rumorosamente andando contro le regole di cortesia di queste presentazioni: secondo lui la metodologia seguita nell’articolo era sbagliata e le proposte di Simmons, Nelson e Simonsohn di fatto erano una critica verso i singoli ricercatori e non dei loro lavori. Quattro giorni dopo Schwarz pubblicò una lettera aperta con le sue riserve sulle idee dei tre. Simonsohn lo contattò per proporgli di parlare con calma della questione e arrivare a una tregua con un comunicato congiunto. Inizialmente Schwarz accettò, ma dopo numerose email disse a Simonsohn che gli serviva più tempo; dopo tre settimane Simonsohn perse la pazienza, pubblicò sul suo sito alcuni estratti delle email che aveva scambiato con Schwarz e mandò alla mailing list della Society for Personality and Social Psychology un messaggio di attacco a Schwarz, in cui tra le altre cose diceva di sapere che lo psicologo aveva fatto del «p-hacking» nei suoi studi.

Fin dall’inizio del dibattito avviato da Simmons, Nelson e Simonsohn i toni furono molto accesi perché in discussione non c’era solo l’analisi dei dati, ma anche la reputazione degli psicologi. Dal 2012 le questioni di metodo hanno cominciato a dominare ogni convegno di psicologia sociale insieme al tema della riproducibilità degli esperimenti. È uno dei principi fondamentali della ricerca scientifica: se replicando uno studio si arriva a conclusioni molto diverse da quelle iniziali, il primo studio non è scientificamente valido; se invece dopo diverse repliche si ottengono gli stessi risultati, si può costruire una teoria su quei risultati.

Uno dei principali esponenti del movimento per la replica degli esperimenti è lo psicologo Brian Nosek, direttore del Center for Open Science, fondato per incoraggiare la pratica delle repliche degli esperimenti, che in passato venivano fatte di rado – anche perché le riviste scientifiche sono meno interessate agli articoli che confermano o negano studi già fatti. Insieme a 270 colleghi Nosek ha provato a riprodurre parti di 100 studi pubblicati nel 2008 su tre diverse e autorevoli riviste di psicologia, ottenendo risultati compatibili con quelli di partenza solo in un terzo dei casi. Meno di un anno dopo un articolo contestò le repliche fatte dalla squadra di Nosek: le repliche sarebbero avvenute con molti meno mezzi e disponibilità economiche rispetto agli esperimenti originali, e quindi spesso sarebbero state simulazioni molto approssimative. All’interno di questo dibattito alcuni psicologi attaccati per i loro metodi hanno dato dei «bulli» agli artefici delle repliche e li hanno accusati di essere invidiosi.

Jay Van Bavel, uno psicologo sociale della New York University, ha detto a Susan Dominus che l’esperienza di subire una smentita è dolorosa: «È terrificante, anche se è condotta in modo giusto e all’interno dei limiti scientifici, per via dei social network e di quanto velocemente viaggino le notizie. Quando arrivano le critiche, si accumulano e 50 persone le condividono con migliaia di altre. È terribile per chi viene criticato, anche se per giuste ragioni».

Molti studi scientifici non sono replicabili, dice uno studio scientifico

La storia di Amy Cuddy si è intrecciata con quella del dibattito sui metodi della psicologia sociale nell’agosto del 2014, quando Eva Ranehill, un’economista dell’Università di Zurigo, disse di aver replicato l’esperimento del 2010 sulle posture di potere senza ottenere gli stessi risultati di Cuddy e Carney. Inizialmente Cuddy non si preoccupò più di tanto perché c’erano alcune differenze tra i due esperimenti: allo studio di Ranehill avevano partecipato molte più persone, 200, e a ciascuna erano state fatte tenere due diverse posture di potere, ognuna per tre minuti. Ranehill non riscontrò un aumento del desiderio di correre un rischio nei suoi soggetti, né i cambi ormonali trovati da Cuddy e Carney. Secondo Cuddy la differenza tra i due studi dipendeva dalla durata delle posture, dato che stare per più tempo in una certa posizione può essere molto scomodo. Per quanto riguarda il «senso di potere», Ranehill trovò lo stesso risultato dello studio del 2010, ma nel suo articolo sminuì l’importanza di questo aspetto: anche Cuddy lo aveva fatto nell’articolo del 2010, nonostante poi avesse costruito la sua carriera di divulgatrice intorno a questo concetto.

Cuddy e Carney decisero di scrivere una risposta al lavoro di Ranehill. Carney esaminò la “curva p” della bibliografia usata per lo studio del 2010, che comprendeva 33 studi precedenti; poi la mandò a Nelson per avere dei consigli. Lui a sua volta la inoltrò a Simmons e Simonsohn, che sono più esperti in materia. Simmons scrisse a Carney che la “curva p” non era stata fatta nel modo giusto: lui e Simonsohn l’avevano rifatta, ciascuno da sé, ed entrambi avevano ottenuto come risultato che la bibliografia dello studio del 2010 non poteva essere considerata come una prova della sua validità. Per questo Simmons consigliò a Carney di lasciare perdere la “curva p” nella risposta alla replica di Ranehill: Cuddy e Carney seguirono il suo consiglio, anche se Cuddy aveva qualche dubbio sull’uso delle “curve p” per stabilire la validità di uno studio (non è la sola ad avere questi dubbi).

Dopo la pubblicazione dell’articolo di risposta di Carney e Cuddy, Simmons e Simonsohn scrissero un’email a Cuddy in cui le mostravano la bozza di un post di critiche sia al primo che al secondo articolo che avrebbero pubblicato sul loro blog, Data Colada, e le chiedevano di segnalare cose che secondo lei non erano corrette. Simonsohn ha raccontato a Dominus: «Cerchiamo di essere il più civili possibile ma sapendo che a un certo punto diremo “Ti sei sbagliato”. Alle persone non piace sentirselo dire, non importa quanto lo camuffi». Nella bozza c’erano le “curve p” fatte da Simmons e Simonsohn e tra le ragioni per cui lo studio del 2010 veniva criticato c’era anche il peso dato al fatto che i partecipanti allo studio avessero detto di percepire un «senso di potere»: secondo Simmons queste auto-valutazioni risentono di un tipo di effetti noti agli studiosi di psicologia per cui le persone che partecipano agli esperimenti risentono inconsciamente di ciò che gli sperimentatori vorrebbero sentirsi dire. Secondo Cuddy questi effetti erano stati evitati nello studio del 2010 perché l’esperimento era stato progettato in modo da minimizzarne il rischio.

Susan Dominus, la giornalista del New York Times, ha chiesto a Simmons perché il post su Data Colada fosse così duro nei confronti di Cuddy e Carney visto che la sua corrispondenza con Carney non lo era affatto. Lui si è difeso dicendo che il problema era che le due studiose non avevano messo la “curva p” giusta nel loro articolo di replica a Ranehill. Dominus ha allora fatto notare a Simmons che era stato lui a dire loro di lasciarla perdere, o almeno, questo si capiva leggendo le email che aveva scritto a Carney: su richiesta di Dominus, Simmons ha riletto le email e ha ammesso che c’era stato un fraintendimento.

Cuddy rispose all’email di Simonsohn con alcuni punti che furono inclusi nel post sul blog ma disse anche di voler scrivere una risposta più lunga in un altro contesto. Cuddy ha raccontato a Dominus che dopo la pubblicazione del post su Data Colada i suoi conoscenti le scrissero via email dei messaggi come se stesse «morendo di cancro». In successione avvennero altre cose che ormai Cuddy si aspettava: sospetti e controlli sugli altri suoi studi e insulti diretti a lei nei commenti dei gruppi di Facebook del mondo della psicologia. Alla fine Cuddy scrisse un comunicato in cui diceva di non essere d’accordo con le conclusioni di Simmons e Simonsohn e di aspettare «nuovi progressi su questo importante argomento».

Poi però arrivò un’altra serie di attacchi a Cuddy, questa volta più personali. Andrew Gelman, blogger e professore di statistica e scienze politiche alla Columbia University, criticò la ricerca di Cuddy in un articolo su Slate e poi cominciò a citarla più volte nel suo blog in modo sprezzante, criticandola per non aver risposto in modo più esteso al post di Data Colada e per aver continuato a citare i risultati dello studio del 2010 nelle sue conferenze come se non fossero stati in parte smentiti. Nel suo sito il nome di Cuddy diventò una specie di sinonimo per le condotte scorrette degli scienziati. Gelman ha detto a Dominus che secondo lui Cuddy dovrebbe ammettere che lo studio del 2010 sulle posture di potere e i loro effetti ormonali non era stato fatto bene.

Di fatto questo è quello che alla fine fece Dana Carney, la coautrice dello studio. Nel settembre del 2016 pubblicò sul suo sito un documento in cui prendeva le distanze dallo studio sulle posture di potere: «Non credo che gli effetti delle “posture di potere” siano reali». Nel documento poi Carney elencava una lista di dubbi sul metodo che le erano venuti a posteriori sullo studio del 2010, la maggior parte dei quali non aveva mai discusso con Cuddy. In un’email di alcuni mesi prima Carney aveva detto chiaramente a Cuddy che pensava che i dati dello studio fossero deboli e pochi, che gli effetti riscontrati non fossero abbastanza consistenti, ma non le aveva detto di voler sconfessare la ricerca. Nelson, che è un collega di Carney, ha detto a Dominus che la sua ritrattazione è comprensibile considerando che lo studio del 2010 danneggiava la sua reputazione e non le portava i vantaggi che invece Cuddy ne aveva ottenuto, visto che Carney non si era costruita una carriera di divulgatrice a partire da quei risultati.

Cuddy scrisse una lunga risposta a Carney che fu pubblicata sul New York Magazine, poi smise di rispondere alle telefonate e divenne praticamente irraggiungibile; dimagrì tantissimo e arrivò a pesare 45 chili – è alta quasi un metro e settanta.

Il fatto che Cuddy sia stata attaccata pubblicamente così di frequente non è passato inosservato all’interno della comunità della psicologia sociale e molti si sono interrogati sugli effetti di un dibattito così duro. Molti psicologi hanno detto a Susan Dominus che secondo loro Cuddy non meritava l’intensità di critiche che ha ricevuto e che gli attacchi che ha subito erano eccessivamente personali; una forma di «umiliazione pubblica» secondo Van Bavel. Tra le altre cose Cuddy è stata criticata per il suo stipendio e per la sua ambizione; qualcuno ha messo in dubbio le sue capacità intellettive ricordando che quando era studentessa fu coinvolta in un incidente in cui subì un trauma cranico.

Nelson ha detto a Dominus che Cuddy non si è comportata in modo diverso da molti altri scienziati “fedeli” ai propri dati e la considera ancora una «psicologa molto seria», sebbene ritenga che lo studio del 2010 sulle posture di potere sia «un mucchio di sciocchezze».

Negli scorsi mesi Cuddy ha partecipato a una conferenza in cui per la prima volta ha riconosciuto che le posture di potere non provocano effetti ormonali; per quanto riguarda il «senso di potere» invece rimane convinta del suo risultato e non ha rinnegato la questione della maggiore propensione a correre un rischio, nonostante siano ormai 11 gli studi che l’hanno confutata.

Intanto Cuddy ha raccontato a Susan Dominus di stare lavorando a un nuovo libro, più personale del precedente, che potrebbe intitolarsi “Bulli, Passanti e Coraggiosi” e parlerà delle esperienze delle persone che hanno subito grandi e duri attacchi, partendo dalla sua storia.