Parliamo dei sondaggi

Prima delle elezioni statunitensi, praticamente tutti i sondaggi pubblici – sia quelli a livello nazionale che quelli negli stati in bilico – indicavano una vittoria relativamente facile per la candidata Democratica Hillary Clinton. Le cose sono andate diversamente. Nel tentativo di capire i motivi di questo fallimento dei sondaggi, il giornalista del Washington Post Chris Cillizza ha intervistato Jon Cohen, ex responsabile dei sondaggi del giornale e ora vicepresidente di Survey Monkey, un’importante società che si occupa di sondaggi. Qui sotto trovate la traduzione dell’intervista, che è avvenuta via email ed è stata poi leggermente modificata dal Washington Post.

Cillizza: Questa è perlomeno la seconda elezione presidenziale consecutiva in cui i sondaggi non ci hanno preso del tutto, e questa volta di molto. I sondaggi politici non funzionano più? Motiva la tua risposta.

Cohen: Se consideriamo le medie, l’ampiezza dell’errore nei sondaggi nazionali del 2016 (circa tre punti percentuali nel voto popolare) è quasi uguale a quella del 2012 [quando sottostimarono la vittoria di Obama, ndt]. In questo caso l’enorme differenza sta nel fatto che praticamente tutti i sondaggi indicavano il risultato finale sbagliato. Non è per minimizzare quello che è successo martedì. Un’analisi finale potrebbe evidenziare il devastante tracollo dei sondaggi e dei modelli che molti nel settore temono: semplicemente, non lo sappiamo ancora.

Cillizza: Il problema centrale è solo una questione di campione? Non siamo cioè in grado di prevedere come sarà composto l’elettorato?

Cohen: Una parte centrale dell’indagine necessaria sui risultati dei sondaggi e dei modelli nel 2016 sarà un’analisi lucida dei sistemi di campionamento, ponderazione, e – cosa molto importante – delle stime sulle persone che dovrebbero andare a votare. Ci vorrà più di qualche giorno, settimana, o addirittura mesi, per chiarire definitivamente il ruolo che la campionatura e la ponderazione hanno avuto negli errori dei sondaggi. Una cosa, però, è chiara: il modo in cui i sondaggisti determinano chi andrà davvero a votare non funziona, a prescindere dai diversi approcci adottati dai sondaggi pubblici e dagli stessi comitati elettorali. Alla fine decine di migliaia, centinaia di migliaia, o milioni di persone che si pensava sarebbero andati a votare non si sono presi il disturbo di farlo. E forse persone che si pensava non sarebbero probabilmente andate a votare invece hanno votato.

L’American Association for Public Opinion Research (AAPOR) iniziò a crescere dopo il fallimento dei sondaggi nel 1948, quando il Repubblicano Deway era dato per vincente contro il presidente uscente Truman, che poi vinse le elezioni. L’organizzazione ha istituito una task force per indagare a fondo su quello che è successo quest’anno. Nella nostra democrazia i sondaggi pubblici sono troppo importanti per capire noi stessi e la nostra società per scomparire. Confido nel fatto che riusciremo a sistemare le cose.

Cillizza: Facciamo troppi sondaggi politici?

Cohen: Il punto è la qualità, non la quantità. Dobbiamo concentrarci su quella.

Cillizza: Visti i problemi, è arrivato il momento di rivedere i tradizionali sondaggi telefonici? È possibile che i sondaggi fatti su Internet ci abbiano azzeccato di più?

Cohen: Non c’è dubbio che i sondaggi su internet siano il futuro. La sfida è capire come farli bene. La revisione è già in corso, visto che i sondaggi telefonici vengono condotti in modo molto diverso rispetto solo a dieci anni fa. Per decenni c’è stato un utile consenso sulle basi metodologiche degli elementi che contraddistinguevano un sondaggio di qualità. Conosciamo gli elementi fondamentali del cambiamento: scala, diversità, un’autoselezione controllabile, rigore metodologico e trasparenza. Ma non basta. Non ci siamo ancora: quest’anno i sondaggi di internet, come anche i sondaggi automatici, sembrano avere fatto errori simili a quelli del 2012.

Per quanto riguarda i sondaggi fatti da Survey Monkey nei singoli stati quest’anno: Trump è diventato presidente vincendo in quattro stati con un distacco di un punto percentuale o meno (Florida, Michigan, Pennsylvania e Wisconsin). Nella nostra mappa elettorale finale tre di questi quattro stati erano dati in bilico. Abbiamo sbagliato in due stati, per il resto si è trattato di quella che sembrava essere un’improbabile vittoria di Trump negli stati in bilico.

Cillizza: Finisci la frase e motiva: “Lo stato dei sondaggi al 9 novembre 2016 è …”. 

Cohen: “Scombussolato, e davanti a un momento del giudizio”. Indipendentemente da quale sia la scusa, c’è una crisi di fiducia nel lavoro che facciamo. Abbiamo tutti la responsabilità di dare un senso ai nostri dati, capire a fondo cosa è andato storto e condividere quello che impariamo.

© 2016 – The Washington Post