Come si fanno i sondaggi politici

Pochi giorni prima delle elezioni europee del 2014 si parlava molto dell’imminente sorpasso del Movimento 5 Stelle sul Partito Democratico. Gli ultimi sondaggi pubblicati prima del periodo di divieto elettorale mostravano il partito di Beppe Grillo a pochi punti dal 30 per cento assegnato al PD di Matteo Renzi. Anche se Renzi sembrava in leggero vantaggio, tutti ricordavano le elezioni politiche dell’anno prima, quando i sondaggi avevano sopravvalutato il PD di più di cinque punti, e sottovalutato di altrettanti il M5S. Gli analisti politici pronosticavano la prossima fine del nuovo governo Renzi, insediatosi poco prima, mentre Silvio Berlusconi diceva che Forza Italia doveva prepararsi a entrare al governo per sostenere un PD ammaccato dal sorpasso dei grillini.

La sera del 25 maggio il conteggiò dei voti reali lasciò gran parte degli osservatori senza parole. Il PD aveva ottenuto oltre il 40 per cento dei voti e il Movimento 5 Stelle poco più della metà: un errore di quasi il 10 per cento nei sondaggi, ripetuto da più di una decina di società demoscopiche diverse. Uno dei più gravi abbagli della storia recente dei sondaggi politici. Per settimane e mesi la campagna elettorale era ruotata intorno a un fenomeno che, in realtà, non esisteva: il sorpasso del Movimento 5 Stelle sul Partito Democratico. E tutto a causa di sondaggi clamorosamente sbagliati. Oggi, a poche settimane dalle prossime elezioni politiche, molti si chiedono se questa volta i sondaggi potranno essere presi più seriamente. La risposta a questa domanda, però, non è affatto semplice.

I sondaggi sono affidabili?
Alcuni errori commessi dalle società demoscopiche italiane sono stati spettacolari, ma negli ultimi anni i sondaggi sono stati attaccati un po’ in tutto il mondo, anche ingiustamente. I sondaggisti britannici, per esempio, sono stati molto criticati per non aver previsto la vittoria del “leave” al referendum su Brexit. Ma a guardare bene i dati ci si accorge che il loro errore non fu poi così grave. Nei giorni precedenti al voto la maggior parte sondaggi dava solo un leggero margine di vittoria ai “remain”, ma circa un terzo delle rilevazioni dava un risultato pari o addirittura una vittoria dei “leave”. Vinsero effettivamente i “leave”, con il 51,9 per cento dei voti contro il 48,1. In altre parole i sondaggisti sbagliarono di pochi punti percentuali, all’interno del margine di errore del 3 per cento che ha questo tipo di sondaggi (ci torneremo tra poco).

Un esempio ancora più eclatante è quello delle ultime elezioni statunitensi. La stragrande maggioranza dei sondaggisti dava in vantaggio Hillary Clinton nel voto popolare, cioè nel conteggio totale dei voti ottenuti. Una volta contati i voti, i sondaggi si sono rivelati sorprendentemente accurati: Clinton ha vinto nel voto popolare con un margine del 2 per cento e quasi tre milioni di voti in più, molto vicino a quello stimato dai sondaggi. Le previsioni che si erano rivelate sbagliate erano quelle che elaborando i risultati dei sondaggi nei singoli stati e la distribuzione del voto nazionale stimavano, in alcuni casi, il 70 per cento di possibilità di vittoria per Clinton (occhio: possibilità di vittoria, non voti ottenuti).

Ma nel peculiare sistema americano è possibile vincere le elezioni anche prendendo meno voti del proprio avversario – il caso di Trump è il secondo in meno di 20 anni – ed è quello che accadde la notte dell’8 novembre. Poche decine di migliaia di voti in alcuni stati chiave, sfuggiti ai sondaggisti, hanno consegnato la vittoria a Trump, ma senza per questo invalidare l’utilità dei sondaggi, che avevano stimato con precisione la quantità totale di voti raccolta dai due candidati. Quando sono accurati, insomma, i sondaggi politici non solo sono piuttosto affidabili, ma sono anche l’unico strumento reale che abbiamo per misurare l’opinione delle persone prima di un’elezione. Il problema quindi non è se i sondaggi funzionano: i sondaggi funzionano se sono fatti bene.

E come si fa un sondaggio fatto bene?
Per fare un buon sondaggio bisogna rispettare una serie di criteri scientifici. Per esempio, un sondaggio è ritenuto affidabile se ha un margine di errore del 3 per cento con un intervallo di confidenza del 95 per cento. Significa che ci devono essere il 95 per cento di possibilità che i risultati ottenuti dal sondaggio siano entro tre punti percentuali dal risultato finale del voto. Per riuscirci è necessario conoscere le opinioni di un campione – formato da almeno mille persone – che sia rappresentativo della popolazione che si vuole studiare. La dimensione della popolazione che vogliamo indagare è solo relativamente importante. Che siano i tre milioni di abitanti di una città, o i 40 che vivono in un’intera nazione, un campione rappresentativo di mille persone è sufficiente per avere un margine di errore del 3 per cento.

Le difficoltà è che questo campione deve essere, appunto, “rappresentativo”, cioè deve rispecchiare il più fedelmente possibile la popolazione in senso più ampio. Purtroppo, però, ottenere un campione perfettamente rappresentativo è quasi impossibile.

Partiamo dall’inizio: quando una società demoscopica riceve l’incarico di realizzare un sondaggio di opinione, la prima cosa che fa è affidare il compito di realizzare le interviste a una società specializzata. Le interviste possono essere fatte con diversi metodi. Possono essere – in ordine decrescente, dal più costoso e affidabile in poi – telefoniche con operatore, telefoniche con messaggi registrati, via internet. Una volta scelto il metodo, la società procede a contattare un certo numero di persone scelte a caso dagli elenchi telefonici o di indirizzi mail. Il problema è che non tutti risponderanno al telefono, non tutti accetteranno di rispondere alle domande degli intervistatori e quelli che accetteranno non saranno necessariamente “rappresentativi” dell’intera popolazione. Se ho bisogno di mille interviste, quindi, dovrò fare un multiplo di mille telefonate per avere le risposte che mi servono. E più telefonate vengono fatte, più il sondaggio sarà lungo e costoso.

Per fare un esempio, prendiamo uno degli ultimi sondaggi pubblicati sul sito del governo che raccoglie tutti i sondaggi pubblici. È un’indagine sulle elezioni politiche fatta dall’Istituto Piepoli, una delle principali società demoscopiche italiane. Nella scheda informativa possiamo leggere che sono state completate un totale di 810 interviste di cui 551 con metodo CATI, cioè telefoniche, e 259 con metodo CAWI, cioè via internet. Per ottenere questo risultato sono stati realizzati in tutto 11 mila contatti tra telefonate e mail. Nonostante questo dispendio di chiamate, le interviste completate sono state appena 810, cioè quasi duecento meno delle mille che vengono raccomandate in queste circostanze. Per questa ragione il margine di errore segnalato nella scheda è un po’ più alto del solito: 3,4 per cento invece di 3.

Non è sufficiente però intervistare mille persone a caso. Come dicevamo prima, c’è bisogno che questo campione sia “rappresentativo”. Significa che se la popolazione di cui ci interessa conoscere l’opinione è fatta per metà di maschi e per metà di femmine, metà del campione dovrà essere composto da maschi. I sondaggisti, quindi, stabiliscono delle “quote” che gli intervistati dovranno riempire. Una volta che una quota è stata riempita tutti gli altri rispondenti che dovessero appartenere a quella quota vengono scartati. Le quote in genere riguardano il genere, l’area geografica di provenienza, l’età e il titolo di studio. Più quote ci sono, più il campione sarà rappresentativo e il sondaggio preciso. Ma fare un sondaggio con molte quote è anche più difficile da realizzare, perché ogni quota aggiunge nuova complessità e obbliga a fare un numero più alto di chiamate. «Con poche quote, come genere, età e area geografica, un sondaggio è relativamente semplice da fare», ha spiegato al Post il professor Roberto Biorcio, professore di sociologia dell’Università degli Studi di Milano Bicocca: «Se si aggiunge anche il livello di istruzione dovrò fare molte più interviste, quindi per avere quote più precise bisogna affrontare costi maggiori». Un buon sondaggio, continua Biorcio, costa come minimo dai 5 ai 10 mila euro e ha dalle tre alle sei quote.

Quando arriviamo a parlare di quote, quali scegliere e come organizzarle, siamo già in una parte arbitraria del mestiere di fare sondaggi. Più che seguire criteri universali validi per tutti, ogni società ha i suoi metodi per cercare di creare campioni rappresentativi e non è facile valutare quali siano i più affidabili in un certo momento. Una volta completate le interviste e riempite, o quasi, le quote, arriva un’altra fase in cui questo aspetto di arbitrarietà viene ulteriormente accentuato. Avere tutti i dati in mano, infatti, non è sufficiente per dire di avere completato un sondaggio. Per esempio, è molto probabile che non tutte le quote siano state riempite. Poniamo che la quota di laureati non sia stata soddisfatta: c’era bisogno di intervistarne almeno 50 ma gli intervistatori ne hanno trovati solo 40 prima di esaurire le chiamate che avevano a disposizione. Quando si calcolano i risultati del sondaggio, quindi, bisognerà pesare sul totale quei 40 laureati come fossero 50.

Si possono fare, oppure non fare, numerose “ponderazioni” di questo tipo. Una delle più diffuse è la ponderazione sul voto precedente. Oltre a chiedere cosa voteranno in futuro, agli intervistati viene spesso domandato anche cosa hanno votato l’ultima volta. Visto che si sa come sono andate realmente le ultime elezioni, si guarda al rapporto tra quante persone dicono di aver votato un certo partito alle ultime elezioni e quanti lo votarono effettivamente e si prova a fare la stessa operazione per le elezioni successive. Se ci accorgiamo per esempio che il PD era sottovalutato del 10 per cento alle ultime elezioni, cioè meno persone dicono di averlo votato rispetto alla realtà, allora possiamo provare a tenere conto di questo fatto anche nello stimare quante persone voteranno in futuro per il PD. Se il 25 per cento ci ha detto che voterà PD, quindi, potremmo deciderle di correggerlo un po’ al rialzo. Come, quanto e con che formule tenere conto di questi fattori viene di solito deciso da ogni società di sondaggi, e i metodi che vengono utilizzati possono essere anche molto differenti (e non necessariamente “scientifici”, diciamo).

Quindi, come si fa un buon sondaggio? È soprattutto una questione di risorse. Più si spende per avere un elevato numero di interviste su un campione rappresentativo, più si ottiene un sondaggio di qualità. Ma è anche questione del professionismo di chi realizza il sondaggio. Decidere quali quote inserire e quali no e come ponderare i risultati sono scelte arbitrarie e difficili da valutare in anticipo, ma che possono influenzare molto la precisione di un sondaggio.

Come si fanno i sondaggi in Italia?
Tanto per cominciare se ne fanno molti e sono in molti a farli. «La frammentazione è una caratteristica comune a molte industrie del nostro paese e quello delle rilevazioni d’opinione è un settore che non fa eccezione», spiega al Post Lorenzo Pregliasco, cofondatore della società di consulenza politica Quorum e direttore di YouTrend, il sito che include nella sua “supermedia” dei sondaggi le rilevazioni di otto istituti diversi. In tutto sui media italiani compaiono regolarmente i sondaggi di più di una dozzina di società diverse. È una situazione molto diversa rispetto a quella francese, per esempio, dove sono soltanto tre i principali istituti demoscopici. E anche rispetto agli Stati Uniti, dove i principali media si affidano a un pugno di grandi società internazionali che investono molto sia nei singoli sondaggi che nello studio e nella sperimentazione di nuove tecniche.

Nel nostro paese, invece, c’è sostanzialmente un unico operatore di livello internazionale: Ipsos, una multinazionale francese con migliaia di dipendenti in tutto il mondo. Ci sono poi altre realtà “medie”: attori importanti ma soltanto sul piano nazionale italiano, come l’Istituto Piepoli, Demos, Emg Acqua. Altre società sono particolarmente legate a un unico committente. È il caso di Euromedia di Alessandra Ghisleri, che riceve numerose commissioni da Silvio Berlusconi, e SWG, che invece lavora spesso per il Partito Democratico. Avere un committente principale non significa necessariamente mancare di professionalità, ma è spesso possibile notare come chi ha un committente più frequente degli altri è un po’ più generoso con le sue percentuali.

Secondo Pregliasco «la frammentazione del settore e la mancanza di economie di scala sono certamente uno dei problemi dell’Italia», ma una parte della responsabilità appartiene ai media italiani. Giornali e televisioni, colpiti da una crisi ancora più grave che nel resto del mondo, hanno poche risorse da investire in sondaggi di qualità e spesso manifestano poco interesse nei loro aspetti tecnici. «Una parte considerevole dei post sul sito del famoso sondaggista americano Nate Silver riguarda tecnica e metodo dei sondaggi», spiega Pregliasco. «Negli Stati Uniti si è sviluppato un vero e proprio dibattito su questi temi. In Italia invece non abbiamo ancora visto nulla del genere».

Questi problemi del settore e dei media probabilmente non sarebbero così gravi se l’Italia avesse la stessa stabilità politica degli altri grandi paesi europei. Il Regno Unito è un ottimo esempio: da prima della Seconda guerra mondiale i britannici possono scegliere sostanzialmente tra gli stessi due partiti, i Conservatori e Laburisti, che si scontrano alle elezioni con un sistema maggioritario puro praticamente uguale da decenni. L’abitudine a votare sempre gli stessi partiti e sempre con lo stesso metodo è senza dubbio uno dei fattori più importanti che contribuiscono a rendere prevedibile – e quindi efficacemente sondabile – il comportamento degli elettori.

L’Italia invece ha da 20 anni un quadro politico estremamente mutevole. Soltanto negli ultimi tre anni abbiamo cambiato tre leggi elettorali e praticamente tutti i principali partiti hanno cambiato nome. Provate a fare questo esercizio: chiedete ai vostri amici se nel 2013 Berlusconi correva con Forza Italia o con il Popolo della libertà. Oppure se si ricordano con chi era alleato il PD cinque anni fa e se alle elezioni c’erano partiti di centro e come si chiamavano. Con un quadro politico così volatile diventa molto difficile raccogliere quei dati sul comportamento passato degli elettori che sono così importanti per i sondaggisti. Diventa difficile anche per l’elettore orientarsi e formarsi un’opinione e quindi, per il sondaggista, è altrettanto complicato scoprire qual è.

Quindi ci possiamo fidare o no?
La questione è malposta, suggerisce Pregliasco. I sondaggi sono tentativi di descrivere una realtà molto complessa e come tali devono essere trattati con prudenza. Sono però l’unico strumento che abbiamo per farci un’idea di come stanno le cose prima delle elezioni e per questo non possiamo pensare di rinunciare a loro completamente. In Italia, per via di una serie di problemi sia del settore industriale che del contesto nazionale, questa prudenza deve essere esercitata con particolare scrupolo. Spostamenti settimanali della forza di un partito che ammontano a qualche zero virgola sono probabilmente inutili e fuorvianti, se il margine di errore di quello stesso sondaggio è dieci o venti volte superiore. Ma le tendenze di lungo periodo vanno prese con maggiore serietà.

Negli ultimi anni gli istituti italiani hanno commesso errori macroscopici, sbagliando la stima di alcuni partiti persino di dieci punti, e non è detto che questi errori non possano ricapitare. Ma, ricorda Pregliasco, gli sbagli sono molto più facili da ricordare delle volte in cui i sondaggi si sono rivelati corretti. Per esempio con le regionali del 2015, le amministrative del 2016 e le regionali siciliane del 2017, i sondaggi si sono rivelati in gran parte accurati e hanno previsto più o meno correttamente le forze degli schieramenti in campo. A questo bisogna aggiungere che i grandi errori del 2013 e del 2014 sono avvenuti in un periodo particolare, con una forza nuova, il Movimento 5 Stelle, che si affacciava per la prima volta alla competizione elettorale, senza una storia passata su cui poterla misurare. È facile che il 4 marzo possa rivelarci delle sorprese rispetto a quello che ci dicono oggi i sondaggi, ma per chi sa leggerli con il giusto distacco hanno ancora qualcosa di interessante da insegnare.