Intervallo di confidenza: perché i sondaggi hanno un margine

In breve. Un sondaggio non interpella tutti: interpella un campione. Perciò ogni suo numero è una stima, non una misura esatta, e porta con sé un intervallo di confidenza — una fascia costruita in modo che, ripetendo il sondaggio, catturi il valore vero in una quota dichiarata di casi (di solito il 95%). Il margine d’errore è la metà di quella fascia: con mille intervistati vale circa ±3 punti percentuali. La conseguenza pratica è una sola, e cambia il modo di leggere le notizie: se due valori distano meno del doppio del margine, la differenza può essere solo rumore del campione. Un «sorpasso» di un punto, con quei numeri, spesso non è un sorpasso.

«Il partito supera il 30%.» «Testa a testa: 41 a 40.» Frasi così si leggono ogni settimana, e quasi sempre manca il numero che le rende interpretabili: quanto vale il margine. Senza quello, un sondaggio è un dato monco — e l’intervallo di confidenza è il modo in cui la statistica dichiara, onestamente, quanto è incerto ciò che ha misurato.

Da dove nasce l’incertezza

Se si vuole sapere che cosa pensano gli italiani maggiorenni — circa cinquanta milioni di persone — non li si interpella uno per uno. Si estrae un campione: qualche centinaio o qualche migliaio di persone, scelte in modo che rappresentino l’insieme. Su quel campione si misura una percentuale (o una media), e la si usa per stimare il valore dell’intera popolazione. E quante persone servano davvero in quel campione — e perché la dimensione della popolazione non conti quasi nulla — lo spiega campione ed errore campionario: quante persone bastano.

Il punto è che due campioni diversi, estratti lo stesso giorno con lo stesso metodo, darebbero risultati un po’ diversi tra loro: per puro caso, uno può pescare qualche sostenitore in più di una parte, l’altro qualcuno in meno. Questa oscillazione inevitabile ha un nome — errore campionario — e non è un difetto del sondaggio: è la conseguenza matematica dell’aver guardato una parte invece del tutto. L’AGCOM la definisce come «una stima di quanto nei campioni probabilistici i risultati del sondaggio si discostino da quelli che si otterrebbero se fosse interpellata l’intera popolazione».

L’intervallo di confidenza è il modo di quantificare quell’oscillazione. Non elimina l’incertezza: la misura e la dichiara. E vale per qualunque numero che nasca da un campione, non solo per i sondaggi d’opinione: anche le indagini con cui si misura la disuguaglianza in Italia stimano su un campione, e portano con sé lo stesso tipo di margine.

Che cosa dice davvero «95%»

Quando si legge «intervallo di confidenza al 95%, margine ±3%», il significato preciso è questo: se si ripetesse il sondaggio infinite volte, nella stessa popolazione e con lo stesso metodo, nel 95% dei casi l’intervallo calcolato conterrebbe il valore vero. Il 95% è il livello di fiducia; il ±3% è l’ampiezza della fascia attorno alla stima.

Attenzione a una sfumatura che confonde molti: il 95% non vuol dire «c’è il 95% di probabilità che il valore vero stia in questa fascia». Il valore vero è un numero fisso, non una variabile: è la fascia a cambiare da campione a campione. La fiducia è riposta nel procedimento — che nel lungo periodo azzecca il valore 95 volte su 100 — non nel singolo intervallo che abbiamo davanti. È una distinzione sottile, ma è la ragione per cui la formula funziona.

Perché proprio il 95%? È una convenzione, non una legge di natura: si potrebbe scegliere il 90% (fascia più stretta, ma sbagliamo più spesso) o il 99% (fascia più larga, ma più prudente). Il 95% è il compromesso diventato standard, ed è quello che i sondaggi dichiarano quasi sempre.

Quanto vale il margine, e da che cosa dipende

Il margine d’errore di una percentuale, al 95%, si ottiene con una formula semplice:

margine ≈ 1,96 × √( p·(1−p) / n )

dove n è il numero di intervistati e p la percentuale osservata (espressa tra 0 e 1). Il valore 1,96 è il coefficiente legato al 95%; la quantità sotto radice riassume la variabilità delle risposte. Il margine è massimo quando p = 0,5 (50%): è il caso peggiore, quello che i sondaggisti dichiarano per prudenza, perché vale per qualunque risposta.

La cosa importante da capire è che il margine dipende quasi solo dalla dimensione del campione, non da quella della popolazione. Per stimare l’opinione di cinquantamila persone o di cinquanta milioni serve, a parità di precisione, più o meno lo stesso numero di interviste. È controintuitivo, ma è così: conta quanti ne guardi, non quanti sono in totale.

Ed è una relazione a rendimenti decrescenti. Il margine scende con la radice quadrata di n: per dimezzarlo non basta raddoppiare il campione, bisogna quadruplicarlo. Ecco perché quasi tutti i sondaggi si fermano attorno a mille interviste — lì il margine è già circa ±3 punti — e spingersi oltre costa molto per guadagnare pochissimo.

Calcolo al 95% (z = 1,96), caso peggiore p = 0,5, popolazione grande. Scarica la tabella completa in CSV.

Una precisazione che i sondaggisti conoscono bene: questi valori valgono per un campione casuale semplice, in cui ogni persona ha la stessa probabilità di essere estratta. I sondaggi reali usano quasi sempre disegni più complessi — stratificazione, ponderazione, estrazione a grappoli — che possono allargare il margine effettivo rispetto a quello della formula (è il cosiddetto effetto del disegno). La tabella va quindi letta come il margine minimo per una data numerosità, non come una garanzia.

C’è un secondo fattore, spesso dimenticato: il margine è più stretto per le percentuali piccole. Con mille interviste, una risposta attorno al 50% ha margine ±3,1%, ma una attorno al 5% ha margine ±1,4%. Per questo la fascia di un partito piccolo, in valore assoluto, è più stretta di quella di uno grande — anche se in proporzione al suo risultato può pesare di più.

L’errore di lettura più comune: il finto sorpasso

Qui sta l’uso pratico di tutto questo. Immaginiamo un sondaggio su mille persone (margine ±3%) che dà una lista al 31% e un’altra al 29%. Il titolo scrive: «la prima supera la seconda». Ma ciascuno di quei due numeri è una stima con la sua fascia di incertezza: la prima lista potrebbe stare ovunque tra il 28% e il 34%, la seconda tra il 26% e il 32%. Con uno scarto di due punti su un campione così, non c’è abbastanza per affermare che una sia davvero davanti all’altra.

Attenzione però a come si ragiona, perché qui si annida un errore diffuso anche tra i giornalisti. Vedere che le due fasce si sovrappongono è un campanello d’allarme, non una prova: due intervalli possono sovrapporsi e la differenza risultare comunque reale. Il motivo è tecnico ma decisivo — ciò che conta non è il margine di ciascun valore preso da solo, ma il margine della differenza tra i due, che si calcola sullo scarto e tiene conto del fatto che le percentuali di uno stesso sondaggio non sono indipendenti (l’una cresce a spese dell’altra). È quello, non la sovrapposizione stimata a occhio, il metro rigoroso.

Per chi legge senza rifare i conti resta una regola pratica, volutamente prudente: una differenza merita fiducia quando è ampia rispetto al margine — come ordine di grandezza, con mille interviste, quando i due valori distano parecchi punti, non uno o due. Sotto quella soglia, «sorpasso» e «testa a testa» vanno presi con le molle. Lo stesso vale nel tempo: un partito che passa dal 24% al 26% tra due rilevazioni non è necessariamente «in crescita», se quei due punti stanno dentro il margine. Il trend conta quando è netto, o quando si ripete su più rilevazioni; un singolo scarto dentro il margine non è una notizia.

Che cosa il margine NON copre

Ed è il punto più importante, quello che la formula da sola non dice. Il margine d’errore misura solo l’incertezza dovuta al fatto di aver estratto un campione invece dell’intera popolazione. Presuppone che il campione sia probabilistico e perfettamente rappresentativo. Nella realtà dei sondaggi non è quasi mai così, e gli errori più insidiosi stanno fuori dal margine dichiarato:

• chi non risponde. Se chi rifiuta l’intervista la pensa in modo sistematicamente diverso da chi accetta, la stima è distorta — e il margine non se ne accorge.
• come è fatta la domanda. L’ordine delle opzioni, le parole scelte, il tema del giorno possono spostare le risposte più del margine intero.
• chi andrà davvero a votare. Un conto è l’intenzione dichiarata, un altro il comportamento reale: tradurre l’una nell’altro è una stima nella stima.
• il metodo di raccolta. Telefono fisso, online, panel auto-selezionati raggiungono popolazioni diverse.

Il margine d’errore, insomma, è il pavimento dell’incertezza, non il soffitto: la realtà è almeno così incerta, di solito di più. Un sondaggio serio dichiara il metodo proprio perché il lettore possa giudicare anche questa parte, che nessuna formula riassume.

In Italia è un obbligo, non una cortesia

Non è lasciato alla buona volontà del giornale. In Italia la diffusione dei sondaggi politici ed elettorali è regolata dalla legge n. 28 del 2000 e dal regolamento dell’AGCOM (delibera 256/10/CSP): ogni sondaggio pubblicato deve essere accompagnato da una nota informativa e rimandare a un documento completo, depositato presso il Dipartimento per l’informazione e l’editoria della Presidenza del Consiglio e consultabile online nell’apposito registro pubblico.

Quel documento deve indicare, tra le altre cose, il soggetto che ha realizzato il sondaggio e chi l’ha commissionato, la consistenza numerica del campione, il numero di chi non ha risposto, il metodo di campionamento e di raccolta, e il margine d’errore. In altre parole: gli elementi per rifare, mentalmente, i conti di questo articolo. Quando un dato di sondaggio circola senza questi riferimenti, la prima cosa da chiedersi non è quanto valga il numero, ma perché manchi il suo margine.

Domande frequenti

Che cos’è l’intervallo di confidenza di un sondaggio?

È una fascia di valori costruita attorno alla stima del sondaggio in modo che, ripetendo la rilevazione, contenga il valore vero della popolazione in una quota dichiarata di casi (di solito il 95%). Serve perché un sondaggio misura una percentuale su un campione, non su tutti: l’intervallo di confidenza quantifica l’incertezza che ne deriva. Il margine d’errore è la metà dell’ampiezza dell’intervallo.

Quanto vale il margine d’errore con mille intervistati?

Circa ±3 punti percentuali, al 95% e nel caso peggiore (percentuali attorno al 50%). Significa che un valore misurato al 40% è compatibile con un valore vero tra il 37% e il 43%. Le percentuali più piccole hanno un margine più stretto.

Da cosa dipende il margine d’errore?

Quasi solo dalla dimensione del campione, non da quella della popolazione. Scende con la radice quadrata del numero di interviste: per dimezzarlo bisogna quadruplicare il campione. Dipende anche dalla percentuale osservata (massimo attorno al 50%) e dal livello di fiducia scelto. I valori tipici (±3% per mille interviste) valgono per un campione casuale semplice: i disegni reali, con stratificazione e ponderazione, possono allargarli.

Perché due valori vicini in un sondaggio non sono un sorpasso?

Perché ciascun valore è una stima con un margine, e con uno scarto piccolo non c’è abbastanza per dire quale sia davvero più alto. Il criterio rigoroso non è vedere se le due fasce si sovrappongono — può accadere anche quando la differenza è reale — ma calcolare il margine della differenza, sullo scarto tra i due valori. Regola pratica: con mille interviste (margine ±3%) una distanza di uno o due punti non basta a stabilire un sorpasso.

Il margine d’errore copre tutti gli errori di un sondaggio?

No. Misura solo l’errore dovuto al campionamento. Restano fuori le distorsioni da mancata risposta, dalla formulazione delle domande, dal metodo di raccolta e dalla stima di chi voterà davvero. Il margine è il minimo dell’incertezza, non il totale.

Fonti

• Dipartimento per l’informazione e l’editoria — Sondaggi politico-elettorali (Presidenza del Consiglio dei Ministri): quadro degli obblighi di pubblicazione e deposito della nota informativa e del documento completo.
• AGCOM — Sondaggi (Autorità per le Garanzie nelle Comunicazioni): regolamento (delibera 256/10/CSP), definizione di margine d’errore, contenuti obbligatori della nota informativa.
• Registro dei sondaggi politico-elettorali: archivio pubblico dei sondaggi diffusi, con le relative note metodologiche.
• ISTAT — Glossario: voce errore campionario e terminologia delle indagini campionarie.
• Tabella del margine d’errore per dimensione del campione: elaborazione Metron Journal, calcolo al 95% (z = 1,96), caso peggiore p = 0,5. Scarica il CSV.