Falsi positivi: perché un test affidabile al 99% può ingannare

In breve. «Il test è accurato al 99%: se risulto positivo, sono quasi sicuramente malato.» È una delle deduzioni più naturali e più sbagliate che si possano fare con un numero. Se la malattia è rara, un test accuratissimo può produrre più falsi allarmi che veri malati: con un test che sbaglia solo l’1% sui malati e l’1% sui sani, e una malattia che colpisce una persona su cento, un risultato positivo ha solo il 50% di probabilità di essere vero. Non è un difetto del test: è il tasso di base che si vendica. Ecco perché succede, come si calcola con il teorema di Bayes, e come si legge un risultato senza cadere nella trappola.

«Accurato al 99%.» Detto di un test — medico, antidoping, di sicurezza, di frode — suona come una garanzia quasi assoluta. La deduzione che quasi tutti fanno è immediata: se sono positivo, ho il 99% di probabilità di essere davvero malato. È sbagliata, e non di poco. In certe condizioni quella probabilità scende al 50%, al 9%, all’1%. Il numero che ci si dimentica di mettere nel conto è quanto la cosa cercata sia rara prima del test — il tasso di base. Questo magazine porta il nome di Corrado Gini, lo statistico che fondò Metron nel 1920: qui distinguere «il test sbaglia poco» da «il mio positivo è affidabile» non è pedanteria, è il punto.

Due numeri diversi che chiamiamo entrambi «accuratezza»

Un test non ha un solo modo di sbagliare, ne ha due, e per capire i falsi positivi vanno tenuti separati.

La sensibilità è la capacità di trovare i malati: la probabilità che il test sia positivo quando la persona è davvero malata. Sensibilità 99% vuol dire che, su 100 malati, il test ne becca 99 e ne manca 1 (il malato che sfugge è un falso negativo).

La specificità è la capacità di lasciar stare i sani: la probabilità che il test sia negativo quando la persona è sana. Specificità 99% vuol dire che, su 100 sani, il test ne assolve 99 e ne allarma 1 per sbaglio (il sano che risulta positivo è un falso positivo). Il complemento della specificità — qui l’1% — è il tasso di falsi positivi.

E qui una cautela sul termine «accuratezza». In senso tecnico l’accuratezza è la quota di classificazioni corrette sul totale, e dipende anche da quanto la malattia è diffusa: un test che dicesse sempre «negativo», applicato a una malattia che colpisce una persona su cento, sarebbe «accurato al 99%» pur non trovando un solo malato. Per questo «accurato al 99%», da solo, non dice abbastanza. In questo articolo, quando scriviamo «test 99%» intendiamo una cosa precisa: sensibilità e specificità entrambe al 99%. Teniamo questa cifra e facciamo il conto che quasi nessuno fa.

Il conto che quasi nessuno fa

Non ragioniamo per percentuali, che confondono: ragioniamo per persone. È il trucco — lo chiamano «frequenze naturali» — che rende il calcolo trasparente. Prendiamo 10.000 persone e una malattia che colpisce una su cento (prevalenza 1%). Il test ha sensibilità 99% e specificità 99%.

Elaborazione Metron Journal; conti in dati_falsi_positivi.py. Modello illustrativo: un solo test, nessuna conferma successiva.

Ecco il paradosso, in una riga: i veri positivi sono 99, ma i falsi positivi sono anche loro 99. Un test giusto 99 volte su 100, applicato a una malattia rara, produce tanti falsi allarmi quanti veri malati. Chi risulta positivo ha esattamente una probabilità su due di essere sano.

Il motivo è tutto in quel «rara». La sensibilità del 99% lavora su una base piccola — i 100 malati — e ne trova 99. Il tasso di falsi positivi dell’1% sembra minuscolo, ma lavora su una base enorme — i 9.900 sani — e ne sballa 99. Quando i sani sono cento volte più dei malati, anche un errore raro sui sani basta a pareggiare tutti i malati veri. Questa probabilità — la probabilità di essere malati dato un test positivo — ha un nome: valore predittivo positivo (VPP). Ed è una cosa diversa dalla sensibilità, che quasi tutti confondono con essa.

Il tasso di base decide (e non è nel test)

Il VPP non è una proprietà del test da solo: dipende da quanto la malattia è diffusa. Lo stesso identico test «99%», applicato a popolazioni con prevalenze diverse, dà VPP che vanno dalla quasi-certezza al quasi-nulla.

Test con sensibilità 99% e specificità 99%. Elaborazione Metron Journal. VPP calcolato con la regola di Bayes: VPP = sens·prev / (sens·prev + (1−spec)·(1−prev)).

La lettura è netta: lo stesso test è affidabile o inaffidabile a seconda di chi lo fa. Su una popolazione dove metà delle persone ha la malattia, un positivo è vero al 99%. Su una popolazione dove ce l’ha una su mille — il caso tipico di uno screening di massa, in cui si testano tutti, anche chi non ha sintomi — lo stesso positivo è vero solo nel 9% dei casi: nove falsi allarmi ogni dieci positivi. Il test non è cambiato; è cambiato il terreno su cui lavora. Questo è anche il motivo per cui un esame ordinato perché ci sono già dei sintomi (dove la prevalenza tra chi lo fa è alta) è molto più informativo dello stesso esame fatto a tappeto su chi sintomi non ne ha.

La leva più efficace è la specificità

C’è un secondo malinteso da smontare. Per migliorare l’affidabilità di un positivo su una malattia rara, l’istinto dice «alziamo la sensibilità, così il test becca più malati». È poco efficace: il valore predittivo dipende da entrambe le qualità del test, ma quando la malattia è rara i veri malati sono pochi comunque, e ciò che affonda il VPP è la valanga di falsi positivi che arriva dai tanti sani. Alzare la sensibilità aggiunge al massimo qualche vero positivo; la leva che sposta davvero il risultato è la specificità.

Sensibilità fissa al 99%, prevalenza fissa all’1%. Elaborazione Metron Journal.

Con la malattia sempre all’1% e la sensibilità sempre al 99%, basta spostare la specificità dal 99% al 99,9% — cioè tagliare i falsi positivi dall’1% allo 0,1% — perché il VPP salga dal 50% al 91%. È dieci volte meno errori sui sani, e cambia tutto. Ecco perché i test seri di screening puntano su una specificità altissima, e perché un secondo test di conferma aiuta: se è costruito su un meccanismo diverso dal primo — così che i suoi errori siano il più possibile scorrelati da quelli del primo — abbatte i falsi positivi molto più di un unico filtro affilato. Attenzione: il guadagno dipende proprio da quanto i due errori sono indipendenti; se i due test sbagliano sulle stesse persone, il secondo aggiunge poco.

Un caso reale: la mammografia di screening

Il caso più studiato di questo inganno riguarda la mammografia di screening, e lo si deve a Gerd Gigerenzer, che con Adrian Edwards lo ha usato per mostrare quanto anche i medici sbaglino il conto. In un articolo del British Medical Journal del 2003 gli autori descrivono lo scenario con queste cifre: in una certa fascia d’età la probabilità di avere un tumore al seno è 0,8%, un test positivo compare nel 90% delle donne che ce l’hanno (sensibilità) e nel 7% delle donne che non ce l’hanno (falsi positivi). Domanda: una donna con una mammografia positiva, che probabilità ha di avere davvero un tumore?

Le frequenze naturali danno la risposta in tre righe. Su 1.000 donne: 8 hanno il tumore; di queste, circa 7 risultano positive (90%); delle 992 sane, circa 69 risultano positive per sbaglio (7%). I positivi totali sono circa 76, di cui 7 veri: il valore predittivo positivo è 9,4%, all’incirca una su undici.

Cifre dello scenario: Gigerenzer & Edwards, BMJ 2003. Frequenze naturali ed elaborazione Metron Journal.

Il dato che rese famoso l’esempio non è tanto il 9%, quanto quello che stimavano i medici: interrogati sulla stessa domanda, la maggioranza rispondeva «circa il 90%» o «tre su quattro» — dieci volte troppo. Confondevano la sensibilità («il test trova 9 tumori su 10») con il valore predittivo («un positivo è un tumore»), che è la stessa confusione con cui abbiamo aperto. E la confusione spariva quasi del tutto quando la domanda veniva posta con le frequenze naturali — «8 donne su 1.000…» — invece che con le percentuali condizionate.

Cosa NON dice questo articolo

Qui serve una precisazione netta, perché il tema si presta a conclusioni sbagliate nella direzione opposta.

Un VPP basso non vuol dire che lo screening sia inutile. Lo scopo di uno screening è trovare casi veri in fase precoce, quando sono più trattabili; se questo poi si traduca in un beneficio netto è una domanda diversa — riguarda mortalità, sovradiagnosi e danni degli accertamenti, e non si decide con il VPP. Il valore predittivo del 9% dice una cosa più circoscritta: che un singolo esito positivo, da solo, non è una diagnosi, ma la porta d’ingresso di accertamenti successivi (un secondo esame, una biopsia) che servono proprio a separare i 7 veri dai 69 falsi. Il numero non è un argomento contro lo screening: è la ragione per cui allo screening seguono conferme, e per cui un positivo va letto con calma e non con panico.

Le cifre sono illustrative, non attuali né personali. Prevalenza, sensibilità e specificità cambiano con l’età, con la tecnologia e con il protocollo; quelle usate qui sono le cifre dell’esempio di scuola, servono a mostrare il meccanismo e non descrivono il tuo caso. Questo è un articolo di statistica, non un consiglio clinico: per quello ci sono il medico e le linee guida.

E non vale solo in medicina. Lo stesso conto governa qualsiasi ricerca del raro: un antidoping su atleti quasi tutti puliti, un antifrode su transazioni quasi tutte oneste, un allarme di sicurezza su passeggeri quasi tutti innocui. Quando la cosa cercata è rara i falsi positivi pesano molto più di quanto il tasso d’errore lasci pensare, e possono facilmente superare i veri positivi — a meno che la specificità non sia altissima, l’unica cosa che li tiene sotto controllo. In ogni caso un allarme isolato vale meno di quanto sembri finché non arriva la conferma.

La regola, in una frase

Il valore di un test positivo non sta scritto nel test. Sta nell’incrocio tra quanto il test sbaglia sui sani e quanto è rara la cosa che cerca. Cambia il secondo pezzo — la prevalenza — e la stessa macchina passa dall’essere quasi infallibile all’essere quasi inutile, senza aver toccato un bullone. È il teorema di Bayes, ed è la stessa idea che, su questo sito, spiega perché un risultato di ricerca «statisticamente significativo» può essere falso: là il raro sono le ipotesi vere, qui i malati, ma il conto è identico. Un numero da solo — anche un «99%» — non decide niente: dice una cosa precisa, e va letto per quella che è.

Su questo sito: la stessa regola di Bayes applicata agli studi, non ai test, è in Significatività statistica e p-value; perché la dimensione del campione riguarda la potenza e non il valore predittivo lo trovi in Campione ed errore campionario; e perché un positivo non è una causa in Correlazione non è causazione.

Domande frequenti

Come può un test accurato al 99% sbagliare la metà dei positivi?

Perché l’affidabilità di un positivo non dipende solo dal test, ma da quanto la malattia è rara. Con sensibilità e specificità al 99% e una malattia che colpisce una persona su cento, su 10.000 persone il test trova 99 veri malati ma allarma per sbaglio anche 99 sani: 198 positivi, di cui solo la metà davvero malati. Il tasso di falsi positivi dell’1% sembra piccolo, ma si applica ai tanti sani, e basta a pareggiare i pochi veri malati.

Che cos’è il valore predittivo positivo?

È la probabilità di essere davvero malati dato un test positivo. Non va confuso con la sensibilità, che è la probabilità inversa (test positivo dato che si è malati). Il valore predittivo positivo dipende dalla prevalenza della malattia: alto quando la malattia è comune, basso quando è rara, a parità di test.

Qual è la differenza tra sensibilità e specificità?

La sensibilità è la capacità di trovare i malati (probabilità di positivo quando si è malati); la specificità è la capacità di lasciar stare i sani (probabilità di negativo quando si è sani). Il complemento della specificità è il tasso di falsi positivi. Il valore predittivo di un positivo dipende da entrambe, ma quando la malattia è rara è soprattutto la specificità, più della sensibilità, a spostarlo.

Se il valore predittivo è basso, lo screening è inutile?

No. Un valore predittivo basso significa solo che un singolo esito positivo non è una diagnosi, ma l’inizio di accertamenti che servono a separare i veri positivi dai falsi. Lo screening trova comunque casi veri in fase precoce; il numero spiega perché a un positivo seguono esami di conferma, non perché lo screening andrebbe evitato.

Vale solo per i test medici?

No. Lo stesso teorema di Bayes governa ogni test che cerca qualcosa di raro: antidoping, antifrode, allarmi di sicurezza. Quando la cosa cercata è rara, i falsi positivi tendono a pesare più dei veri positivi — e possono superarli, se la specificità non è abbastanza alta — quindi un allarme isolato va confermato prima di essere creduto.

Fonti

• G. Gigerenzer, A. Edwards — «Simple tools for understanding risks: from innumeracy to insight», BMJ, 327(7417), 741–744, 2003. Lo scenario della mammografia (prevalenza 0,8%, sensibilità 90%, falsi positivi 7%) e la dimostrazione che le frequenze naturali riducono l’errore di lettura, anche fra i medici. Testo integrale ad accesso aperto (PubMed Central): pmc.ncbi.nlm.nih.gov/articles/PMC1126776 · DOI 10.1136/bmj.327.7417.741.
• Elaborazione Metron Journal. Valore predittivo positivo con la regola di Bayes su frequenze naturali, per prevalenza e per specificità, calcolato in dati_falsi_positivi.py (VPP = sens·prev / (sens·prev + (1−spec)·(1−prev))). Tabella completa scaricabile in CSV.