Si può migliorare in ogni gruppo e peggiorare nel totale?

Un rapporto annuncia che il risultato complessivo è crollato. Poi si separano i dati in due gruppi e si scopre che, in entrambi, il risultato è migliorato. È un errore? No: è uno dei casi in cui sommare nasconde proprio ciò che vorremmo capire.

La domanda sembra quasi una provocazione: si può migliorare in ogni gruppo e peggiorare nel totale? La risposta è sì. Per vederlo non servono formule difficili, ma occorre guardare non soltanto alle percentuali: bisogna chiedersi anche quante persone ci sono in ciascun gruppo. È il cuore del paradosso di Simpson, un fenomeno che rende visibile quanto i dati dipendano dal modo in cui li raccogliamo.

Un esempio che sembra impossibile

Immaginiamo due edizioni dello stesso test. I partecipanti scelgono un percorso base, più accessibile, oppure un percorso avanzato, più selettivo. Nell’edizione A superano il test 90 persone su 100 nel percorso base e 20 su 100 in quello avanzato. Le percentuali sono dunque 90% e 20%; nel complesso i successi sono 110 su 200, cioè il 55%.

Nell’edizione B accade qualcosa di curioso. Nel percorso base i successi diventano 19 su 20: il 95%, meglio del 90%. Nell’avanzato sono 63 su 300: il 21%, poco più del 20%. Entrambi i percorsi migliorano. Ma il totale è 82 successi su 320 partecipanti, appena il 25,6%. Il dato complessivo è molto peggiore.

Il totale non è la media semplice delle percentuali

La tentazione è fare la media fra 90% e 20%, oppure fra 95% e 21%. Ma questa operazione è corretta soltanto se i due gruppi hanno lo stesso peso. Nell’edizione A succede davvero: cento partecipanti nel percorso base e cento nell’avanzato. Per questo la media semplice, (90% + 20%)/2, restituisce il 55%.

Nell’edizione B, invece, il percorso base conta soltanto 20 partecipanti, mentre quello avanzato ne conta 300. Il totale è quindi una media pesata: il 95% pesa per 20/320, cioè il 6,25%; il 21% pesa per 300/320, cioè il 93,75%. Quasi tutto il risultato complessivo è trascinato dal gruppo in cui superare il test è più difficile.

Percentuale totale = peso del gruppo base × percentuale base + peso del gruppo avanzato × percentuale avanzata.

Non c’è alcuna contraddizione aritmetica. Sono cambiate due cose insieme: i risultati dentro i gruppi e la composizione della popolazione. Il totale mescola questi due movimenti e può raccontare una storia opposta a quella delle singole parti.

Rimettere a posto i pesi

Per separare i due effetti possiamo fare un piccolo esperimento mentale. Teniamo le percentuali dell’edizione B — 95% nel percorso base e 21% nell’avanzato — ma assegniamo ai gruppi gli stessi pesi dell’edizione A, metà e metà. Il totale diventa 0,50 × 95% + 0,50 × 21% = 58%. Con una composizione confrontabile, il miglioramento ricompare anche nel totale: 58% contro 55%.

Questa operazione è una forma elementare di standardizzazione: non finge che i gruppi siano uguali, ma impedisce che il confronto fra due edizioni venga dominato dal fatto che una di esse contiene molte più persone nel gruppo difficile. In altri contesti i pesi possono dipendere dall’età, dal reparto di un ospedale, dal tipo di cliente, dalla scuola frequentata o dal livello di rischio iniziale.

Perché si chiama paradosso

Il nome richiama il lavoro pubblicato nel 1951 dallo statistico britannico Edward H. Simpson sulle interazioni nelle tabelle di contingenza. Fenomeni di inversione erano già stati studiati da altri autori, ma “paradosso di Simpson” è diventata l’espressione più comune. Il paradosso è soltanto apparente: nasce dal contrasto fra una conclusione valida nei gruppi separati e quella ottenuta aggregandoli.

La vera difficoltà non consiste nel fare i conti. Consiste nel decidere quale confronto risponde alla domanda. Se vogliamo descrivere quanti successi si sono osservati complessivamente, il totale è corretto. Se vogliamo confrontare l’efficacia delle due edizioni a parità di difficoltà, dobbiamo tenere conto del percorso. Aggregare non è sempre sbagliato e separare non è sempre giusto: la scelta dipende dal significato della variabile che divide i gruppi e dalla relazione causale che stiamo cercando.

Il celebre caso di Berkeley

Nel 1973 i dati complessivi sulle ammissioni ai corsi di laurea dell’Università della California, Berkeley, sembravano mostrare un forte svantaggio per le candidate. Peter Bickel, Eugene Hammel e J. W. O’Connell analizzarono i dati per dipartimento e mostrarono che il quadro aggregato era fuorviante: donne e uomini presentavano domanda in proporzioni molto diverse a dipartimenti con tassi di ammissione differenti.

La lezione non è “i dati separati assolvono sempre il sistema”, né che la discriminazione possa essere esclusa con una tabella. È più sottile: un totale può confondere il comportamento dei dipartimenti con le diverse scelte di candidatura. Anche una disaggregazione, però, va interpretata alla luce dei meccanismi che producono quelle scelte. Come ricorda Judea Pearl, il paradosso mette in evidenza i limiti di una lettura puramente associativa: per decidere su quali variabili condizionare serve una domanda causale, non una regola automatica.

È la stessa cautela incontrata parlando della legge di Benford: una regolarità statistica può essere un ottimo indizio, ma non è da sola una sentenza. I numeri diventano informazione soltanto quando sappiamo come sono stati generati.

Prova anche tu

Puoi ricostruire l’esempio con un foglio di calcolo. Crea quattro righe: A-base 90/100, A-avanzato 20/100, B-base 19/20, B-avanzato 63/300. Calcola per ogni riga la percentuale di successo, poi somma successi e partecipanti all’interno di ciascuna edizione. Vedrai comparire 55% e 25,625%.

1. Modifica soltanto il numero dei partecipanti nei due gruppi dell’edizione B, lasciando ferme le percentuali 95% e 21%.
2. Porta gradualmente il peso del percorso base dal 6,25% al 50% e osserva come cambia il totale.
3. Cerca il punto in cui il totale della B supera il 55% della A. Con queste percentuali accade quando il gruppo base pesa più del 45,95% circa.

Se preferisci un esperimento materiale, usa cento quadratini di carta per rappresentare una popolazione e due colori per i gruppi. Cambia quanti quadratini appartengono al gruppo facile e quanti al difficile: le percentuali interne restano le stesse, ma il colore dominante sposta il risultato complessivo. È una media pesata che si può letteralmente toccare.

L’idea matematica da portarsi via

Una percentuale non viaggia mai da sola: porta con sé un denominatore e un peso. Quando i gruppi hanno dimensioni diverse, il totale non riassume soltanto ciò che accade dentro ciascun gruppo; riassume anche quanto ciascun gruppo conta. Perciò, davanti a una media complessiva, vale la pena fare tre domande: quali gruppi contiene? Quanto pesano? Il loro peso è cambiato?

Il paradosso di Simpson ci insegna qualcosa di più generale: classificare i dati non è un passaggio neutro. Una tabella aggregata può essere vera e, nello stesso tempo, inadatta a rispondere alla domanda che ci interessa. La matematica non elimina il bisogno di interpretare; ci dà gli strumenti per capire dove l’interpretazione può cambiare.

---

DALLA MIA BIBLIOTECA

Statistica di base, di David S. Moore, presenta la statistica come scienza dei dati e aiuta a leggere percentuali, distribuzioni e confronti senza perdere di vista il contesto che li produce.

Introduzione alla statistica, di Salvan e Pace, il testo classico in due volumi di introduzione alla statistica dell’omonima facoltà di Padova.

Un matematico legge i giornali. Difendersi con la logica dai trucchi dell’informazione, di John Allen Paulos, è un ottimo compagno per riconoscere le scorciatoie statistiche e le conclusioni troppo rapide costruite su medie e percentuali.

Fonti e approfondimenti

• E. H. Simpson, The Interpretation of Interaction in Contingency Tables, Journal of the Royal Statistical Society, Series B, 13(2), 1951, pp. 238–241.
• P. J. Bickel, E. A. Hammel, J. W. O’Connell, Sex Bias in Graduate Admissions: Data from Berkeley, Science, 187(4175), 1975, pp. 398–404.
• Judea Pearl, Simpson’s Paradox: An Anatomy, UCLA Cognitive Systems Laboratory, 2000.
• Le tre figure interne sono state costruite appositamente sui dati didattici dichiarati nell’articolo; calcoli, percentuali e pesi sono stati verificati. La copertina è un’illustrazione editoriale originale.

Scopri gli altri articoli della collana «Scoprire la matematica».