Claude Shannon: la matematica che ha dato misura all’informazione

Perché è importante

Che cosa hanno in comune una conversazione telefonica, una fotografia digitale e un messaggio inviato attraverso Internet? Possono essere rappresentati come sequenze di simboli, trasmessi attraverso un mezzo imperfetto e ricostruiti a destinazione. Oggi sembra naturale, ma quando Claude Shannon pubblicò nel 1948 A Mathematical Theory of Communication fu una rivoluzione concettuale.

Shannon trasformò l’informazione in una grandezza matematica misurabile. Non si chiedeva che cosa significasse una frase, ma quanta incertezza producesse una sorgente, quanto fosse possibile comprimere i suoi messaggi e con quale affidabilità potessero attraversare un canale disturbato dal rumore. La distinzione tra significato e trasmissione è centrale: misurare l’informazione in senso tecnico non equivale a misurare il valore o la verità di un messaggio.

Il risultato fu una teoria che univa probabilità, combinatoria e ingegneria. Le sue conseguenze arrivano alla compressione dei file, alle reti mobili, ai codici correttori d’errore e, attraverso strumenti come l’entropia e la cross-entropy, anche a una parte della matematica utilizzata nell’intelligenza artificiale.

La vita

Nato nel Michigan nel 1916 e cresciuto a Gaylord, Shannon si laureò nel 1936 all’Università del Michigan in matematica e ingegneria elettrica. Al MIT lavorò con Vannevar Bush sull’analizzatore differenziale, una macchina analogica per risolvere equazioni differenziali. Proprio l’incontro con i relè e i circuiti di commutazione suggerì un’intuizione decisiva: la logica di George Boole poteva diventare uno strumento per progettare circuiti elettrici.

La tesi sui circuiti di commutazione, completata nel 1937 e pubblicata nel 1938, mostrò come rappresentare e semplificare sistemi di relè con espressioni logiche. Nel 1940 conseguì al MIT il dottorato in matematica, con una ricerca di genetica teorica. Dopo un periodo all’Institute for Advanced Study di Princeton, lavorò ai Bell Laboratories dal 1941, affrontando problemi di telecomunicazioni e comunicazioni sicure.

Nel 1948 pubblicò sul Bell System Technical Journal, in due parti, il lavoro che fondò la moderna teoria matematica dell’informazione. Tornò stabilmente al MIT come professore nel 1958. Alla ricerca univa il gusto per gli esperimenti e gli oggetti meccanici: costruì macchine insolite, studiò programmi per gli scacchi e si divertiva a esibirsi con il monociclo e la giocoleria. Morì nel 2001, lasciando una disciplina che porta ancora la sua impronta.

Le idee che hanno cambiato la matematica

1. Dalla logica ai circuiti digitali

Un relè può essere aperto o chiuso; una proposizione logica può essere falsa o vera. Shannon capì che questi due mondi ammettono una medesima algebra. Per esempio, due interruttori collegati in serie realizzano una condizione del tipo A ∧ B: la corrente passa soltanto se entrambi sono chiusi. Due rami in parallelo corrispondono invece a A ∨ B: basta che uno dei due conduca.

L’applicazione dell’algebra booleana alla progettazione dei circuiti consentiva di analizzarne il comportamento e ridurne la complessità. Non fu Shannon a inventare l’algebra di Boole, né da solo il calcolatore digitale; il suo contributo fu dimostrare la potenza di quel linguaggio per i sistemi di commutazione. È una delle basi concettuali della logica dei computer.

2. Quanta informazione contiene una sorgente?

Supponiamo che una sorgente scelga un simbolo da un insieme finito con probabilità p₁, …, p_n. L’entropia di Shannon misura l’incertezza media associata all’esito. Se tutti i simboli sono equiprobabili, l’entropia cresce con il numero di possibilità. Se un esito è quasi certo, l’incertezza media diminuisce.

La scelta del logaritmo in base 2 permette di misurare l’informazione in bit. Per una sorgente con M esiti equiprobabili, H = log₂ M; con quattro esiti, per esempio, H = 2 bit. Le probabilità reali, tuttavia, non sono quasi mai tutte uguali: la formula generale tiene conto di ciascuna di esse.

3. I limiti della comunicazione affidabile

Un canale di comunicazione è soggetto a rumore, interferenze ed errori. Shannon dimostrò che, per un canale discreto senza memoria e nelle condizioni del teorema, esiste una soglia di capacità C: se il tasso di trasmissione è inferiore a C, si possono costruire codici su blocchi sufficientemente lunghi che rendano la probabilità d’errore arbitrariamente piccola; al di sopra della capacità, una comunicazione affidabile nel senso del teorema non è possibile.

È importante distinguere compressione e protezione dagli errori. La prima sfrutta le regolarità statistiche della sorgente per eliminare ridondanza non necessaria; la seconda introduce una ridondanza progettata appositamente per recuperare messaggi danneggiati dal rumore. Sono problemi differenti, entrambi illuminati dalla teoria dell’informazione.

4. Crittografia, scacchi e macchine intelligenti

Nel lavoro sulla crittografia, Shannon studiò la segretezza perfetta e formalizzò le condizioni matematiche sotto le quali un testo cifrato non rivela informazione sul messaggio originale. La sua analisi chiarì, fra l’altro, le proprietà dei sistemi a chiave casuale usata una sola volta: non basta chiamare «casuale» una chiave perché un cifrario sia sicuro.

Nel 1950 pubblicò anche Programming a Computer for Playing Chess, dedicato alle strategie con cui una macchina avrebbe potuto cercare mosse efficaci. Non va confuso con l’invenzione dei moderni modelli di IA, ma è una tappa importante nella storia del ragionamento algoritmico. Oggi le misure derivate dall’entropia compaiono, ad esempio, nella funzione di perdita cross-entropy usata per addestrare modelli probabilistici del linguaggio: una continuità matematica, non un’identità fra informazione e comprensione.

La formula o il teorema simbolo

Il significato della formula non è che un singolo simbolo si possa necessariamente codificare con un numero frazionario di bit. L’entropia è un limite e una misura media; nella codifica di lunghe sequenze, sotto opportune ipotesi, è possibile avvicinarsi al tasso ottimale previsto dalla teoria.

Il corrispondente principio per un canale discreto senza memoria si esprime, per uso del canale, con C = max_p(x) I(X;Y), dove I(X;Y) è l’informazione mutua tra ingresso e uscita. Questa formulazione precisa che il limite dipende anche dalla statistica del canale, non soltanto dalla quantità di dati che desideriamo trasmettere.

Un problema raccontato

Immaginiamo due sorgenti di bit. La prima genera 0 e 1 con probabilità 1/2 ciascuna. La seconda genera 0 con probabilità 3/4 e 1 con probabilità 1/4. Quale delle due produce più incertezza?

• Sorgente equilibrata: H = −(1/2)log₂(1/2) − (1/2)log₂(1/2) = 1 bit per simbolo.
• Sorgente sbilanciata: H = −(3/4)log₂(3/4) − (1/4)log₂(1/4) ≈ 0,811 bit per simbolo.

La seconda sorgente è più prevedibile: tre volte su quattro restituisce 0. Di conseguenza, una lunga sequenza di suoi messaggi può, in media e con opportune tecniche di codifica, essere descritta usando meno bit per simbolo rispetto a una sequenza di lanci equilibrati. Shannon trasforma così una vaga sensazione di prevedibilità in un numero preciso.

La conclusione non è che l’esito raro sia «meno importante»: per la quantità di informazione associata a un singolo evento, un esito con probabilità 1/4 porta −log₂(1/4) = 2 bit di sorpresa, mentre uno con probabilità 3/4 ne porta circa 0,415. L’entropia è la media di queste quantità.

Curiosità

• Il termine «bit» fu suggerito da John W. Tukey: Shannon lo adottò nel suo articolo del 1948 come abbreviazione di binary digit.
• Theseus, il topo meccanico capace di apprendere un percorso in un labirinto, mostra il gusto di Shannon per macchine semplici ma concettualmente sorprendenti.
• Il monociclo e la giocoleria non sono un mito: colleghi e biografi ricordano Shannon mentre attraversava i corridoi dei Bell Labs o del MIT con il monociclo.
• Non esiste un premio Nobel per la matematica o per la teoria dell’informazione. Shannon ricevette però riconoscimenti di primissimo piano, tra i quali la National Medal of Science e il Kyoto Prize.

Cosa leggere

Il testo fondativo

Claude E. Shannon, A Mathematical Theory of Communication (1948). L’articolo originario, apparso in due parti sul Bell System Technical Journal, è disponibile in una ristampa digitale. Va letto prestando attenzione al modello sorgente–trasmettitore–canale–ricevitore–destinazione e alla distinzione tra semantica e problema ingegneristico.

Per la biografia e il contesto

La IEEE Information Theory Society presenta un profilo storico autorevole. Completano il quadro il ricordo pubblicato dal MIT e la biografia MacTutor, utile per collocare i suoi risultati nella storia della matematica.

L’eredità

Shannon ci ha lasciato qualcosa di più di una formula: il metodo per separare le proprietà essenziali di un problema dal mezzo tecnico che le manifesta. La stessa teoria può descrivere lettere, immagini, campioni audio o simboli numerici senza confonderne i significati. Questo grado di astrazione rese possibile progettare sistemi digitali come istanze di un unico problema matematico.

La sua lezione resta attuale anche nell’epoca dell’IA: sapere quanto è imprevedibile un evento non significa conoscere che cosa vuol dire. La teoria dell’informazione è una delle fondamenta della tecnologia contemporanea proprio perché chiarisce con precisione ciò che può misurare e ciò che, da sola, non misura.

In una frase

Claude Shannon trasformò la comunicazione da un insieme di tecniche in una teoria matematica dell’incertezza, dei codici e dei limiti della trasmissione.

DALLA MIA BIBLIOTECA

• Francesco Fabris, Teoria dell’informazione, codici, cifrari (Bollati Boringhieri, 2001). Il riferimento più diretto tra i volumi in mio possesso: unisce fondamenti dell’informazione, codici correttori e crittografia, tre temi che rinviano esplicitamente a Shannon.
• Giuseppe O. Longo, La teoria dell’informazione (RCS MediaGroup, 2022). Per inquadrare la disciplina e il suo ruolo nell’evoluzione della comunicazione scientifica e tecnologica.
• J. H. van Lint, Introduction to Coding Theory (Springer, edizione censita 2012). Un approfondimento matematico sui codici, il cui sviluppo moderno nasce anche dalla domanda shannoniana: come trasmettere dati in modo affidabile? Bellissimo libro di testo.

Scopri gli altri articoli della serie «Grandi matematici»