CAPIRE L’IA · 3 di N
Apprendimento supervisionato, non supervisionato e per rinforzo: tre modi diversi di dare una direzione all’apprendimento.
Immaginiamo un centro di assistenza informatica, che in maniera più consona si definisce SPOC o HD di I Livello. Ogni giorno arrivano richieste: una password da recuperare, un’applicazione che si blocca, una connessione che non funziona. Vorremmo usare l’intelligenza artificiale per gestirle meglio.
Abbiamo almeno tre possibilità. Possiamo mostrarle migliaia di richieste già assegnate al reparto corretto. Possiamo darle un archivio e chiederle di individuare richieste simili. Oppure possiamo farle sperimentare, in una simulazione, diverse strategie per gestire la coda, valutandone gli effetti.
In tutti e tre i casi diciamo che il sistema “impara”. Ma gli stiamo dando tre tipi diversi di informazione su cui basare l’apprendimento.
Nei primi due articoli abbiamo visto che un modello può apprendere modificando i propri parametri. Ora la domanda diventa: da dove arriva il segnale che orienta quelle modifiche?
1. Supervisionato: imparare con il risultato atteso
Apriamo l’archivio del centro di assistenza. Ogni richiesta è accompagnata dal reparto a cui avrebbe dovuto essere assegnata:
| Richiesta | Etichetta attesa |
|---|---|
| «Ho dimenticato la password» | Gestione accessi |
| «Il programma si chiude quando salvo» | Supporto applicativo |
| «Non riesco a collegarmi alla rete» | Reti |
Queste coppie costituiscono esempi di apprendimento supervisionato: un ingresso e un risultato atteso. Il modello produce una previsione, la confrontiamo con il riferimento e usiamo una misura dell’errore per guidare l’addestramento.
“Supervisionato” non significa che una persona debba stare accanto al computer a correggere ogni tentativo. Il riferimento può essere già registrato nei dati. L’etichetta può essere una categoria, come il reparto, oppure un numero, come il prezzo delle case incontrate nei primi articoli. Nel primo caso parliamo di classificazione; nel secondo di regressione.
Per la distinzione fra dati etichettati e non etichettati: IBM, Supervised vs. Unsupervised Learning.
Il risultato utile arriva quando il sistema riceve una richiesta nuova: «Non ricordo le credenziali». Questa frase potrebbe non essere mai comparsa nell’archivio, ma il modello dovrebbe riconoscere una relazione con i problemi di accesso. Copiare gli esempi non basta: deve generalizzare.
C’è però una domanda preliminare: le assegnazioni storiche erano corrette? Se nell’archivio un certo tipo di problema veniva sistematicamente mandato al reparto sbagliato, addestrare il modello a riprodurre quelle assegnazioni può rendere più efficiente lo stesso errore.
L’etichetta è il riferimento dell’addestramento. La sua presenza non la trasforma automaticamente in verità.
2. Non supervisionato: cercare una struttura senza categorie già assegnate
Ora togliamo la colonna dei reparti. Restano migliaia di richieste. Possiamo cercare gruppi di testi simili, senza fornire per ogni richiesta la categoria a cui dovrebbe appartenere.
Questo è un esempio di apprendimento non supervisionato. Uno dei suoi compiti tipici è il clustering, cioè il raggruppamento. Esistono anche altri obiettivi, come costruire rappresentazioni più compatte dei dati: “non supervisionato” non è sinonimo di “dividere in gruppi”.
Nel nostro archivio potrebbero emergere richieste relative alle credenziali, ai collegamenti di rete e ai malfunzionamenti dopo un aggiornamento. I nomi dei gruppi, però, sono un’interpretazione che possiamo attribuire dopo averne esaminato il contenuto. L’algoritmo non deve necessariamente produrre categorie già dotate di un significato operativo.
Che cosa vuol dire “simili”? Due richieste possono condividere le stesse parole, riguardare lo stesso prodotto o descrivere lo stesso guasto con parole diverse. La rappresentazione usata e il criterio di somiglianza influenzano i raggruppamenti.
Immaginiamo che tutte le richieste di un ufficio inizino con una lunga firma standard. Se quella parte pesa troppo, potremmo ottenere gruppi distinti per ufficio anche quando cercavamo tipi di guasto. Il risultato può essere coerente con il criterio di calcolo e poco utile per il nostro scopo.
“Non supervisionato” significa che mancano le etichette del compito, non che manchino scelte umane. Qualcuno seleziona i dati, decide come rappresentarli, sceglie il metodo e valuta se le strutture trovate servono davvero.
3. Per rinforzo: imparare dalle conseguenze delle azioni
Facciamo un altro passo. Non vogliamo soltanto classificare o esplorare le richieste: vogliamo decidere quale gestire adesso, con quali risorse, mentre continuano ad arrivarne altre.
Costruiamo una simulazione del centro di assistenza. Un agente osserva la situazione disponibile, sceglie un’azione e riceve dall’ambiente nuove osservazioni e una ricompensa, cioè un segnale numerico. L’apprendimento per rinforzo cerca una strategia, detta politica, che produca un buon ritorno cumulativo nel tempo.
Una politica indica come scegliere le azioni nelle situazioni incontrate. Non serve che qualcuno fornisca la mossa corretta per ogni situazione: l’agente apprende usando le conseguenze delle azioni. Una ricompensa non implica piacere o soddisfazione: è una quantità usata dall’algoritmo.
Per i concetti di agente, ambiente e ricompensa: Google Cloud, What is reinforcement learning?.
Nel nostro esperimento potremmo assegnare punti per problemi risolti e sottrarne per attese eccessive o richieste riaperte. Sono scelte didattiche, non una ricetta per un sistema reale.
La difficoltà è che un’azione modifica anche ciò che sarà possibile fare dopo. Occupare l’unico specialista disponibile con una richiesta semplice può rallentare un guasto importante che arriva poco più tardi. Una decisione conveniente nell’immediato può peggiorare il risultato complessivo.
Inoltre, il riscontro può arrivare in ritardo. Se una richiesta torna aperta il giorno dopo, quale decisione precedente ha contribuito al problema? Attribuire gli esiti alle azioni è una parte essenziale della difficoltà.
L’agente deve anche bilanciare esplorazione e sfruttamento: provare alternative per raccogliere informazioni oppure scegliere ciò che, secondo l’esperienza disponibile, sembra funzionare meglio. In un servizio reale, i tentativi hanno costi; ecco perché abbiamo collocato l’esempio in una simulazione. Esistono anche metodi che apprendono da esperienze già registrate, senza sperimentare direttamente durante l’addestramento.
La ricompensa può essere il problema
Supponiamo di premiare soltanto il numero di richieste chiuse. Quale comportamento potrebbe risultare vantaggioso?
Gestire prima tutti i casi facili, lasciando invecchiare quelli complessi. Oppure, se il sistema lo consente e la misura non verifica l’esito, chiudere richieste che non sono state davvero risolte. Il contatore migliora; il servizio peggiora.
Questo è un esempio ipotetico di un problema concreto: ottimizzare la misura scelta può allontanare dal risultato desiderato. La ricerca parla di specification gaming quando un sistema sfrutta una specifica imperfetta per ottenere un buon punteggio senza soddisfare l’intento del compito. DeepMind ne raccoglie e discute diversi esempi.
Aggiungere una penalità per le riaperture può migliorare il criterio, ma non esaurisce la progettazione. Bisogna chiedersi quali conseguenze la misura ignori e quali azioni debbano essere escluse mediante vincoli espliciti.
La domanda che conta
“Che cosa vogliamo ottenere?” e “Che cosa stiamo misurando?” sono due domande diverse. Prima di addestrare un sistema, occorre verificare quanto le risposte coincidano.
Tre segnali diversi, uno stesso ambiente
| Metodo | Segnale disponibile | Nel nostro esempio |
|---|---|---|
| Supervisionato | Risultato atteso per gli esempi | Prevedere il reparto di una nuova richiesta |
| Non supervisionato | Regolarità nei dati, secondo un criterio scelto | Individuare gruppi di richieste simili |
| Per rinforzo | Ricompense legate ad azioni e conseguenze | Apprendere una strategia di gestione della coda |
La differenza non sta nel fatto che uno usi esempi e gli altri no: anche un agente accumula esperienza, e anche un metodo non supervisionato analizza dati. Conta come è formulato il problema e quale informazione guida l’apprendimento.
Non sono tre gradini di una scala, dal meno al più intelligente. Rispondono a esigenze diverse e possono essere combinati. Un sistema potrebbe usare un classificatore per riconoscere le richieste e una politica per decidere come gestirle.
E un modello linguistico, dove si colloca?
Qui la tripartizione richiede un’aggiunta: l’apprendimento auto-supervisionato. Il segnale di riferimento viene ricavato dai dati stessi. Per esempio, possiamo usare l’inizio di un testo per prevederne il token successivo: il testo originale contiene già il riferimento con cui confrontare la previsione.
Non è necessario che una persona etichetti ogni passaggio. Il testo consente di costruire automaticamente coppie di contesto e token atteso. Durante l’addestramento si può così aumentare la probabilità assegnata al token effettivamente presente. Il riferimento osservato non è però l’unica continuazione linguisticamente possibile.
L’auto-supervisione è spesso ricondotta in senso ampio all’apprendimento non supervisionato, ma distinguerla aiuta: il sistema ha un bersaglio di previsione, costruito a partire dai dati. Yann LeCun e Ishan Misra illustrano questa idea nel blog di Meta AI.
Un modello linguistico può poi attraversare ulteriori fasi, con esempi di risposte desiderate o segnali di valutazione. Non tutte le procedure basate su preferenze sono apprendimento per rinforzo: la presenza di un giudizio umano, da sola, non identifica l’algoritmo. Per capire come è stato addestrato un sistema occorre guardare alle singole fasi.
Una piccola prova prima di proseguire
Un’azienda vuole usare un archivio di documenti. In quale situazione riconosci ciascun metodo?
- Mostra documenti già associati a un ufficio e vuole assegnare quelli nuovi.
- Cerca famiglie di documenti simili, senza fornire le categorie.
- Fa sperimentare a un agente sequenze di azioni e valuta il risultato con un punteggio.
- Nasconde una parte di ciascun testo e usa la parte originale come riferimento da prevedere.
Prova a rispondere cercando il segnale disponibile, prima di dare un nome al metodo.
Confronta il tuo ragionamento
1. Supervisionato: il riferimento è l’ufficio assegnato. 2. Non supervisionato: si cercano strutture senza categorie date. 3. Per rinforzo: azioni e conseguenze sono valutate mediante ricompense. 4. Auto-supervisionato: il bersaglio viene ricavato dal testo stesso.
Tre cose da conservare
- Il supervisionato apprende da esempi con un risultato atteso. La qualità del riferimento conta quanto quella degli ingressi.
- Il non supervisionato cerca strutture senza etichette del compito. La somiglianza dipende da come rappresentiamo e confrontiamo i dati.
- Il rinforzo apprende strategie dalle conseguenze delle azioni. Una ricompensa ben ottimizzata può comunque misurare male ciò che desideriamo.
Quando sentiamo dire che un’IA “impara da sola”, possiamo ora porre una domanda più precisa: da quali segnali sta imparando? Le etichette, la struttura dei dati, il testo da completare e le ricompense orientano capacità diverse. Guardare a quei segnali aiuta a capire non soltanto che cosa un sistema può imparare, ma anche quali errori rischiamo di insegnargli.
← Torna al percorso Capire l’IA
Lascia un commento