Pre-training, SFT e RLHF

Quando scarichi un modello e lo trovi in versione base, instruct o chat, stai guardando tre stadi diversi dello stesso percorso. Il percorso ha tre fasi, e ognuna trasforma il comportamento del modello in modo profondo.

1. PRE-TRAINING          2. SFT                   3. RLHF / DPO
"leggi internet"         "impara a rispondere"    "impara a rispondere bene"

trilioni di token   →    migliaia di coppie   →   coppie di risposte con
di testo grezzo          domanda/risposta         giudizio umano: "A meglio di B"

modello BASE             modello INSTRUCT         modello ALLINEATO

Fase 1 — Pre-training

Il modello legge trilioni di token e impara una cosa sola: predire il token successivo. Nessuna domanda, nessuna risposta, solo testo grezzo — libri, pagine web, codice, enciclopedie.

Da questa fase esce quasi tutto quello che il modello sa: la grammatica, il significato delle parole, i fatti sul mondo, la sintassi dei linguaggi di programmazione, le altre lingue se erano nei dati.

È anche la fase incomparabilmente più costosa: mesi di calcolo su migliaia di schede grafiche, cifre nell’ordine dei milioni. È il motivo per cui i modelli di base al mondo sono pochi, mentre le loro varianti specializzate sono migliaia.

Il risultato è un pappagallo coltissimo che non sa conversare: chiedigli “qual è la capitale della Francia?” e potrebbe rispondere elencando altre domande simili, perché nei dati ha visto molti questionari.

Fase 2 — SFT, l’addestramento supervisionato

Qui il modello vede per la prima volta esempi di come si risponde: migliaia di coppie domanda-risposta scritte o curate da persone.

Non impara fatti nuovi — quelli erano già tutti nella fase precedente. Impara un formato: quando qualcuno chiede qualcosa, la continuazione giusta è una risposta, non un’altra domanda. Da qui nasce il modello instruct.

La quantità di dati è minuscola rispetto al pre-training: decine di migliaia di esempi contro trilioni di token. Cambia tutto lo stesso.

Fase 3 — Allineamento: RLHF, DPO, GRPO

Sapere rispondere non basta: fra due risposte entrambe pertinenti, una può essere più utile, più chiara, più sicura. Questa fase insegna a preferire la migliore.

Il metodo classico è RLHF: si mostrano a valutatori umani coppie di risposte, loro dicono quale preferiscono, con quei giudizi si addestra un modello che assegna un punteggio, e infine si ottimizza il modello per massimizzarlo.

DPO ottiene un risultato simile saltando il modello di punteggio intermedio: usa direttamente le coppie preferite, ed è molto più semplice ed economico. GRPO è la variante che ha reso possibili i modelli con ragionamento esplicito come DeepSeek R1.

È in questa fase che il modello impara anche a rifiutare richieste pericolose, ad ammettere di non sapere, a non inventare con troppa sicurezza. Ed è qui che si paga la famosa “tassa dell’allineamento”: un modello molto allineato può risultare più prudente e un po’ meno brillante di quello grezzo.

Perché la distinzione conta

Se il modello…	Il problema sta in…
non conosce un fatto	pre-training (e si risolve col RAG, non col fine-tuning)
non segue il formato che chiedi	SFT, o più semplicemente il tuo prompt
risponde ma in modo poco utile	allineamento
rifiuta cose innocue	allineamento troppo prudente

Ricordarsi in quale fase nasce un comportamento evita di cercare la soluzione nel posto sbagliato.

Quando è il modello a scrivere il dataset

Il collo di bottiglia delle ultime due fasi non è il calcolo, sono i dati: servono migliaia di esempi scritti bene, e scriverli a mano costa. Da qui una pratica ormai dominante: usare un modello capace per generare i dati con cui addestrarne un altro.

Modello grande
     │  genera migliaia di coppie domanda/risposta
     ▼
Dataset sintetico → filtrato e verificato → addestramento di un modello piccolo

Funziona sorprendentemente bene, ed è il motivo per cui negli ultimi anni sono comparsi modelli piccoli con capacità che prima richiedevano taglie molto maggiori.

Tre cautele concrete. Il filtro non è opzionale: dati non verificati propagano gli errori del generatore dentro il modello addestrato. Le licenze contano, perché alcuni servizi vietano di usare i propri output per addestrare modelli concorrenti. E c’è il rischio di impoverimento: addestrare ripetutamente su materiale sintetico, generazione dopo generazione, restringe la varietà. La ricetta che regge è mista: sintetico per la quantità, umano per l’ancoraggio alla realtà.

Quando il giudice è un’altra AI

L’ultima fase richiede giudizi umani su migliaia di coppie di risposte: lento e costoso. La variante che si è affermata sostituisce il valutatore umano con un modello che giudica, guidato da una lista di principi scritti.

Il vantaggio è evidente: da migliaia di giudizi umani a milioni di giudizi automatici. Il costo nascosto anche: i pregiudizi del giudice entrano nel modello allineato, e sono documentati — i modelli giudici tendono a preferire risposte lunghe, ben formattate e sicure di sé, a parità di contenuto.

Lo stesso schema si è esteso oltre l’addestramento: “modello come giudice” è ormai un modo comune di valutare i sistemi in funzione. Conoscerne i difetti prima di fidarsene è essenziale: se il giudice premia la verbosità, ottimizzare su quel punteggio produce un sistema verboso.

In sintesi

Fase	Cosa insegna	Costo
Pre-training	La lingua e i fatti del mondo	enorme
SFT	A rispondere invece che a continuare	basso
RLHF / DPO / GRPO	A preferire la risposta migliore	medio
Dati sintetici	Un modello scrive i dati per addestrarne un altro: efficace, va filtrato
Giudice automatico	Scala i giudizi, ma porta con sé i propri pregiudizi