Benchmark e valutazione

I benchmark sono test standardizzati: un insieme di domande con risposte note, il modello risponde, si conta la percentuale di risposte esatte. Funzionano come gli esami a scuola — danno un numero confrontabile, e come a scuola non raccontano tutta la storia.

I nomi che ricorrono

MMLU misura conoscenza generale su decine di materie con domande a scelta multipla. Un modello da 8 miliardi di parametri sta tipicamente fra il 65 e il 70 per cento, uno da 70 miliardi fra l’80 e l’85. Misura ciò che il modello ha memorizzato, non quanto capisce.

HumanEval misura la capacità di scrivere codice corretto: centosessantaquattro problemi di programmazione, si conta quanti vengono risolti al primo tentativo.

GSM8K raccoglie problemi di matematica da scuola elementare che richiedono più passaggi: è il classico terreno dove il ragionamento esplicito fa una differenza enorme.

Poi ci sono le arene, dove persone reali confrontano due risposte anonime e votano quale preferiscono. Sono più vicine all’esperienza d’uso, ma premiano anche lo stile e la piacevolezza, non solo la correttezza.

Perché prenderli con le pinze

La contaminazione. Se le domande del test sono finite nei dati di addestramento, il modello non sta ragionando: sta ricordando. Succede più spesso di quanto si ammetta, perché i benchmark famosi sono pubblici e finiscono ovunque sul web.

L’ottimizzazione sul test. Quando un numero diventa un obiettivo commerciale, si comincia ad addestrare per quel numero. Il punteggio sale, la capacità generale no.

La distanza dal tuo caso. Nessun benchmark misura “risponde bene alle domande dei miei clienti sui miei documenti”. Due modelli separati da tre punti di MMLU possono comportarsi in modo opposto sul tuo compito.

La lingua. Quasi tutti i benchmark sono in inglese: dicono poco su come il modello se la cava in italiano.

La valutazione che conta

Costruirsene una richiede meno tempo di quanto sembri, e vale più di ogni classifica.

Raccogli venti casi reali — non inventati: prompt che useresti davvero, compresi quelli difficili e quelli ambigui. Per ciascuno scrivi cosa consideri una buona risposta, anche solo in una riga.

Fai girare i modelli candidati sugli stessi venti casi, con gli stessi parametri, e leggi le risposte affiancate. Emergono differenze che nessun punteggio aggregato mostra: chi inventa, chi ignora il formato, chi si perde sulle domande lunghe.

Conserva il tutto. Quando esce il modello nuovo, in dieci minuti sai se ti conviene cambiare — e la stessa cartella serve a verificare che una modifica al prompt non abbia peggiorato altro.

Far valutare le risposte a un modello

Quando i casi di prova diventano decine, rileggerli tutti a mano dopo ogni modifica non è sostenibile. La scorciatoia diffusa è usare un modello come giudice: gli si danno domanda, risposta e criterio, e restituisce un voto.

Funziona, a due condizioni. Il criterio deve essere specifico: “valuta la qualità da 1 a 10” produce numeri poco informativi, “la risposta cita solo informazioni presenti nel testo fornito? sì o no” produce un giudizio verificabile. E il giudice va tarato: prima di fidarsi si valuta a mano un campione di venti casi e si confronta col suo giudizio.

Distorsione	Effetto
Preferenza per la lunghezza	Premia risposte prolisse a parità di contenuto
Preferenza per la forma	Premia elenchi puntati e grassetti
Preferenza per la sicurezza	Premia il tono assertivo, anche quando è sbagliato
Auto-preferenza	Premia risposte di modelli della stessa famiglia

Sono distorsioni documentate e sistematiche, quindi prevedibili: se il giudice premia la verbosità e tu ottimizzi su quel punteggio, otterrai un sistema verboso. Un antidoto pratico è giudicare per confronto — quale delle due risposte è migliore? — invece che con un voto assoluto, alternando l’ordine per neutralizzare l’effetto posizione.

La contaminazione

Il difetto più insidioso delle classifiche pubbliche: se le domande del test sono finite nei dati di addestramento, il modello non sta ragionando, sta ricordando.

Succede più spesso di quanto si ammetta, perché i benchmark famosi sono pubblici e finiscono ovunque sul web — e i dati di addestramento sono raccolti dal web. Il sintomo tipico è un modello che brilla sui test noti e delude sui compiti reali della stessa natura.

È anche la ragione per cui i benchmark nuovi, o quelli che tengono le domande segrete, sono più informativi di quelli storici: non hanno ancora avuto il tempo di finire nei dati.

Costruirsi una valutazione in mezz’ora

È la cosa che sposta di più e che quasi nessuno fa. Il metodo, concreto.

Raccogli venti casi reali. Non inventati: prompt che useresti davvero, presi dal lavoro di una settimana. Includi i tre tipi che contano — i casi normali, quelli difficili, e quelli ambigui dove una persona chiederebbe un chiarimento.

Scrivi cosa consideri una buona risposta. Una riga per caso basta. Non serve la risposta perfetta, serve il criterio: “deve citare l’articolo”, “massimo tre frasi”, “se non è nel testo deve dirlo”.

Fai girare i candidati sugli stessi casi, con gli stessi parametri, salvando le risposte.

Rileggi affiancato e conta gli errori veri. Non “mi piace di più”: quante volte ha inventato, quante ha ignorato il formato, quante ha perso un vincolo.

caso                          modello A        modello B
riassunto contratto           ok               ok
domanda su dato assente       ha inventato     ha detto che manca   ← differenza vera
formato JSON richiesto        ok               virgola di troppo
domanda ambigua               ha indovinato    ha chiesto

Mezz’ora, e ti resta un attrezzo riutilizzabile: quando esce il modello nuovo sai in dieci minuti se conviene, e quando modifichi un prompt vedi subito se hai rotto qualcos’altro.

Cosa NON misurare

Tre trappole in cui si cade con le proprie valutazioni, dopo essere sfuggiti a quelle dei benchmark pubblici.

La simpatia della risposta. Un tono brillante non è qualità: è la stessa distorsione dei giudici automatici, applicata a te.

Un caso solo. Un modello che sbaglia una volta su venti e uno che sbaglia una volta su tre possono dare lo stesso identico risultato sul caso che hai provato.

Il compito che sai già fare bene. Se testi solo ciò che funziona, misuri quanto sei bravo a scegliere i test, non quanto è bravo il modello. I casi che ti hanno fatto imprecare la settimana scorsa valgono più di dieci esempi comodi.

In sintesi

Concetto	In una riga
MMLU	Conoscenza generale a scelta multipla
HumanEval	Codice Python corretto al primo tentativo
GSM8K	Problemi matematici a più passaggi
Contaminazione	Il test finito nei dati di addestramento falsa tutto
Valutazione propria	Venti casi reali battono qualsiasi classifica
Giudice automatico	Scala la valutazione, ma porta con sé pregiudizi noti
Contaminazione	Test finiti nei dati di addestramento: il punteggio non vale più
Valutazione propria	Venti casi reali, criterio scritto, errori contati affiancati
Trappole	Simpatia della risposta, caso singolo, test solo su ciò che già funziona