Come scegliere un modello

La domanda “qual è il modello migliore” non ha risposta. Quella giusta è “qual è il modello migliore per questo compito, su questa macchina”, e ci si arriva con quattro passaggi in sequenza.

1. COMPITO         cosa devi farci?
2. DIMENSIONE      quanto grande può essere?
3. QUANTIZZAZIONE  quanto lo comprimi?
4. RUNTIME         con cosa lo esegui?

Passo 1 — Il compito

I modelli specializzati battono i generalisti sul loro terreno, a parità di taglia.

Per il codice esistono varianti addestrate su enormi quantità di sorgenti: capiscono strutture e convenzioni molto meglio di un modello generico dello stesso peso. Per la conversazione e la scrittura vanno bene i generalisti. Per il multilingue conta la composizione dei dati di addestramento, e qui le famiglie asiatiche tendono a coprire bene anche l’italiano. Per il ragionamento servono i modelli con pensiero esplicito, che costano più tempo per risposta ma sbagliano molto meno sui problemi a più passaggi.

Passo 2 — La dimensione

Qui comanda la memoria disponibile, e il conto è quello della quantizzazione: parametri per bit diviso otto.

Memoria	Cosa ci gira comodo
8 GB	modelli 7-8B a 4 bit
16 GB	8B con margine, 14B a 4 bit
32 GB	32B a 4 bit
64 GB+	70B a 4 bit

Il principio già visto vale ancora: a parità di memoria, meglio un modello grande molto quantizzato che uno piccolo poco quantizzato.

Passo 3 — La quantizzazione

Nella pratica: Q4_K_M per l’uso quotidiano, Q5 o Q6 se la memoria avanza e vuoi qualche punto di qualità in più, Q8 solo quando la precisione conta davvero e lo spazio non è un problema. Sotto i 4 bit si scende solo per necessità.

Passo 4 — Il runtime

Con cosa lo esegui dipende da cosa ci devi fare. Ollama se vuoi la riga di comando e un’API locale su cui costruire. LM Studio se preferisci un’interfaccia grafica per scaricare, provare e confrontare. Open WebUI se ti serve una chat vera, con più utenti o accessibile dal telefono. Sono i protagonisti della sezione Setup Locale.

Un errore da evitare

Scegliere il modello più grande che entra in memoria non è quasi mai la mossa giusta: se occupa tutto, il sistema inizia a scambiare con il disco e la conversazione diventa frustrante. Meglio lasciare margine e avere risposte fluide.

E soprattutto: provalo sul tuo caso reale. Dieci minuti con i tuoi prompt tipici dicono più di qualsiasi classifica.

Quando conviene cambiare

Ne esce uno nuovo ogni settimana e la tentazione di aggiornare è costante. Ma cambiare ha un costo invisibile: i prompt tarati sul vecchio possono rendere meno, i formati cambiano di sfumatura, e tutto quello che avevi verificato va riverificato.

La regola: si cambia quando il nuovo vince sui tuoi test, non sui benchmark.

Il protocollo minimo, un quarto d’ora: scarica il candidato accanto a quello che usi senza rimuovere niente; fai girare gli stessi venti prompt reali con gli stessi parametri; leggi le risposte affiancate contando gli errori veri, non le impressioni; controlla anche velocità e memoria; se vince, tienilo in prova una settimana prima di buttare il vecchio.

Segnale	Cambiare?
Punteggi migliori sui benchmark pubblici	Da solo, no
Vince sui tuoi venti casi	Sì
Stessa qualità ma più piccolo o più veloce	Sì, è un guadagno netto
Nuova capacità che ti serve davvero	Sì
“È uscito ieri e ne parlano tutti”	No

Il caso in cui vale sempre la pena è il terzo: stessa resa in meno memoria libera spazio per contesto più lungo o per far girare altro sulla stessa macchina.

L’errore da evitare

Scegliere il modello più grande che entra in memoria non è quasi mai la mossa giusta. Se occupa tutto, il sistema comincia a scambiare con il disco e la conversazione diventa frustrante; e ogni token di contesto in più peggiora la situazione, perché anche la cache occupa spazio.

Meglio scendere di una taglia e restare fluidi: la differenza di qualità fra un 14B e un 8B si nota su compiti difficili, quella fra una risposta immediata e una che arriva col contagocce si nota sempre.

Tre scenari concreti

I quattro passi in astratto sono facili da dimenticare. Ecco come si applicano davvero.

Scrivi codice su un portatile da 16 GB. Compito: programmazione, quindi un modello specializzato batte un generalista della stessa taglia. Dimensione: 7-8 miliardi con margine, o 14 al limite. Quantizzazione: Q4_K_M. Runtime: Ollama se lo colleghi all’editor, LM Studio se vuoi provarlo a mano prima. Risultato: un modello per il codice da 7-8B a 4 bit, circa 5 GB.

Rispondi su documenti aziendali riservati. Il vincolo che decide è la privacy: locale, nessuna API. Il modello conta meno di quanto pensi, perché il lavoro vero lo fa il recupero dei documenti — un generalista da 8B basta, e i soldi vanno spesi in chunking e ricerca ibrida. Se il recupero non trova il pezzo giusto, nessun modello salva la risposta.

Ti serve la qualità massima su pochi compiti difficili al giorno. Qui il locale non è la risposta: volumi bassi, difficoltà alta, nessun dato sensibile. API, modello di punta, e la spesa resta contenuta proprio perché le richieste sono poche.

Gli errori che si ripetono

Errore	Perché costa
Prendere il modello più grande che entra in memoria	Il sistema scambia col disco, tutto rallenta
Scegliere sui benchmark invece che sul proprio caso	Due modelli vicini nei punteggi possono comportarsi in modo opposto
Usare un generalista per il codice	Un modello specializzato della stessa taglia va meglio
Cambiare modello a ogni uscita	I prompt sono tarati: ogni cambio va riverificato
Ignorare la lingua	Molti modelli rendono meno in italiano che in inglese

L’ultimo è il più sottovalutato da noi: due modelli equivalenti sui benchmark inglesi possono avere una differenza netta in italiano, e questo si scopre solo provando.

In sintesi

Passo	Domanda	Regola pratica
Compito	Cosa devi farci?	Specializzato batte generalista sul suo terreno
Dimensione	Quanta memoria hai?	Lascia margine, non riempire fino all’orlo
Quantizzazione	Quanto comprimere?	Q4_K_M come punto di partenza
Runtime	Come lo esegui?	Ollama, LM Studio o Open WebUI secondo l’uso
Quando cambiare	Solo se vince sui tuoi casi reali, non sui benchmark
Errore comune	Riempire la memoria fino all’orlo: meglio una taglia in meno
Scenari	Il vincolo che decide cambia: hardware, privacy, o difficoltà del compito
Errore ricorrente	Riempire la memoria e scegliere sui benchmark invece che sul proprio caso