I parametri di generazione

Il modello, a ogni passo, produce una distribuzione di probabilità sul token successivo. I parametri di generazione non cambiano quella distribuzione: cambiano come si pesca da lì dentro. È da questa scelta che dipendono precisione, varietà e coerenza.

Input: "La capitale della Francia è"

  "Parigi"    0.85
  "una"       0.03
  "situata"   0.02
  "la"        0.01
  ...         migliaia di altri, con probabilità minuscole

Temperature

È la manopola principale: rende la distribuzione più appuntita o più piatta.

                Temp 0.1     Temp 1.0     Temp 2.0
"Parigi"         99.9%         85%          45%
"una"             0.05%         3%          12%
"situata"         0.02%         2%          10%
altri             0.03%        10%          33%

Ai valori bassi il modello sceglie quasi sempre il token più probabile: risposte prevedibili e ripetibili, ideali quando serve precisione. Intorno a 0,5-0,7 si trova il punto di equilibrio usato per la maggior parte dei compiti. Sopra 1,2 le scelte diventano meno ovvie e più originali, con il rischio di perdere il filo. Oltre 1,5 il testo si sfalda.

Stesso prompt, “descrivi il tramonto in una frase”, al variare della manopola:

• 0,0 — “Il sole si tinge di rosso e arancione mentre scende sotto l’orizzonte.”
• 0,7 — “Il cielo si incendia di sfumature dorate mentre il sole abbraccia il mare.”
• 1,5 — “Le fiamme celesti danzavano nervose in un oceano di seta purpurea e pensieri dimenticati.”
• 2,0 — “Lentamente cavallo obliquo tramonto forse cristalli nuvola serpeggiante.” ← non ha più senso

Top-p e top-k

Sono due modi di restringere il campo prima di pescare.

Top-k tiene solo i k token più probabili e ignora tutto il resto: con k=40, il modello sceglie fra i quaranta candidati migliori.

Top-p, detto anche nucleus sampling, è più furbo: tiene i token più probabili finché la loro probabilità sommata raggiunge p. Con p=0,9, se un token vale già l’85% il campo resta strettissimo; se invece le probabilità sono spalmate, la rosa si allarga da sé. Si adatta alla situazione, ed è per questo che oggi è il più usato.

Le penalità

Repetition penalty abbassa la probabilità dei token già usati: serve contro il modello che si incarta e ripete la stessa frase. Valori tipici 1,05-1,15; alzarla troppo produce testo forzato, perché anche le parole che devono ripetersi vengono punite.

Presence e frequency penalty sono varianti dello stesso principio: la prima punisce un token per il solo fatto di essere già comparso, la seconda in proporzione a quante volte è comparso.

Da dove partire

Compito	Temperature	Top-p
Estrazione dati, classificazione	0 – 0,2	1,0
Programmazione	0,1 – 0,3	0,95
Risposte tecniche, riassunti	0,3 – 0,5	0,9
Conversazione generale	0,6 – 0,8	0,9
Scrittura creativa	0,9 – 1,2	0,95

Un consiglio pratico: muovi una manopola alla volta. Cambiando temperature e top-p insieme non saprai a cosa attribuire il risultato.

Quando il formato non può sbagliare

I parametri visti finora decidono quanta libertà ha il modello. Esiste un livello superiore: costringerlo a produrre solo testo che rispetta una struttura data. Non è un suggerimento nel prompt, è un vincolo applicato durante la generazione.

Il meccanismo è elegante: a ogni passo si azzera la probabilità dei token che renderebbero l’output non valido, e si pesca solo fra quelli ammessi.

Sto generando un JSON e ho appena scritto:  {"nome":

Ammessi:   "  (apre la stringa del valore)
Azzerati:  }  ,  parole libere, a capo...

→ il modello non PUÒ produrre JSON malformato: non perché è bravo,
  ma perché le alternative sono state rimosse

Va usato ogni volta che l’output finisce dentro un programma: elimina in un colpo la categoria di errori più fastidiosa — la virgola in più, il campo mancante, il commento aggiunto per gentilezza — senza dover ripetere la chiamata.

Due avvertenze. Il vincolo garantisce la forma, non il contenuto: un JSON valido può contenere una risposta sbagliata. E strutture troppo ricche su modelli piccoli peggiorano la qualità, perché il modello spende attenzione a incastrare i campi invece che a ragionare: pochi campi, nomi ovvi, niente annidamenti profondi.

Leggere quanto il modello è sicuro

Molte interfacce possono restituire, insieme al testo, la probabilità di ogni token scelto. È un’informazione che quasi nessuno usa e che vale parecchio.

Risposta: "Il contratto scade il 15 marzo 2027"

  "15"     0.94   ← sicuro
  "marzo"  0.91
  "2027"   0.38   ← qui sta tirando a indovinare

Serve a tre cose concrete: segnalare le risposte incerte invece di presentarle tutte con lo stesso tono, filtrare automaticamente i risultati sotto una soglia, e scegliere fra più generazioni.

Il limite da conoscere: probabilità alta significa “coerente con quello che ho visto nei dati”, non “vero”. Un’invenzione ben radicata può presentarsi con probabilità altissima. È un indicatore di fluidità statistica — ma le probabilità basse restano un ottimo campanello.

Perché la stessa domanda dà risposte diverse

Domanda ricorrente, tre cause distinte che conviene saper separare.

Il campionamento: con temperature sopra zero la scelta è probabilistica, e due esecuzioni possono divergere legittimamente. Il contesto diverso: in chat lo storico cambia a ogni turno, quindi non stai facendo la stessa domanda, la stai facendo dentro una conversazione diversa. Il calcolo in parallelo: anche a temperature zero restano differenze minime, perché le operazioni in virgola mobile su schede grafiche non sono associative e l’ordine delle somme dipende da come il lavoro viene distribuito.

L’ultima spiega perché “deterministico” in pratica significa “quasi sempre identico” e non “identico per costruzione”.

In sintesi

Parametro	Cosa fa
Temperature	Appiattisce o appuntisce la distribuzione: creatività contro precisione
Top-k	Tiene i k candidati migliori
Top-p	Tiene i candidati fino a coprire una probabilità p: si adatta da sé
Repetition penalty	Scoraggia il riuso dei token già visti
Output vincolato	La struttura è garantita dal meccanismo, non dalla buona volontà
Probabilità dei token	Segnalano l’incertezza, non la verità
Riproducibilità	Anche a temperature zero resta un margine, ed è normale