Context window e memoria

La context window è la quantità massima di token che un modello può avere davanti agli occhi in un dato momento. È la sua scrivania: puoi spargerci sopra tutti i fogli che ci stanno, ma se è piena e vuoi aggiungere qualcosa, qualcos’altro deve uscire.

┌─────────────────────────────────────────────┐
│         CONTEXT WINDOW (es. 8192 token)     │
│                                             │
│   istruzioni di sistema      ~200 token     │
│   storico della chat        ~5000 token     │
│   ultima domanda             ~100 token     │
│   spazio per la risposta    ~2892 token     │
└─────────────────────────────────────────────┘

Dentro la finestra: il modello lo vede.
Fuori: per lui non esiste.

Quanto è grande

Modello	Finestra	Più o meno
GPT-2 (2019)	1.024 token	una pagina e mezzo
Llama 2 (2023)	4.096 token	sei pagine
Qwen 3 8B (2025)	32.768 token	cinquanta pagine
Llama 3.1 (2024)	131.072 token	duecento pagine
Claude 3.5 (2024)	200.000 token	trecento pagine
Gemini 1.5 Pro	1.000.000 token	millecinquecento pagine

Per fare i conti a spanne in italiano: un token vale circa 0,6-0,7 parole. Quindi 4.000 token sono circa 2.500 parole, 32.000 token una quarantina di pagine.

Il modello non ha memoria

È il fraintendimento più diffuso, e vale la pena smontarlo con precisione: il modello non ricorda le conversazioni. Quando chatti, ogni volta che premi invio l’interfaccia gli rispedisce tutta la conversazione dall’inizio.

TU: "Ciao, mi chiamo Marco"
IA: "Ciao Marco, come posso aiutarti?"

TU: "Qual è il mio nome?"

Quello che viene inviato al modello, di nuovo, per intero:
  [sistema]    Sei un assistente utile.
  [utente]     Ciao, mi chiamo Marco
  [assistente] Ciao Marco, come posso aiutarti?
  [utente]     Qual è il mio nome?

IA: "Il tuo nome è Marco."

Il modello non si è ricordato nulla: ha riletto. Ogni singola volta.

Le conseguenze

La conversazione costa sempre di più. Ogni scambio allunga il testo da rispedire: le risposte rallentano e, sulle API a consumo, il prezzo sale.

Quando la finestra si riempie, qualcosa si perde. Le interfacce tagliano i messaggi più vecchi o li riassumono. Da lì nascono le amnesie improvvise a metà di una chat lunga.

Il centro è il punto debole. I modelli tendono a usare bene l’inizio e la fine del contesto, e a trascurare quello che sta in mezzo. Se qualcosa è cruciale, non seppellirlo nel mezzo di un documento lungo.

Contesto grande non è sempre meglio. Riempire una finestra da 100.000 token di roba poco pertinente peggiora la risposta: meglio poco materiale, ma scelto.

Quello che dichiara e quello che usa davvero

Un modello che promette 128.000 token non li sfrutta tutti allo stesso modo. È una delle distanze più ampie fra scheda tecnica ed esperienza reale.

La finestra massima è il limite oltre il quale l’input viene rifiutato o tagliato. Il contesto utile è la lunghezza entro cui la qualità resta stabile, e i due numeri non coincidono quasi mai. Sui modelli piccoli la differenza è marcata: uno che dichiara 32.000 token spesso comincia a perdere colpi molto prima, dimenticando vincoli dati all’inizio o confondendo le fonti.

Misurarlo richiede cinque minuti. Prendi un documento lungo, nascondi una frase precisa in tre punti diversi — inizio, metà, fine — e chiedi al modello di riportarla. Ripeti allungando il documento. Il punto in cui il recupero dal centro comincia a fallire è il tuo contesto utile con quel modello: un numero molto più onesto di quello pubblicizzato.

Pagare il prefisso una volta sola

Diversi fornitori applicano uno sconto forte alla parte di prompt che si ripete identica fra una chiamata e l’altra, a una condizione: che stia all’inizio. Lo stesso vale in locale, dove i programmi riusano l’elaborazione già fatta sul prefisso invece di rifarla.

Ne discende una regola di composizione che non costa nulla e paga subito:

[ FISSO      ]  istruzioni, documenti, esempi        ← in testa, si riusa
[ VARIABILE  ]  la domanda, i dati del momento       ← in coda

Invertire l’ordine — domanda in cima, documento sotto — invalida il riuso a ogni richiesta. È un errore silenzioso: funziona tutto, costa solo di più ed è più lento.

Come si simula una memoria che dura

Il modello non ricorda, ma un’applicazione può dare quell’impressione. Le tecniche sono tre, con costi diversi.

Tecnica	Come funziona	Limite
Finestra scorrevole	Si tengono solo gli ultimi messaggi	Il passato sparisce di colpo
Riassunto progressivo	Ogni tanto si comprime lo storico	La compressione perde dettagli
Memoria esterna	I fatti salienti si salvano fuori e si recuperano	Serve decidere cosa salvare

La terza è quella che somiglia davvero alla memoria: si estraggono i fatti stabili — “preferisce risposte brevi”, “sta lavorando a un certo progetto” — e si conservano in un archivio, recuperandoli per somiglianza quando la conversazione li rende pertinenti.

La distinzione da tenere in testa: il contesto è memoria di lavoro, l’archivio è memoria a lungo termine. Confonderli porta a riempire la finestra di roba che sarebbe dovuta restare fuori.

In sintesi

Concetto	In una riga
Context window	Quanti token il modello vede in una volta
Nessuna memoria	Ogni turno l’intera chat viene rispedita da capo
Costo crescente	Più lunga la conversazione, più lenta e cara
Perdita al centro	Inizio e fine sono ricordati meglio del mezzo
Qualità > quantità	Contesto pertinente batte contesto abbondante
Contesto utile	Sempre più corto di quello dichiarato: misuralo
Ordine del prompt	Parti fisse in testa: si riusano e costano meno
Memoria vera	Sta fuori dalla conversazione, non dentro