Hardware per LLM in locale

C’è un solo vincolo che conta davvero: il modello deve stare in memoria. Quale memoria dipende dalla macchina, e questo cambia completamente le regole del gioco.

Su una scheda NVIDIA il modello deve entrare nella VRAM della scheda, che è separata e tipicamente più piccola della RAM. Su Apple Silicon esiste la memoria unificata, condivisa fra processore e grafica: un Mac con 16 GB può dedicarne una buona parte al modello, ed è il motivo per cui i portatili Apple se la cavano bene in questo campo. Senza scheda grafica si può usare la RAM di sistema, ma la lentezza rende l’esperienza poco piacevole.

L’analogia utile: la memoria video è la scrivania su cui lavori, la RAM è l’armadio accanto, l’SSD è il magazzino in cantina. Più grande la scrivania, più fogli puoi tenere aperti insieme.

Il conto da fare

È lo stesso della quantizzazione, con un margine per il resto:

memoria necessaria ≈ (parametri × bit) / 8   +   overhead

L’overhead comprende il contesto — che cresce con la lunghezza della conversazione — e le strutture di servizio. Una regola pratica: aggiungi il venti per cento circa al risultato del calcolo.

Memoria disponibile	Cosa ci gira bene
8 GB	modelli 7-8B a 4 bit
16 GB	8B comodo, 14B a 4 bit
24-32 GB	32B a 4 bit
48-64 GB	70B a 4 bit

Cosa determina la velocità

Sorpresa: non è tanto la potenza di calcolo, è la banda di memoria. Generare un token richiede di attraversare tutti i pesi del modello, quindi la velocità con cui la memoria viene letta è il fattore dominante. È per questo che schede diverse con potenza simile ma banda diversa danno risultati molto lontani.

Ci sono due tempi da distinguere. Il primo token arriva dopo che il modello ha elaborato tutto il prompt: con un contesto lungo, l’attesa si sente. I token successivi escono a ritmo costante, ed è il numero che di solito viene pubblicizzato.

Per dare un ordine di grandezza: un modello 8B quantizzato a 4 bit su hardware recente sta tipicamente fra i venti e i cinquanta token al secondo, che è più veloce di quanto si legga.

Gli errori più comuni

Riempire la memoria fino all’orlo. Se il modello occupa tutto, il sistema comincia a scambiare con il disco e la velocità crolla di un ordine di grandezza. Meglio scendere di taglia e restare fluidi.

Guardare solo i parametri. Un modello MoE con molti parametri totali ne attiva pochi per token: pesa in memoria come il totale, ma corre come la frazione attiva.

Dimenticare il contesto. Una conversazione lunga o un documento incollato dentro occupano memoria in aggiunta al modello. Chi lavora al limite se ne accorge a metà chat.

I due tempi: attesa iniziale e velocità di scrittura

I token al secondo raccontano solo metà dell’esperienza. Ci sono due tempi distinti, con colli di bottiglia diversi, e confonderli porta a diagnosi sbagliate.

Fase	Cosa succede	Da cosa dipende
Attesa iniziale	Il modello elabora tutto il prompt	Potenza di calcolo, lunghezza del prompt
Scrittura	I token escono uno dopo l’altro	Banda di memoria

Il primo cresce con la lunghezza del prompt: un contesto da 8.000 token fa aspettare prima di vedere la prima parola, anche su hardware veloce. Il secondo è quasi costante.

Due conclusioni pratiche. Se l’attesa iniziale è insopportabile, il problema è il contesto: accorcia il prompt, o tieni le parti fisse in testa per sfruttare il riuso. Se è la scrittura a essere lenta, il contesto non c’entra: serve un modello più piccolo, più compresso, o hardware con più banda.

La diagnosi in tre passi

Il sintomo “è diventato lento” ha quasi sempre una di tre cause, distinguibili in pochi minuti.

lento SUBITO, sempre            → memoria: il modello non ci sta comodo
lento SOLO prima di rispondere  → contesto troppo lungo
veloce all'inizio, poi cala     → calore: la macchina si protegge

Nel primo caso il sistema sta scambiando con il disco: chiudi qualcosa, scendi di taglia o riduci il contesto. Nel secondo è il prompt da elaborare: accorcia o riorganizza. Nel terzo le frequenze calano dopo minuti di lavoro continuo, e c’è poco da fare oltre a migliorare la ventilazione e alternare i carichi.

Un dettaglio che sfugge: anche il contesto occupa memoria, e cresce durante la conversazione. Un modello che stava comodo all’inizio può non starci più dopo mezz’ora di chat.

Tre configurazioni e cosa ci fai

I numeri astratti dicono poco. Ecco cosa cambia davvero passando da una macchina all’altra.

Portatile da 8 GB. Ci gira un modello da 7-8 miliardi a 4 bit, e basta: circa 5 GB per il modello, il resto per il sistema e il contesto. Va bene per riformulare, tradurre, classificare, rispondere su testo che gli fornisci. La conversazione lunga è il limite: quando la cache cresce, si comincia a scambiare col disco.

Portatile o desktop da 16 GB. È la configurazione dove il locale diventa piacevole. Un 8B a 4 bit gira comodo con contesto ampio, un 14B a 4 bit è alla portata per i compiti più difficili, e c’è margine per tenere aperto altro. Copre la grande maggioranza degli usi personali.

Macchina da 32 GB o più. Si aprono i modelli da 32 miliardi a 4 bit, che sulla qualità fanno un salto percepibile sui compiti complessi. Sopra, con 64 GB, si arriva ai 70B — ma il rapporto fra guadagno e spesa peggiora in fretta, e per quei pochi compiti spesso conviene un’API.

Memoria	Modello tipico	Cosa ci fai
8 GB	7-8B a 4 bit	Compiti circoscritti, contesto corto
16 GB	8B comodo, 14B al limite	Uso quotidiano completo
32 GB	32B a 4 bit	Compiti complessi, ragionamento
64 GB+	70B a 4 bit	Rendimenti decrescenti: valuta un’API

Scheda dedicata o memoria unificata

Due mondi con regole diverse, e la differenza non è la potenza.

Su Apple Silicon la memoria è condivisa fra processore e grafica: un Mac da 16 GB può dedicarne una buona parte al modello, ed è per questo che portatili senza scheda dedicata se la cavano bene. Il limite è la banda, che cresce salendo di fascia.

Su PC con scheda NVIDIA conta solo la memoria della scheda. Avere 64 GB di RAM di sistema non aiuta se la scheda ne ha 12: quello che non ci sta finisce sul processore, e la velocità crolla. In compenso, quando il modello ci sta tutto, la banda è molto superiore.

La conseguenza pratica per chi compra: su Mac guarda la memoria unificata totale, su PC guarda solo la memoria della scheda video.

In sintesi

Concetto	In una riga
Vincolo principale	Il modello deve stare in memoria, punto
Memoria unificata	Su Apple Silicon CPU e GPU la condividono
Il conto	Parametri × bit ÷ 8, più circa il 20% di margine
Velocità	La banda di memoria conta più della potenza di calcolo
Errore tipico	Riempire tutto: si finisce a scambiare col disco
Due tempi	Attesa iniziale e velocità di scrittura hanno cause diverse
Diagnosi	Sempre lento, lento solo all’inizio, o lento col tempo: tre problemi diversi
Configurazioni	8 GB compiti circoscritti, 16 GB uso completo, 32 GB compiti complessi
Cosa guardare	Su Mac la memoria unificata, su PC solo quella della scheda