Cloud o locale?

È come scegliere dove cucinare. In casa: compri le attrezzature una volta e poi cucini quando vuoi senza pagare nessuno, ma devi comprarle tu. Al ristorante: paghi solo i piatti che ordini, nessuna cucina da mantenere, ma non scegli gli ingredienti. Cucina professionale a ore: attrezzature migliori delle tue, e paghi finché la usi.

In locale

Installi un runtime, scarichi il modello, gira sulla tua macchina. Il costo iniziale è l’hardware — che magari hai già — e quello ricorrente è solo la corrente.

La privacy è totale: nessun dato lascia il dispositivo, il che cambia completamente le carte quando si tratta di documenti riservati, dati di clienti o materiale sanitario. Funziona anche senza rete.

I limiti sono chiari: solo modelli a pesi aperti, e la velocità dipende da quello che hai sotto. Un 8B su hardware recente risponde a un ritmo confortevole; salire di taglia significa salire di hardware.

Via API

Paghi a consumo, di solito a token, e accedi anche ai modelli chiusi più capaci. Nessuna manutenzione, scalabilità immediata, e la qualità di punta è quella che i modelli locali raggiungono con un certo ritardo.

In cambio: i dati escono dalla tua macchina, sei legato alla disponibilità e ai prezzi di qualcun altro, e un modello che usi in produzione può essere ritirato o cambiare comportamento sotto i tuoi piedi. Con volumi alti, il conto cresce in fretta.

GPU a noleggio

La via di mezzo: affitti una macchina con schede potenti e ci fai girare quello che vuoi, compresi modelli grandi a pesi aperti. Ha senso per addestramenti, lavori a lotti, o sperimentazioni intense e limitate nel tempo. Paghi le ore, quindi va spenta quando non serve.

Come decidere davvero

Se…	Conviene
I dati sono riservati	locale
Ti serve la qualità massima disponibile	API
Il volume è alto e costante	locale, se l’hardware regge
Il volume è basso o a picchi	API
Devi addestrare o fare fine-tuning	GPU a noleggio
Vuoi sperimentare e imparare	locale

Il conto economico si fa così: stima quanti token consumi al mese, moltiplica per il prezzo dell’API, confronta con il costo dell’hardware spalmato su due o tre anni più la corrente. Sotto una certa soglia l’API vince sempre; sopra, il locale si ripaga.

La risposta più sensata: entrambi

Nella pratica la combinazione batte quasi sempre la scelta esclusiva. Locale per il lavoro quotidiano, i dati sensibili, la sperimentazione e tutto ciò che non richiede la punta massima. API per i compiti difficili, dove la qualità fa davvero la differenza.

Il vantaggio nascosto di questa impostazione è che ti obbliga a capire quali compiti richiedono davvero il modello migliore. Spesso sono molti meno di quanto si pensi.

La cascata: piccolo prima, grande solo se serve

L’approccio ibrido diventa molto più efficace quando la scelta non è fatta una volta per tutte ma richiesta per richiesta.

richiesta
   │
   ▼
modello locale piccolo  ── risolve? ──► fine (costo zero)
   │ no
   ▼
modello grande via API  ──► risposta

Su carichi reali la maggior parte delle richieste è semplice: riformulazioni, classificazioni, estrazioni, domande su documenti già forniti. Se il modello locale ne gestisce anche solo la metà, la spesa si dimezza senza che nessuno noti la differenza.

Il punto delicato è come decidere quando passare al grande: per tipo di compito, deciso in partenza con una regola; per sicurezza dichiarata dal modello piccolo, che segnala quando non se la sente; oppure per verifica dell’output, se esiste un controllo automatico che sa dire se la risposta è accettabile.

Costo da mettere in conto: due sistemi da mantenere e tenere allineati. Ha senso sopra una certa scala, non per un uso personale.

Cosa succede quando il modello sparisce

Rischio poco considerato di chi costruisce su API: i modelli vengono ritirati. Escono, invecchiano e a un certo punto smettono di essere serviti, con un preavviso che raramente coincide con i tuoi tempi. E anche senza ritiro, un aggiornamento può cambiare il comportamento a parità di nome.

Tre precauzioni proporzionate: fissare la versione quando il fornitore lo permette, invece di puntare all’alias che segue l’ultima uscita; tenere i propri casi di prova, che sono l’unico modo per accorgersi che qualcosa è cambiato prima che se ne accorgano gli utenti; e isolare la chiamata dietro una funzione tua, così sostituire fornitore o modello è una modifica in un punto solo.

È anche uno degli argomenti concreti a favore del locale: un modello scaricato non cambia sotto i piedi e non scade. Quello che gira oggi girerà identico fra due anni.

In sintesi

Modo	Costo	Privacy	Quando
Locale	hardware + corrente	totale	dati sensibili, volumi costanti, studio
API	a consumo	dati fuori	qualità massima, volumi bassi o a picchi
GPU a noleggio	a ore	media	addestramento, lavori a lotti
Cascata	Il piccolo risolve la maggior parte delle richieste, il grande le altre
Continuità	Le API cambiano e ritirano modelli; un file scaricato no