Ollama

Ollama è diventato lo standard di fatto per l’inferenza locale, e il motivo sta tutto in questa riga:

ollama run qwen3:8b

Scarica il modello se non c’è, lo carica, e ti mette davanti un prompt. Nessuna registrazione, nessun account, nessun dato che esce.

È un lettore DVD per modelli: invece di andare al cinema e pagare il biglietto ogni volta, ti porti il film a casa e lo guardi quante volte vuoi, senza che nessuno sappia cosa stai guardando.

Un chiarimento che serve

Llama e Ollama si somigliano nel nome e non sono la stessa cosa. Llama è un modello, fatto da Meta: il cervello. Ollama è un runtime, fatto da un’azienda diversa: il motore che fa girare i modelli, compresi Qwen, DeepSeek, Mistral e decine di altri.

I comandi che userai davvero

ollama pull qwen3:8b        # scarica il modello
ollama run qwen3:8b         # chatta nel terminale
ollama list                 # cosa hai scaricato
ollama ps                   # cosa è caricato in memoria adesso
ollama rm qwen3:8b          # libera spazio

I nomi seguono lo schema modello:taglia, e senza indicazioni scarica la variante quantizzata predefinita — di solito a 4 bit, che è la scelta giusta nella maggior parte dei casi.

Il pezzo che conta: l’API

Ollama espone un servizio locale su localhost:11434 compatibile con le API OpenAI. Questa singola scelta è ciò che lo ha reso onnipresente: qualunque strumento sappia parlare con OpenAI funziona con Ollama cambiando l’indirizzo.

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Spiega la fotosintesi in due righe",
  "stream": false
}'

Da qui in poi puoi costruirci sopra: script, applicazioni, agenti, estensioni per l’editor. Tutto in locale.

Personalizzare un modello

Con un file di configurazione chiamato Modelfile si crea una variante con il proprio system prompt e i propri parametri, e la si richiama come un modello qualsiasi.

FROM qwen3:8b
PARAMETER temperature 0.3
SYSTEM "Sei un revisore di codice Python. Rispondi solo con i problemi trovati."

È il modo più semplice per trasformare un modello generico in uno strumento specializzato, senza addestrare nulla.

Cose da sapere

Il modello resta caricato in memoria per qualche minuto dopo l’uso, così le richieste successive partono subito; scaduto il tempo viene scaricato. Se ti serve un comportamento diverso — sempre carico, o mai — si regola con una variabile d’ambiente.

Attenzione anche a dove finiscono i file: i modelli pesano diversi gigabyte ciascuno e si accumulano in fretta. Vale la pena controllare ogni tanto cosa c’è con ollama list.

La trappola numero uno: il contesto predefinito

Il problema più comune e più difficile da diagnosticare: la finestra di contesto predefinita è molto più piccola di quella che il modello supporta.

Un modello che dichiara 32.000 token viene servito con una finestra di poche migliaia se non si dice altro. Il resto non dà errore: viene semplicemente troncato.

Sintomi tipici:
  - "dimentica" l'inizio di un documento lungo
  - ignora istruzioni date qualche messaggio prima
  - risponde su metà del testo che gli hai incollato
  - nelle chat lunghe perde il filo sempre allo stesso punto

Si risolve alzando il parametro del contesto, nel file di configurazione del modello o nella chiamata. Attenzione però: un contesto più grande costa memoria, perché la cache cresce con esso. Se il sistema comincia a scambiare con il disco, sei andato troppo in là.

Prima di dare la colpa al modello per un’amnesia, verifica quanto contesto gli stai davvero dando.

Esporlo in rete: cosa sapere prima

Ollama ascolta di default solo sulla macchina locale. Cambiare quel comportamento per raggiungerlo da un altro dispositivo è comodo, e va fatto sapendo una cosa: l’API non ha autenticazione. Chi la raggiunge può usare i modelli, caricarli e cancellarli.

Scenario	Rischio
Solo locale (predefinito)	Nessuno
Aperto sulla rete di casa	Chiunque sia in rete lo usa
Aperto su internet	Da non fare mai

La strada giusta per usarlo da fuori è la stessa valida per tutte le applicazioni personali: una rete privata fra i propri dispositivi, che lo rende raggiungibile solo da chi è dentro senza esporre nulla. Il principio generale: dal tunnel pubblico passa solo ciò che è pubblico; tutto quello che ha i tuoi dati resta in rete privata.

In sintesi

Concetto	In una riga
Cos’è	Il runtime standard per eseguire modelli in locale
Llama vs Ollama	Il primo è un modello, il secondo il motore che lo esegue
API	Compatibile OpenAI su localhost:11434: ci si collega qualsiasi cosa
Modelfile	Crea varianti con system prompt e parametri tuoi
Attenzione	I modelli occupano gigabyte: controlla ogni tanto
Contesto predefinito	Più piccolo del dichiarato, e tronca in silenzio
Rete	L’API non ha autenticazione: mai esporla su internet