La multimodalità

Un LLM classico è unimodale: entra testo, esce testo. Un modello multimodale gestisce più canali sensoriali insieme.

UNIMODALE      testo → [modello] → testo

MULTIMODALE    testo    ─┐
               immagine ─┼→ [modello] → testo / immagine / audio
               audio    ─┘

La differenza è quella fra un libro e una persona. Il libro contiene solo testo; una persona vede, sente, parla, e integra tutto insieme per capire cosa sta succedendo.

Come fa un modello a “vedere”

Il punto non è che il modello abbia occhi, ma che le immagini vengano tradotte nella stessa lingua del testo: i vettori.

Un componente chiamato vision encoder — di solito un Vision Transformer — spezza l’immagine in riquadri, li trasforma in una sequenza di embedding, e questa sequenza viene accodata a quella del testo. Da lì in poi il modello lavora come sempre: predice il token successivo, avendo davanti sia le parole sia i riquadri dell’immagine.

È qui che torna utile la lezione sugli embedding: se significati diversi possono vivere nello stesso spazio vettoriale, allora anche modalità diverse possono farlo.

I tre tipi che incontrerai

Modelli che vedono. Ricevono un’immagine e producono testo: descrizioni, risposte a domande sulla figura, lettura di grafici, trascrizione di testo scritto a mano. Sono diventati sorprendentemente bravi.

Modelli che generano immagini. Fanno il percorso inverso, dal testo ai pixel, e funzionano con architetture diverse (i modelli di diffusione), spesso affiancate al LLM invece che integrate.

Modelli che ascoltano e parlano. Trascrizione, comprensione del parlato, sintesi vocale. La generazione conversazionale in tempo reale è l’area che si sta muovendo più in fretta.

Cosa aspettarsi, realisticamente

Le capacità visive sono ottime per descrivere una scena, leggere un documento fotografato, spiegare un grafico. Sono ancora fragili quando serve precisione spaziale — contare oggetti, dire cosa sta esattamente a sinistra di cosa, leggere valori precisi da un grafico fitto.

C’è anche un costo che sorprende: un’immagine consuma molti token. A seconda della risoluzione può valere quanto diverse pagine di testo, e quindi mangia contesto in fretta.

In locale i modelli con visione richiedono più memoria dei corrispettivi solo testo, perché al modello linguistico si aggiunge l’encoder visivo.

Quanto costa un’immagine

Il conto che sorprende chi comincia: un’immagine non è gratis, e non costa poco. Viene convertita in una sequenza di vettori che occupano posti nella finestra di contesto esattamente come le parole.

Immagine piccola (512 × 512)      ~ centinaia di token
Immagine grande (2048 × 2048)     ~ migliaia di token
Pagina scansionata                spesso più del testo che contiene

Tre conseguenze pratiche: cinque foto ad alta risoluzione possono saturare una finestra prima ancora della domanda; ridimensionare prima di inviare è quasi sempre la mossa giusta, perché oltre una certa risoluzione il modello non guadagna nulla; e su servizi a consumo l’analisi di immagini costa molto più del testo equivalente.

Documenti e tabelle: dove funziona e dove no

L’uso più richiesto è leggere documenti. Vale la pena sapere prima dove sono affidabili.

Compito	Come va
Testo stampato pulito	Molto bene
Riassumere una pagina	Molto bene
Scrittura a mano	Discreto, dipende dalla grafia
Tabelle complesse	Fragile: salta righe, disallinea colonne
Testo su più colonne	Fragile: mescola l’ordine di lettura
Numeri letti da un grafico	Inaffidabile: stima, non legge

La regola che ne deriva: per capire un documento vanno benissimo; per estrarne dati esatti — importi, quantità, codici — serve una verifica.

E un consiglio che fa risparmiare tempo e denaro: per i PDF nativi la strada migliore spesso non è la vista. Estrarre il testo con uno strumento dedicato e passare quello al modello è più preciso, più economico e più veloce. La vista serve quando il testo non c’è: foto, scansioni, schermate.

In locale: quali modelli e quanta memoria

La domanda pratica che segue subito la teoria. Un modello che vede costa più del corrispettivo solo testo, perché al modello linguistico si aggiunge il componente che elabora le immagini.

Cosa vuoi fare	Serve
Descrivere immagini, leggere documenti fotografati	Un modello con vista da 7-11B
Trascrivere audio	Un modello di trascrizione dedicato, molto leggero
Generare immagini	Un modello di diffusione: strada separata, non un LLM
Parlato in tempo reale	Ancora acerbo in locale

Regola di massima per la memoria: un modello con vista occupa circa il 20-30% in più del corrispettivo solo testo della stessa taglia. Su una macchina da 16 GB significa restare sui modelli da 7-8 miliardi di parametri e non salire.

La trascrizione audio è il caso più felice: i modelli dedicati sono piccoli, veloci anche senza scheda grafica, e la qualità è ottima pure in italiano. È probabilmente il primo uso multimodale che vale la pena provare, perché il rapporto fra risultato e fatica è il migliore.

Cosa non aspettarsi ancora

Vale la pena essere espliciti, perché le dimostrazioni pubbliche mostrano sempre il caso migliore.

I modelli con vista non sostituiscono uno strumento di estrazione dati: leggono bene, ma su tabelle e numeri precisi vanno verificati. La generazione di immagini in locale è un mondo a parte, con strumenti propri e requisiti diversi. E il video è ancora fuori portata sul piano pratico: quello che si fa oggi è analizzare fotogrammi presi a intervalli, che è una cosa diversa dal capire un video.

In sintesi

Concetto	In una riga
Multimodale	Un solo modello per più tipi di dato
Vision encoder	Traduce l’immagine in embedding, la stessa lingua del testo
Punto forte	Descrivere, leggere documenti, spiegare figure
Punto debole	Precisione spaziale: contare, posizionare, leggere valori esatti
Costo nascosto	Un’immagine può valere migliaia di token di contesto
Costo in token	Un’immagine può valere pagine di testo: ridimensiona prima
Documenti	Ottimi per capire, fragili per estrarre dati esatti
In locale	Un modello con vista costa il 20-30% in più del solo testo
Il caso migliore	La trascrizione audio: modelli piccoli, veloci, ottima resa