Esiste un’illusione diffusa nel settore: un buon modello deve essere grande. Necessariamente grande. Dalle dimensioni di Claude 3.5 Sonnet in giù, la narrazione tecnica si fa sgradita, il ROI evapora, la qualità è compromessa… ma è una storia falsa. E la prova sta negli ultimi mesi di ricerca open-source: modelli come LFM2.5-2.6B di Liquid AI, o i vari Gemma e Llama ottimizzati per edge, hanno silenziosamente invertito la formula. Non gareggiando su ragionamento profondo o risposte “enciclopediche”, se la giocano dove erge il loro valore reale: latenza zero, privacy totale, costi marginali inesistenti, disponibilità 24/7 su un laptop o altro dispositivo consumer.
L’equazione semplice che nessuno voleva ammettere
Nei quattro decenni in cui ho osservato la tecnologia, ho visto cicli ricorrenti di overshooting. La maggior parte dei cicli segue lo stesso schema: capacità esorbitanti di calcolo vengono costruite per risolvere problemi che non esistono ancora, e il mercato impara a costruirli a posteriori.
Con i Large Language Model classici è accaduto esattamente questo. Abbiamo speso anni a ottimizzare inferenza su GPU per rispondere spesso a domande che nessuno si pone veramente nel quotidiano, per poi scoprire (troppo tardi, purtroppo) che il problema reale è completamente diverso.
Il problema reale, infatti, è: come faccio a far girare un agente intelligente sul mio laptop, sul telefono del mio cliente, su un robot o un altro dispositivo che non può mandare dati in cloud?
La risposta che emerge dai dati di benchmark del 2024–2025 è disarmante nella sua semplicità: un modello da 2–3 miliardi di parametri, addestrato con efficienza e lanciato su hardware consumer (le GPU NVIDIA RTX 4070 di quattro anni fa, i Mac M-series attuali, perfino processori mobili decenti), riesce a fare cose che i modelli di punta non potranno mai fare: girare sempre, gratis, senza Internet.
Dove questi modelli brillano davvero
1. Agenti personali e on-device: il caso d’uso fondamentale
Quando dico “agente”, intendo un sistema che legge file dal vostro file system, riassume documenti, esegue azioni (scrive note, sposta file, compila form), usa strumenti semplici — tutto senza mai mandare dati verso un server remoto.
LFM2.5-2.6B di Liquid AI, per esempio, è apparso in questi giorni ed è pensato esattamente per questo. Ma è solo un esempio, e lo spazio dei compiti agentici on-device è enorme.
Pensare a un assistente personale che:
- Legge le vostre mail offline, categorizza e riassume
- Integra il calendario locale per pianificazione autonoma dei tempi morti
- Gestisce liste di cose da fare, con decision-making multi-step
- Estrae informazioni dai documenti PDF della vostra cartella personale, senza farle passare per il cloud
Tutto questo a latenza inferiore al secondo su un MacBook M1 con 8GB di RAM o su uno smartphone abbastanza potente (Samsung insegna). E non teoricamente, ma praticamente.
2. Privacy e offline totale
Ogni richiesta che inviate a questo assistente rimane nel vostro computer o dispositivo. Niente tracciamento, niente backend che ricorda le conversazioni, nessun margine di violazione.
Questo non è un lusso, ma un un prerequisito legale in settori come la sanità (HIPAA), la consulenza legale (segreto professionale), la finanza personale (compliance). Più andiamo avanti e più i dati sensibili rappresentano il capitale più prezioso, e il fatto che un modello possa stare completamente offline è un vantaggio strategico che i fornitori su cloud non possono eguagliare.
Un modello da 2–3B gira in < 2,5 GB di memoria. Su dispositivi aziendali criptati, in uffici air-gapped, in ospedali e studi professionali dove il cloud è vietato dalla normativa: questi ambienti smettono di essere casi limite e diventano la normalità.
3. Applicazioni ad altissimo volume, sempre attive
Supponiamo che abbiate bisogno di monitorare qualcosa in continuazione. Non una volta, ma sempre, 24 ore al giorno, 7 giorni su 7, 365 giorni l’anno.
Con un modello cloud, questo costo diventa insostenibile. Un’azienda che faccia girare 100 agenti in parallelo per monitoraggio continuo, classificazione real-time o automazione di workflow, con modelli API tradizionali, vedrebbe i costi moltiplicarsi in modo lineare con il tempo.
Con un modello on-device, il costo marginale è quasi zero. La GPU rimane sempre accesa e routinaria. L’energia è l’unico vero costo operativo.
Casi concreti:
- Monitoraggio di anomalie in sistemi embedded
- Automazione di processi ripetitivi su flotte di dispositivi (telefoni aziendali, laptop, edge box)
- Sistemi IoT leggeri che devono sfruttare intelligenza locale senza latenza
- Agenti di produttività personale che girano sempre in background
4. Interfacce e tool a bassa latenza
I modelli piccoli hanno imparato, e sorprendentemente bene, il mestiere del “tool use”: prendere una richiesta, decidere quale strumento usare, passare i parametri corretti, interpretare il risultato.
Spesso superano modelli 3–4 volte più grandi su questi compiti specifici. La ragione potrebbe non apparire subito evidente, ma non è difficile intuirla: il tool use è un compito strutturato. Non richiede il 90% della “intelligenza generale” che un modello grande possiede. Richiede, piuttosto, coerenza nella sintassi, aderenza a schemi JSON, capacità di reasoning locale. Tutte cose dove i modelli piccoli, se addestrati bene, dominano.
Chatbot leggeri, classificatori di documenti, estrattori di informazioni strutturate, form filling automatico, istruzioni step-by-step generate su richiesta — sono tutti compiti dove un modello da 2–3B riesce a dare risultati professionali in 100–500ms, su hardware consumer, senza dipendenza dalla latenza di rete.
5. Robotica e “AI fisica” leggera
Un robot autonomo non può permettersi di spendere 500ms per fare una chiamata API e ottenere una risposta. La robotica richiede loop di control densi, decisioni rapide, ragionamento “embodied”.
I modelli piccoli qui brillano: un robot che deve muoversi, afferrare oggetti, interpretare comandi vocali semplici, pianificare sequenze di azioni a corto raggio… tutto questo gira localmente su un piccolo processore ARM con un modello da 2–3B, generando il controllo di alto livello in tempo reale.
La ricerca di questi mesi su “embodied AI” ha confermato che per la maggior parte dei compiti robotici il modello non ha bisogno di 70 miliardi di parametri, ma piuttosto ha bisogno di coerenza, affidabilità, velocità. Tutti attributi dove i modelli piccoli vincono.
6. Fine-tuning e specializzazione rapida su task di nicchia
Perché? Ma perché i modelli di punta, una volta ottimizzati per il vostro caso d’uso specifico, sono dei mattoni. Pesanti, lenti da adattare, costosi da mantenere in produzione.
Un modello da 2–3B si specializza su una singola GPU consumer (o anche su CPU) in ore. Potete insegnare a un LFM2.5-2.6B a parlare il gergo della vostra azienda, a comprendere i vostri workflow interni, a classificare documenti secondo i vostri criteri, in tempo reale. La curva di apprendimento è ripida, ma i costi di iterazione sono minimi.
Se la vostra azienda ha bisogno di un modello che capisca il dominio di specialità — legge, medicina, ingegneria del software — è più economico (e spesso più efficace) il fine-tuning di un modello piccolo che non cercate di forzare Claude o ChatGPT a comportarsi come un esperto del vostro settore.
Dove questi modelli non sono la soluzione giusta
Questa è la parte importante. La narrazione equilibrata richiede di ammettere chiaramente dove questi modelli invece falliscono.
Coding complesso e agenticità di lunga durata. Se avete un task che richiede di mantenere contesto profondo su 20,000 righe di codice, generare fix su di esso, e iterare per 8 ore di ragionamento, un modello da 2–3B non regge. La context window è limitata, la capacità di memoria implicita è scarsa.
Ragionamento matematico e scientifico profondo. La ricerca autonoma di frontiera, la dimostrazione di teoremi, la scoperta di pattern in dataset sconfinati — questi compiti richiedono il tipo di “generalità” che solo i modelli grandi possiedono.
Conoscenza enciclopedica vasta e aggiornata. Se la vostra applicazione richiede la conoscenza di ogni nuova scoperta scientifica dell’ultimo anno, o il prezzo attuale di un bene, un modello on-device soffrirà il peso della sua data di training.
Traduzioni naturali tra lingue complesse, con sfumature culturali. I modelli piccoli “si arrangiano”, ma non brillano.
In sintesi: il pezzo mancante dell’IA moderna
Negli ultimi tre anni, il discorso sull’IA è stato dominato da due figure: il modello gigante nel cloud (impressionante, potente, costoso, lento, dipendente dalla rete), e l’assenza di un’alternativa pratica.
I modelli da 2–3 miliardi di parametri, come LFM2.5-2.6B, così come altri modelli precedenti come quelli della serie Gemma e simili, rappresentano il pezzo che mancava. Sono il ponte tra il cervello centralizzato e le applicazioni reali che devono vivere sul dispositivo dell’utente.
Non, quindi, competitor dei grandi modelli per i compiti generalisti, bensì sostituti diretti su una famiglia di task completamente diversa, dove il valore non è nella conoscenza enciclopedica, bensì nella velocità, nella privacy, nella disponibilità, nel costo marginale prossimo a zero.
Se avete un problema che “vive” su un particolare dispositivo (agenti personali, automazione offline, robotica leggera, monitoraggio 24/7, specializzazione veloce) smettete di cercare il modello di punta del momento: state guardando nel posto sbagliato, mentre la soluzione è già qui, è piccola, e gira sul vostro laptop consumer.