Dimensione, quantizzazione, GPU, software C++ e modelli MoE — aggiornato a novembre 2026
In sintesi: L’intelligenza artificiale locale sta diventando sempre più accessibile grazie a tecniche che permettono di eseguire modelli linguistici avanzati direttamente sui computer personali, senza dipendere necessariamente dal cloud. La quantizzazione riduce la memoria necessaria per ospitare i modelli, mentre le architetture Mixture-of-Experts (MoE) attivano soltanto una parte dei parametri durante l’elaborazione, diminuendo il carico computazionale. Strumenti come Ollama, LM Studio e llama.cpp semplificano l’esecuzione dei modelli, mentre tecniche di offloading e streaming consentono di sfruttare RAM e SSD quando la memoria della GPU non è sufficiente, sebbene con possibili penalizzazioni delle prestazioni. Secondo la guida allegata, GPU con 8–12 GB di VRAM possono già gestire modelli compatti quantizzati, mentre configurazioni da 16–24 GB permettono di esplorare modelli più grandi e architetture MoE. Il risultato è una maggiore autonomia nell’uso dell’IA, con opportunità per privacy, personalizzazione e controllo dei costi, anche se le tecniche più avanzate restano sperimentali e la loro efficacia dipende dall’hardware e dal modello utilizzato.

1. Perché parlare di memoria e non solo di parametri
Negli ultimi anni l’AI “locale” (modelli open-weight che girano sul tuo computer senza inviare i dati nel cloud) sta trasformandosi sempre di più da hobby di nicchia a strumento quotidiano. Ollama, LM Studio, llama.cpp e simili hanno abbassato enormemente la barriera d’ingresso. Resta però una domanda che confonde ancora molti: “quanto è grande” un modello e quanta memoria serve davvero per poterlo utilizzare?
La risposta non è solo “più parametri = più VRAM”, ma dipende da tre fattori principali:
- dimensione del modello (numero di parametri)
- precisione / quantizzazione (quanto “comprimiamo” i pesi)
- contesto e overhead (KV cache + runtime)
Nota: se qualche termine ti suona nuovo, chiedi all’AI stessa di spiegartelo meglio, con esempi adatti al tuo livello di competenza. Intanto, eccoti un glossario davvero minimo; per la quantizzazione c’è un approfondimento nella sezione 3.
| Termine | Significato in breve |
| Parametri | Il numero di “manopole” interne del modello (B sta per billion, miliardi): ne indica la dimensione. |
| Pesi | I valori numerici dei parametri, appresi in addestramento: sono ciò che occupa spazio nel file del modello. |
| Quantizzazione | La “compressione” dei pesi con meno bit per valore, per ridurre la memoria (vedi sezione 3). |
| KV cache | La memoria di lavoro che tiene traccia del contesto della conversazione: cresce con la sua lunghezza. |
| Runtime | Il programma che carica ed esegue il modello sul tuo hardware (per esempio llama.cpp). |
2. La “regola empirica” del 2026
Nella quantizzazione Q4_K_M (la più usata per l’uso quotidiano) si consumano circa 0,55–0,65 GB di VRAM per miliardo di parametri soltanto per i pesi. A questo va aggiunto spazio per la KV cache (che cresce con la lunghezza del contesto) e un margine di sicurezza del 10-20 %.
Detto ciò, ecco una tabella di riferimento pratica (valori orientativi per modelli densi, contesto medio 8k–32k):
| Dimensione | FP16 / BF16 | Q8_0 | Q4_K_M | GPU tipica consigliata | Note |
| 1–4B | 2–8 GB | 1–4 GB | 0,8–3 GB | 8 GB (anche laptop) | Dispositivi leggeri |
| 7–9B | 14–18 GB | 7–9 GB | 4–6 GB | 8–12 GB | Sweet spot attuale |
| 12–14B | 24–28 GB | 12–15 GB | 7–9 GB | 12–16 GB | Buon compromesso |
| 27–35B (denso) | 54–70 GB | 27–35 GB | 16–22 GB | 24 GB (RTX 4090/5090) | Uso quotidiano serio |
| 30–40B MoE (3–4B attivi) | variabile | — | 18–25 GB | 24 GB | Solo esperti attivi |
| 70B | ~140 GB | ~70 GB | 40–45 GB | 48 GB o Mac 64 GB+ | Con offloading fattibile |
| 100B+ / grandi MoE | centinaia di GB | — | 50–100+ GB | Multi-GPU o streaming | Tecniche avanzate |
Fonti dei numeri: misurazioni reali su file GGUF 2026 (ModelFit, VRAMGlass, comunità llama.cpp). I valori esatti variano leggermente tra famiglie di modelli.
3. Cosa significa quantizzazione (e perché è rivoluzionaria)
La quantizzazione riduce il numero di bit usati per rappresentare ogni parametro:
- FP16: 16 bit → massima qualità, massimo consumo
- Q8: ~8 bit → quasi identico a FP16, dimezza la memoria
- Q5 / Q4: 4–5 bit → il compromesso migliore oggi (perdita di qualità spesso impercettibile per uso generale)
- Q3 / IQ2 / 2-bit: ancora più leggeri, ma con degrado più evidente
Grazie alla quantizzazione, un modello da 70B che in FP16 richiederebbe due GPU da 80 GB diventa gestibile su una singola scheda da 48 GB o su un Mac con una buona quantità di “memoria unificata” (la generazione “silicon” dei Mac da M1 in poi può utilizzare la RAM con l’AI locale senza bisogno di una GPU dedicata: la GPU è integrata e usa la stessa RAM).
4. I modelli Mixture-of-Experts (MoE): perché cambiano le regole
I modelli Mixture-of-Experts (MoE) rappresentano una delle innovazioni più importanti degli ultimi anni. Invece di attivare tutti i parametri per ogni token generato, un MoE contiene molti “esperti” (reti neurali specializzate) e un router che sceglie solo i più rilevanti per ogni token.
Esempio concreto: un modello dichiarato da 35 miliardi di parametri totali può attivare solo 3–4 miliardi di parametri per token. Questo cambia radicalmente il calcolo della memoria e della velocità.
Vantaggi principali dei MoE
- Memoria effettiva più bassa: solo gli esperti attivi devono stare in VRAM (o possono essere offloaded selettivamente).
- Velocità di generazione più alta: meno calcoli per token rispetto a un modello denso della stessa qualità.
- Capacità di scala: si possono costruire modelli con centinaia di miliardi di parametri totali mantenendo costi di inferenza ragionevoli.
- Offloading intelligente: è possibile lasciare gli esperti meno usati in RAM di sistema o addirittura su SSD, mantenendo in GPU solo le parti “calde” (attenzione, embedding, router e cache).
Nel 2026 molti dei modelli open-weight più interessanti (Qwen, DeepSeek, Mistral Large 4, varianti di GLM e altri) adottano architetture MoE o ibride. Per l’utente finale questo significa poter far girare modelli molto più capaci su hardware consumer di quanto i soli numeri “totali” suggerirebbero.
5. Software di inferenza in C++: il cuore tecnico dell’AI locale
Dietro quasi tutti gli strumenti “facili” (Ollama, LM Studio, Open WebUI, ecc.) c’è un motore di inferenza scritto in C/C++. Capire questi motori aiuta a sfruttare al massimo l’hardware e le tecniche avanzate.
llama.cpp — il punto di riferimento
llama.cpp è il progetto open-source (MIT) che ha reso possibile l’AI locale moderna. Nato per far girare i modelli Llama su CPU, oggi supporta:
- Backend multipli: CUDA (NVIDIA), Metal (Apple), Vulkan, ROCm (AMD), e CPU pure.
- Formato GGUF (quantizzazioni altamente ottimizzate)
- Offloading selettivo di layer e, soprattutto, di esperti MoE (flag –n-cpu-moe).
- Cache degli esperti su GPU e tecniche sperimentali di streaming da SSD.
- Speculative decoding, quantizzazione della KV cache e molte altre ottimizzazioni.
È il “motore” sotto Ollama e sotto molte altre interfacce dello stesso tipo. Usarlo direttamente (via CLI o server) dà il massimo controllo sulle feature sperimentali che spesso arrivano settimane o mesi prima nei wrapper.
Altri motori e runtime rilevanti
- MLX (Apple): framework ottimizzato per Apple Silicon; eccellente sulle macchine Mac con memoria unificata
- vLLM e SGLang: più orientati al serving ad alta throughput (molti utenti contemporanei), con supporto crescente anche per setup locali potenziati
- Ollama: wrapper comodo su llama.cpp, con gestione modelli e API OpenAI-compatible
- LM Studio: interfaccia grafica ricca, supporto buono per offloading MoE e gestione locale dei GGUF
6. Oltre la quantizzazione: streaming e offloading (2026)
Se il modello “non ci sta tutto” in VRAM, oggi non è più una tragedia. Le tecniche più interessanti del momento per aggirare il problema sono:
- Offloading selettivo degli esperti (MoE): llama.cpp permette di lasciare gli esperti in RAM di sistema mantenendo in VRAM solo attenzione, embedding e cache. Si possono far girare modelli da 35B su schede da 8–16 GB con velocità ancora accettabili.
- Streaming deterministico di layer/expert da SSD: proposte recenti in llama.cpp (FLOW-Direct e varianti expert-aware) permettono di tenere in RAM solo 2–3,5 GB fissi e di caricare i layer o gli esperti attivi da NVMe in modo deterministico. Si parla di far girare modelli da 70B o anche 141B MoE su macchine con 16 GB di RAM senza OOM.
- Expert cache su GPU: per MoE grandi si tiene in VRAM una cache degli esperti più usati, riducendo drasticamente i trasferimenti.
- Speculative decoding + quantizzazione della KV cache: si abbina un modello piccolo “draft” a quello grande e si quantizza anche la cache (Q8 o inferiore), liberando ulteriore memoria.
7. Consigli pratici per iniziare
- 8–12 GB VRAM: parti da modelli 7–9B quantizzati Q4/Q5 (Gemma, Qwen, Phi, Mistral piccoli). Sono già molto capaci.
- 16–24 GB: puoi salire a 14–32B o a MoE con 3–4B attivi. È il range più versatile nel 2026.
- Mac con memoria unificata: spesso più generosi dei PC consumer perché la RAM è condivisa.
- Controlla sempre la dimensione reale del file GGUF (non solo i parametri nominali) e lascia margine per il contesto.
- Strumenti consigliati: Ollama (semplicità), LM Studio (interfaccia comoda), llama.cpp diretto (massimo controllo e feature sperimentali).
8. Ma quando sono davvero “potenti” i modelli locali?
La dimensione conta, ma meno di quanto si pensi: un modello piccolo e ben scelto svolge benissimo compiti “circoscritti”, mentre il ragionamento complesso e la conoscenza vasta richiedono modelli più grandi. La tabella che segue va interpretata come una guida di massima, non come una forma di “misurazione”: la qualità ,infatti, varia molto tra “famiglie” di modelli e versioni.
| Dimensione | Cosa fa bene | Dove mostra i limiti |
| 1–4B | Riassunti brevi, correzione e riformulazione di testi, classificazione, estrazione di dati, risposte semplici; gira anche su laptop e telefoni | Ragionamento articolato, testi lunghi coerenti, conoscenza di nicchia; sbaglia più spesso i fatti |
| 7–9B | Assistente quotidiano: scrittura, traduzione, riassunti, domande e risposte su propri documenti (RAG), codice semplice | Problemi multi-passaggio, codice complesso, lingue meno diffuse |
| 12–14B | Scrittura più curata, analisi di documenti, programmazione di media difficoltà, istruzioni complesse seguite con più affidabilità | Ragionamento molto lungo, conoscenza enciclopedica |
| 27–35B (anche MoE) | Uso professionale serio: ragionamento, codice, analisi e sintesi di testi lunghi, agenti con strumenti | Resta sotto i modelli cloud più grandi sui compiti più difficili |
| 70B e oltre | Qualità vicina ai modelli cloud di fascia alta su molti compiti: ragionamento, codice, scrittura professionale | Richiede hardware costoso o offloading, con velocità minore |
In pratica: per riassumere, riscrivere o interrogare i tuoi documenti spesso basta un 7–9B. Sali di dimensione solo quando noti errori di ragionamento o di precisione che per il tuo compito non sono tollerabili, e naturalmente verifica sempre i fatti importanti.
Conclusione
L’era dell’equazione “modello grande = solo cloud” sta tramontando. Con quantizzazione intelligente, architetture MoE e le nuove tecniche di streaming/offloading basate su motori C++ maturi come llama.cpp, anche un hardware consumer di fascia media riesce a far girare modelli che fino a poco tempo fa erano esclusiva dei data center.
Il consiglio finale è semplice: parti in piccolo, misura la VRAM reale del tuo setup, sperimenta con quantizzazioni e offloading MoE, e “scala” solo quando senti di averne bisogno. La qualità percepita di un buon 9–14B quantizzato bene supera spesso quella di un 70B mal configurato. Nella scelta dell’hardware, non trascurare il ricondizionato e soprattutto ricorda che non sempre puoi fare un “upgrade” successivo, quindi valuta bene la tua scelta iniziale.
Nota:i valori di memoria sono orientativi e basati su misurazioni della comunità e di strumenti specializzati aggiornati a novembre 2026. Controlla sempre le dimensioni reali dei file GGUF e le note di rilascio dei singoli modelli.
Nota tecnica: il documento presenta una distinzione importante da mantenere: nei modelli MoE avere pochi parametri attivi per token non significa che tutti gli altri parametri possano essere esclusi dalla memoria senza conseguenze. Offloading e caching possono ridurre i requisiti di VRAM, ma possono aumentare la latenza. Inoltre, le soluzioni sperimentali di streaming da SSD citate nella guida non vanno considerate equivalenti a funzionalità consolidate e universalmente disponibili.










