Tag: Hardware

  • Guida pratica: quanto “pesa” davvero un modello di AI locale

    Guida pratica: quanto “pesa” davvero un modello di AI locale

    Dimensione, quantizzazione, GPU, software C++ e modelli MoE — aggiornato a novembre 2026

    In sintesi: L’intelligenza artificiale locale sta diventando sempre più accessibile grazie a tecniche che permettono di eseguire modelli linguistici avanzati direttamente sui computer personali, senza dipendere necessariamente dal cloud. La quantizzazione riduce la memoria necessaria per ospitare i modelli, mentre le architetture Mixture-of-Experts (MoE) attivano soltanto una parte dei parametri durante l’elaborazione, diminuendo il carico computazionale. Strumenti come Ollama, LM Studio e llama.cpp semplificano l’esecuzione dei modelli, mentre tecniche di offloading e streaming consentono di sfruttare RAM e SSD quando la memoria della GPU non è sufficiente, sebbene con possibili penalizzazioni delle prestazioni. Secondo la guida allegata, GPU con 8–12 GB di VRAM possono già gestire modelli compatti quantizzati, mentre configurazioni da 16–24 GB permettono di esplorare modelli più grandi e architetture MoE. Il risultato è una maggiore autonomia nell’uso dell’IA, con opportunità per privacy, personalizzazione e controllo dei costi, anche se le tecniche più avanzate restano sperimentali e la loro efficacia dipende dall’hardware e dal modello utilizzato.

    Se vuoi avvicinarti in modo “indolore” all’AI locale dai un’occhiata al mio nuovo libro “AI in locale for Dummies“, dove troverai un percorso graduale all’argomento con un taglio estremamente pratico.

    1. Perché parlare di memoria e non solo di parametri

    Negli ultimi anni l’AI “locale” (modelli open-weight che girano sul tuo computer senza inviare i dati nel cloud) sta trasformandosi sempre di più da hobby di nicchia a strumento quotidiano. Ollama, LM Studio, llama.cpp e simili hanno abbassato enormemente la barriera d’ingresso. Resta però una domanda che confonde ancora molti: “quanto è grande” un modello e quanta memoria serve davvero per poterlo utilizzare?

    La risposta non è solo “più parametri = più VRAM”, ma dipende da tre fattori principali:

    1. dimensione del modello (numero di parametri)
    2. precisione / quantizzazione (quanto “comprimiamo” i pesi)
    3. contesto e overhead (KV cache + runtime)

    Nota: se qualche termine ti suona nuovo, chiedi all’AI stessa di spiegartelo meglio, con esempi adatti al tuo livello di competenza. Intanto, eccoti un glossario davvero minimo; per la quantizzazione c’è un approfondimento nella sezione 3.

    TermineSignificato in breve
    ParametriIl numero di “manopole” interne del modello (B sta per billion, miliardi): ne indica la dimensione.
    PesiI valori numerici dei parametri, appresi in addestramento: sono ciò che occupa spazio nel file del modello.
    QuantizzazioneLa “compressione” dei pesi con meno bit per valore, per ridurre la memoria (vedi sezione 3).
    KV cacheLa memoria di lavoro che tiene traccia del contesto della conversazione: cresce con la sua lunghezza.
    RuntimeIl programma che carica ed esegue il modello sul tuo hardware (per esempio llama.cpp).

    2. La “regola empirica” del 2026

    Nella quantizzazione Q4_K_M (la più usata per l’uso quotidiano) si consumano circa 0,55–0,65 GB di VRAM per miliardo di parametri soltanto per i pesi. A questo va aggiunto spazio per la KV cache (che cresce con la lunghezza del contesto) e un margine di sicurezza del 10-20 %.

    Detto ciò, ecco una tabella di riferimento pratica (valori orientativi per modelli densi, contesto medio 8k–32k):

    DimensioneFP16 / BF16Q8_0Q4_K_MGPU tipica consigliataNote
    1–4B2–8 GB1–4 GB0,8–3 GB8 GB (anche laptop)Dispositivi leggeri
    7–9B14–18 GB7–9 GB4–6 GB8–12 GBSweet spot attuale
    12–14B24–28 GB12–15 GB7–9 GB12–16 GBBuon compromesso
    27–35B (denso)54–70 GB27–35 GB16–22 GB24 GB (RTX 4090/5090)Uso quotidiano serio
    30–40B MoE (3–4B attivi)variabile—18–25 GB24 GBSolo esperti attivi
    70B~140 GB~70 GB40–45 GB48 GB o Mac 64 GB+Con offloading fattibile
    100B+ / grandi MoEcentinaia di GB—50–100+ GBMulti-GPU o streamingTecniche avanzate

    Fonti dei numeri: misurazioni reali su file GGUF 2026 (ModelFit, VRAMGlass, comunità llama.cpp). I valori esatti variano leggermente tra famiglie di modelli.

    3. Cosa significa quantizzazione (e perché è rivoluzionaria)

    La quantizzazione riduce il numero di bit usati per rappresentare ogni parametro:

    • FP16: 16 bit → massima qualità, massimo consumo
    • Q8: ~8 bit → quasi identico a FP16, dimezza la memoria
    • Q5 / Q4: 4–5 bit → il compromesso migliore oggi (perdita di qualità spesso impercettibile per uso generale)
    • Q3 / IQ2 / 2-bit: ancora più leggeri, ma con degrado più evidente

    Grazie alla quantizzazione, un modello da 70B che in FP16 richiederebbe due GPU da 80 GB diventa gestibile su una singola scheda da 48 GB o su un Mac con una buona quantità di “memoria unificata” (la generazione “silicon” dei Mac da M1 in poi può utilizzare la RAM con l’AI locale senza bisogno di una GPU dedicata: la GPU è integrata e usa la stessa RAM).

    4. I modelli Mixture-of-Experts (MoE): perché cambiano le regole

    I modelli Mixture-of-Experts (MoE) rappresentano una delle innovazioni più importanti degli ultimi anni. Invece di attivare tutti i parametri per ogni token generato, un MoE contiene molti “esperti” (reti neurali specializzate) e un router che sceglie solo i più rilevanti per ogni token.

    Esempio concreto: un modello dichiarato da 35 miliardi di parametri totali può attivare solo 3–4 miliardi di parametri per token. Questo cambia radicalmente il calcolo della memoria e della velocità.

    Vantaggi principali dei MoE

    • Memoria effettiva più bassa: solo gli esperti attivi devono stare in VRAM (o possono essere offloaded selettivamente).
    • Velocità di generazione più alta: meno calcoli per token rispetto a un modello denso della stessa qualità.
    • Capacità di scala: si possono costruire modelli con centinaia di miliardi di parametri totali mantenendo costi di inferenza ragionevoli.
    • Offloading intelligente: è possibile lasciare gli esperti meno usati in RAM di sistema o addirittura su SSD, mantenendo in GPU solo le parti “calde” (attenzione, embedding, router e cache).

    Nel 2026 molti dei modelli open-weight più interessanti (Qwen, DeepSeek, Mistral Large 4, varianti di GLM e altri) adottano architetture MoE o ibride. Per l’utente finale questo significa poter far girare modelli molto più capaci su hardware consumer di quanto i soli numeri “totali” suggerirebbero.

    5. Software di inferenza in C++: il cuore tecnico dell’AI locale

    Dietro quasi tutti gli strumenti “facili” (Ollama, LM Studio, Open WebUI, ecc.) c’è un motore di inferenza scritto in C/C++. Capire questi motori aiuta a sfruttare al massimo l’hardware e le tecniche avanzate.

    llama.cpp — il punto di riferimento

    llama.cpp è il progetto open-source (MIT) che ha reso possibile l’AI locale moderna. Nato per far girare i modelli Llama su CPU, oggi supporta:

    • Backend multipli: CUDA (NVIDIA), Metal (Apple), Vulkan, ROCm (AMD), e CPU pure.
    • Formato GGUF (quantizzazioni altamente ottimizzate)
    • Offloading selettivo di layer e, soprattutto, di esperti MoE (flag –n-cpu-moe).
    • Cache degli esperti su GPU e tecniche sperimentali di streaming da SSD.
    • Speculative decoding, quantizzazione della KV cache e molte altre ottimizzazioni.

    È il “motore” sotto Ollama e sotto molte altre interfacce dello stesso tipo. Usarlo direttamente (via CLI o server) dà il massimo controllo sulle feature sperimentali che spesso arrivano settimane o mesi prima nei wrapper.

    Altri motori e runtime rilevanti

    • MLX (Apple): framework ottimizzato per Apple Silicon; eccellente sulle macchine Mac con memoria unificata
    • vLLM e SGLang: più orientati al serving ad alta throughput (molti utenti contemporanei), con supporto crescente anche per setup locali potenziati
    • Ollama: wrapper comodo su llama.cpp, con gestione modelli e API OpenAI-compatible
    • LM Studio: interfaccia grafica ricca, supporto buono per offloading MoE e gestione locale dei GGUF

    6. Oltre la quantizzazione: streaming e offloading (2026)

    Se il modello “non ci sta tutto” in VRAM, oggi non è più una tragedia. Le tecniche più interessanti del momento per aggirare il problema sono:

    • Offloading selettivo degli esperti (MoE): llama.cpp permette di lasciare gli esperti in RAM di sistema mantenendo in VRAM solo attenzione, embedding e cache. Si possono far girare modelli da 35B su schede da 8–16 GB con velocità ancora accettabili.
    • Streaming deterministico di layer/expert da SSD: proposte recenti in llama.cpp (FLOW-Direct e varianti expert-aware) permettono di tenere in RAM solo 2–3,5 GB fissi e di caricare i layer o gli esperti attivi da NVMe in modo deterministico. Si parla di far girare modelli da 70B o anche 141B MoE su macchine con 16 GB di RAM senza OOM.
    • Expert cache su GPU: per MoE grandi si tiene in VRAM una cache degli esperti più usati, riducendo drasticamente i trasferimenti.
    • Speculative decoding + quantizzazione della KV cache: si abbina un modello piccolo “draft” a quello grande e si quantizza anche la cache (Q8 o inferiore), liberando ulteriore memoria.

    7. Consigli pratici per iniziare

    • 8–12 GB VRAM: parti da modelli 7–9B quantizzati Q4/Q5 (Gemma, Qwen, Phi, Mistral piccoli). Sono già molto capaci.
    • 16–24 GB: puoi salire a 14–32B o a MoE con 3–4B attivi. È il range più versatile nel 2026.
    • Mac con memoria unificata: spesso più generosi dei PC consumer perché la RAM è condivisa.
    • Controlla sempre la dimensione reale del file GGUF (non solo i parametri nominali) e lascia margine per il contesto.
    • Strumenti consigliati: Ollama (semplicità), LM Studio (interfaccia comoda), llama.cpp diretto (massimo controllo e feature sperimentali).

    8. Ma quando sono davvero “potenti” i modelli locali?

    La dimensione conta, ma meno di quanto si pensi: un modello piccolo e ben scelto svolge benissimo compiti “circoscritti”, mentre il ragionamento complesso e la conoscenza vasta richiedono modelli più grandi. La tabella che segue va interpretata come una guida di massima, non come una forma di “misurazione”: la qualità ,infatti, varia molto tra “famiglie” di modelli e versioni.

    DimensioneCosa fa beneDove mostra i limiti
    1–4BRiassunti brevi, correzione e riformulazione di testi, classificazione, estrazione di dati, risposte semplici; gira anche su laptop e telefoniRagionamento articolato, testi lunghi coerenti, conoscenza di nicchia; sbaglia più spesso i fatti
    7–9BAssistente quotidiano: scrittura, traduzione, riassunti, domande e risposte su propri documenti (RAG), codice sempliceProblemi multi-passaggio, codice complesso, lingue meno diffuse
    12–14BScrittura più curata, analisi di documenti, programmazione di media difficoltà, istruzioni complesse seguite con più affidabilitàRagionamento molto lungo, conoscenza enciclopedica
    27–35B (anche MoE)Uso professionale serio: ragionamento, codice, analisi e sintesi di testi lunghi, agenti con strumentiResta sotto i modelli cloud più grandi sui compiti più difficili
    70B e oltreQualità vicina ai modelli cloud di fascia alta su molti compiti: ragionamento, codice, scrittura professionaleRichiede hardware costoso o offloading, con velocità minore

    In pratica: per riassumere, riscrivere o interrogare i tuoi documenti spesso basta un 7–9B. Sali di dimensione solo quando noti errori di ragionamento o di precisione che per il tuo compito non sono tollerabili, e naturalmente verifica sempre i fatti importanti.

    Conclusione

    L’era dell’equazione “modello grande = solo cloud” sta tramontando. Con quantizzazione intelligente, architetture MoE e le nuove tecniche di streaming/offloading basate su motori C++ maturi come llama.cpp, anche un hardware consumer di fascia media riesce a far girare modelli che fino a poco tempo fa erano esclusiva dei data center.

    Il consiglio finale è semplice: parti in piccolo, misura la VRAM reale del tuo setup, sperimenta con quantizzazioni e offloading MoE, e “scala” solo quando senti di averne bisogno. La qualità percepita di un buon 9–14B quantizzato bene supera spesso quella di un 70B mal configurato. Nella scelta dell’hardware, non trascurare il ricondizionato e soprattutto ricorda che non sempre puoi fare un “upgrade” successivo, quindi valuta bene la tua scelta iniziale.

    Nota:i valori di memoria sono orientativi e basati su misurazioni della comunità e di strumenti specializzati aggiornati a novembre 2026. Controlla sempre le dimensioni reali dei file GGUF e le note di rilascio dei singoli modelli.

    Nota tecnica: il documento presenta una distinzione importante da mantenere: nei modelli MoE avere pochi parametri attivi per token non significa che tutti gli altri parametri possano essere esclusi dalla memoria senza conseguenze. Offloading e caching possono ridurre i requisiti di VRAM, ma possono aumentare la latenza. Inoltre, le soluzioni sperimentali di streaming da SSD citate nella guida non vanno considerate equivalenti a funzionalità consolidate e universalmente disponibili.

  • NVIDIA porta l’AI locale dai PC ai cluster professionali

    NVIDIA porta l’AI locale dai PC ai cluster professionali

    Alla GTC di Berlino, NVIDIA ha annunciato aggiornamenti per RTX Spark, DGX Spark e DGX Station con l’obiettivo di estendere l’intelligenza artificiale locale dai computer personali alle infrastrutture aziendali.

    Tra le novità spicca Underdog Desktop Agent, un’app che esegue modelli AI direttamente sul dispositivo, consentendo agli agenti personali di operare senza trasferire i dati dell’utente fuori dal PC.

    Per gli sviluppatori arriva Recursive Flint, un modello open-weight da 40 miliardi di parametri dedicato al coding locale, mentre DGX Spark può essere configurato in cluster fino a otto sistemi, con complessivamente 1 TB di memoria unificata. NVIDIA amplia inoltre le integrazioni per la gestione IT aziendale e introduce nuovi workflow open source dedicati alla robotica, alla simulazione e alla generazione di dati sintetici.

    La strategia punta a rendere l’AI locale più privata, flessibile e integrabile nei processi professionali, riducendo in determinati scenari la dipendenza dal cloud e avvicinando l’elaborazione avanzata ai dati e alle applicazioni.

    Fonte:

    NVIDIA spinge l’AI locale: agenti privati sui PC, nuovi modelli e DGX Spark fino a otto sistemi

    Se vuoi cominciare a usare l’AI locale o esplorare semplicemente questo nuovo e interessante ambito, trovi in tutte le librerie (fisiche e online) il mio nuovo libro “AI locale for Dummies”.

  • OpenAI e lo “spionaggio industriale” con un dispositivo da 14 dollari e l’IA (usata sia per il crimine che per le indagini)

    OpenAI e lo “spionaggio industriale” con un dispositivo da 14 dollari e l’IA (usata sia per il crimine che per le indagini)

    Un ingegnere arrestato dall’FBI, una scheda elettronica grande quanto un pollice e chatbot IA utilizzati per progettare un dispositivo di ascolto clandestino e pianificare il crimine. Il caso OpenAI mostra come hardware economico e intelligenza artificiale possano trasformarsi in strumenti di sorveglianza ma anche di indagine.

    Una delle aziende tecnologiche più avanzate al mondo potrebbe essere stata spiata attraverso un dispositivo elettronico acquistabile per meno di 14 dollari, nascosto dietro un televisore e “camuffato” con un po’ di carta igienica.

    È questo il particolare più sorprendente dell’indagine che ha portato all’arresto di Abdulrahman Alfozan, 35 anni, cittadino saudita e ingegnere di OpenAI dal luglio 2025.

    L’FBI lo ha arrestato il 9 ottobre 2026, con l’accusa di avere appunto installato un dispositivo di registrazione audio “clandestino” in una sala riunioni riservata ai dirigenti dell’azienda, nel “quartier generale” di San Francisco. La vicenda è stata resa pubblica dal Dipartimento di Giustizia statunitense il 13 ottobre.

    Ma la storia non riguarda soltanto un presunto tentativo di spionaggio industriale, infatti coinvolge anche un aspetto particolarmente significativo: i chatbot sarebbero stati utilizzati per raccogliere informazioni, progettare il dispositivo e configurarne alcune funzionalità.

    Una microspia sofisticata costruita con hardware economico

    Il 30 settembre, durante un controllo di sicurezza, il personale di OpenAI ha scoperto un dispositivo collegato alla porta USB di un televisore nella sala conferenze riservata ai dirigenti.

    Era, inoltre, stato nascosto usando della carta igienica, apparentemente per renderlo meno riconoscibile.

    Secondo un’analisi delle immagini diffuse dalle autorità americane, pubblicata da Gizmodo e ripresa da Repubblica, il dispositivo sarebbe basato su una scheda elettronica Seeed Studio XIAO ESP32-S3 Sense (vedi link a Gizmodo a fine articolo).

    Una piccola scheda programmabile

    Progettata per prototipi elettronici, integra un microfono, supporta una fotocamera rimovibile, la memoria microSD e la connettività Wi-Fi e Bluetooth. Il prezzo indicato da Gizmodo è di 13,99 dollari.

    Non si tratta, quindi, di una tecnologia segreta o particolarmente esotica, ma bensì di un componente accessibile a sviluppatori, studenti e appassionati di elettronica. La sofisticazione, in questo caso, più che nell’hardware starebbe nel software e nelle eventuali modifiche apportate.

    OpenAI ha, non a caso, descritto il dispositivo come dotato di funzionalità di registrazione e crittografia, con capacità di trasferimento dei dati concepite per eludere i controlli.

    Naturalmente, i 13,99 dollari rappresentano il prezzo della scheda commerciale identificata dai giornalisti, non il costo accertato dell’intero sistema.

    La lezione tecnologica è comunque significativa: l’accessibilità dell’hardware può ridurre drasticamente la barriera economica, mentre il software può aumentarne le capacità.

    Il ruolo dei chatbot: dalla ricognizione alla progettazione

    Le indagini hanno fatto poi emergere un elemento ancora più interessante.

    Secondo i documenti giudiziari, prima dell’installazione del dispositivo Alfozan avrebbe utilizzato uno strumento di produttività per ottenere informazioni sugli edifici di OpenAI, sulla disposizione delle sale, sui calendari delle riunioni e sui luoghi frequentati dai dirigenti.

    In parallelo, un account chatbot associato alla moglie dell’ingegnere, che condivideva alcuni identificativi tecnici con il suo, avrebbe effettuato numerose richieste tra il 24 e il 30 settembre.

    Gli argomenti comprendevano:

    • La costruzione di un registratore audio capace di funzionare continuativamente.
    • La configurazione della connettività Wi-Fi.
    • Il miglioramento delle funzionalità di ascolto a distanza.
    • La crittografia dei dati memorizzati su scheda SD.
    • L’occultamento e l’accesso remoto al dispositivo.

    Alcune interrogazioni contenevano anche identificativi tecnici corrispondenti al dispositivo effettivamente ritrovato, tra cui un indirizzo MAC. Gli atti, tuttavia, non stabiliscono chi abbia materialmente digitato ogni richiesta.

    Non sappiamo fino a che punto l’IA abbia contribuito concretamente alla realizzazione del registratore, né se abbia generato codice poi effettivamente utilizzato.

    Ma il quadro suggerisce un fenomeno già riconoscibile: i chatbot possono assistere non soltanto nella scrittura di software, ma anche nell’integrazione tra componenti elettronici, reti e sistemi fisici.

    Una capacità perfettamente legittima quando viene utilizzata per progetti didattici o applicazioni industriali, che può però essere sfruttata anche per finalità illecite.

    La scoperta e le prove raccolte

    La ricostruzione degli investigatori contiene ulteriori elementi.

    Le registrazioni delle telecamere interne mostrerebbero Alfozan nei pressi della sala riunioni in diverse occasioni, nonostante non fosse autorizzato a partecipare agli incontri riservati.

    Il dispositivo sarebbe stato installato intorno al 28 settembre.

    Il 5 ottobre, dopo la scoperta della microspia, le telecamere avrebbero ripreso l’ingegnere mentre entrava nella sala e osservava la parte posteriore del televisore.

    Nella stessa giornata, gli addetti alla sicurezza hanno trovato un secondo dispositivo di registrazione, simile al primo, all’interno di una borsa lasciata incustodita, insieme ai documenti personali dell’indagato.

    La stanza presa di mira ospitava frequentemente riunioni riguardanti ricerca proprietaria, programmi di sviluppo, strategie commerciali, rapporti governativi e decisioni tecnologiche riservate.

    L’IA utilizzata anche per individuare il presunto responsabile

    La vicenda presenta un ulteriore paradosso.

    Secondo quanto dichiarato da OpenAI alla stampa, l’azienda avrebbe utilizzato i propri modelli di intelligenza artificiale per contribuire all’analisi del dispositivo e dei dati forensi, aiutando gli investigatori a ricostruire quanto accaduto.

    In sostanza, strumenti della stessa famiglia tecnologica sarebbero comparsi su entrambi i fronti: nella presunta preparazione dell’operazione e nelle attività investigative successive.

    Questo non significa che un modello abbia autonomamente scoperto una microspia o identificato un colpevole.

    Significa che le capacità di analisi, programmazione e correlazione delle informazioni offerte dai sistemi di IA possono diventare strumenti utilizzabili sia da chi tenta di aggirare le misure di sicurezza sia da chi cerca di individuare e contrastare queste attività.

    Il modello non ha un’intenzione propria in nessuno dei due casi. Sono gli esseri umani, attraverso istruzioni, strumenti e accessi, a determinare l’impiego delle sue capacità.

    Sono stati rubati i segreti di OpenAI?

    Al momento non è possibile stabilirlo.

    OpenAI ha dichiarato di non aver rilevato indicazioni di accesso improprio o trasferimento all’esterno dei pesi dei modelli, del codice sorgente o dei dati dei clienti.

    Questo non dimostra però che nessuna conversazione sia stata registrata.

    Le indagini devono ancora chiarire quali contenuti siano stati eventualmente acquisiti, se siano stati ascoltati o trasmessi e a chi potessero essere destinati.

    Anche le motivazioni del presunto tentativo di intercettazione rimangono sconosciute. La cittadinanza saudita dell’indagato non costituisce una prova di coinvolgimento del governo dell’Arabia Saudita.

    Per il momento, l’accusa riguarda l’utilizzo o il tentativo di utilizzo di un dispositivo per intercettare illegalmente comunicazioni orali.

    Alfozan rischia, in caso di condanna, fino a cinque anni di reclusione e una multa di 250.000 dollari. La prossima udienza è prevista per il 19 ottobre 2026. Rimane presunto innocente fino a prova contraria.

    Il problema non è la microspia da 14 dollari

    La parte più importante di questa storia non riguarda il prezzo dell’apparecchio.

    Riguarda la combinazione di tre fattori: componenti elettronici economici, conoscenze tecniche sempre più accessibili e sistemi di IA capaci di assistere nella progettazione e risoluzione dei problemi.

    Questa combinazione può abbassare le barriere per costruire dispositivi personalizzati, anche da parte di persone che non possiedono tutte le competenze tradizionalmente necessarie.

    Il caso OpenAI solleva inoltre un problema più generale: la sicurezza delle aziende che sviluppano IA non è soltanto una questione informatica.

    Non basta proteggere repository, API, credenziali e pesi dei modelli, se informazioni strategiche possono essere esposte attraverso dispositivi fisici collocati negli ambienti di lavoro.

    E non basta progettare modelli sicuri, se gli strumenti a cui vengono collegati possono fornire informazioni organizzative riservate o consentire operazioni non adeguatamente controllate.

    Il vero perimetro di sicurezza, dunque, comprende ormai persone, ambienti fisici, hardware, software, modelli e autorizzazioni.

    La vicenda ricorda un principio tanto semplice quanto scomodo: l’IA non rende automaticamente più sicuri o più pericolosi i sistemi. Amplifica le possibilità offerte dall’ambiente in cui viene utilizzata, tanto da chi vuole proteggerlo quanto da chi cerca di comprometterlo.

    E talvolta, per mettere alla prova la sicurezza di un laboratorio miliardario, potrebbe bastare un componente elettronico che costa meno di una pizza.


    Fonti

  • Nvidia porta la sicurezza degli agenti AI dal software fino ai chip

    Nvidia porta la sicurezza degli agenti AI dal software fino ai chip

    Nvidia vuole mettere un freno d’emergenza agli agenti AI: controlli software, permessi minimi e un sistema hardware capace di bloccare comportamenti anomali.

    Nvidia ha presentato Open Agent Safety Platform, un’architettura pensata per limitare le azioni degli agenti di intelligenza artificiale e mantenere il controllo umano anche quando operano autonomamente.

    Il sistema combina OpenShell, che applica permessi minimi e regole operative rigide a livello software, con Sentry, un meccanismo integrato nell’hardware capace di monitorare l’attività degli agenti e intervenire rapidamente in presenza di comportamenti anomali.

    Secondo Nvidia, un approccio di questo tipo avrebbe potuto mitigare alcuni degli incidenti recentemente segnalati durante test avanzati condotti da aziende come OpenAI e Anthropic.

    La piattaforma sarebbe già utilizzata da oltre cento grandi organizzazioni, tra cui Microsoft e JPMorgan Chase, mentre OpenShell è progettato per funzionare anche su hardware non Nvidia.

    La strategia riflette la posizione espressa da Jensen Huang: i rischi dell’AI agentica vanno affrontati soprattutto come problemi ingegneristici di sicurezza, costruendo livelli di contenimento sempre più vicini all’hardware anziché rallentando lo sviluppo dei modelli.


    Link alla fonte:
    http://www.ansa.it/canale_tecnologia/notizie/future_tech/2026/09/29/nvidia-lancia-un-nuovo-sistema-per-controllare-le-intelligenze-artificiali_4ad63cc3-d674-4d0f-869e-1d4d8cd03df2.html

  • L’1% che “tiene in piedi” OpenAI e Anthropic sta già facendo i conti: locale, ibrido e modelli “cinesi”

    L’1% che “tiene in piedi” OpenAI e Anthropic sta già facendo i conti: locale, ibrido e modelli “cinesi”

    Cosa succede a OpenAI e Anthropic se i clienti che generano più ricavi iniziano a spostare una parte consistente dei loro token altrove? L’AI ibrida potrebbe trasformare questo calcolo in una questione strategica.

    A settembre 2026 i dati di Ramp hanno messo nero su bianco quello che molti sospettavano: l’1% dei clienti genera l’80% dei ricavi enterprise sia di OpenAI sia di Anthropic, una “concentrazione di rischio” senza precedenti nella storia del software. Perché, diciamocelo, anche in questo caso è di software che parliamo. In particolare, ad Anthropic due soli clienti (Cursor e GitHub Copilot) arrivano a pesare quasi un quarto del fatturato. E i ricavi arrivano soprattutto da usage-based pricing: più token bruci, più paghi.

    In questo scenario, un pezzo di hardware apparentemente “di nicchia” come un Mac Studio M2 Ultra ricondizionato (metà 2023, 128 GB di RAM unificata, 2-4 TB SSD) a 3.800-4.600 € IVA inclusa in Italia diventa improvvisamente interessante. Non perché sostituisca i data center, ma perché rende economicamente razionale spostare una parte rilevante del carico su AI locale o ibrida. Di Mac ricondizionati come piattaforme di AI locale ne ho già parlato di recente, tra l’altro.

    I grandi clienti non hanno davvero bisogno del “frontier” per qualsiasi cosa

    La narrativa dominante (“serve sempre il modello più potente”) non regge di fronte ai numeri. La maggior parte del volume di token generato da quei clienti “top” è costituita da task ripetitivi, ad alto volume e a complessità medio-alta: coding agentico, completamento, RAG interni, generazione di contenuti, triage, elaborazioni batch. Su questi carichi il gap tra i frontier occidentali e i migliori modelli open-weight/cinesi (Qwen 3.x, DeepSeek V4, Kimi K2/K3, GLM) si è ridotto a pochi mesi di vantaggio, quando non si è già chiuso.

    I dati di metà 2026 parlano chiaro:

    • Su OpenRouter i modelli di origine cinese hanno raggiunto picchi del 46% dei token enterprise americani (da meno del 5% un anno prima).
    • Cursor ha costruito parte del proprio Composer 2 su base Kimi.
    • Lindy ha spostato il 100% del traffico da Claude a DeepSeek V4, dichiarando risparmi di milioni e performance uguali o migliori su molti use-case.
    • Coinbase ha tagliato di circa il 50% la spesa AI con un default su modelli cinesi open-weight per gli ingegneri.
    • Airbnb, Shopify, Siemens e altri hanno instradato carichi significativi su Qwen o Kimi.

    Il frontier resta superiore (e spesso indispensabile) sui task più estremi: “ragionamento” multi-step di altissima complessità, coding estremo, scenari high-stakes dove ogni punto percentuale di accuratezza conta, tuttavia rappresenta una minoranza del volume globale. Il resto è già “sufficientemente buono” su alternative molto più economiche (spesso 5-35× più convenienti).

    L’architettura che sta emergendo: necessariamente “ibrida”

    La strategia dominante tra i grandi clienti non è “tutto cloud frontier” né “tutto locale”, ma piuttosto routing intelligente:

    • Frontier (Claude, GPT) per i casi low-volume/high-stakes.
    • Modelli cinesi/open (Qwen, DeepSeek, Kimi) per il volume alto e cost-sensitive.
    • Locale/self-hosted (Mac Studio, cluster NVIDIA workstation o cloud privato) per privacy, dati sensibili e costi prevedibili.

    Il già citato Mac Studio M2 Ultra ricondizionato entra esattamente in questa logica: costo di acquisizione contenuto, consumi bassissimi, silenzioso, capace di far girare modelli 30-70B in quantizzazione e anche carichi di generazione video/immagine locale. Non deve reggere tutto il traffico di un’azienda, ma piuttosto assorbire la fetta ripetitiva e privacy-sensitive a costo fisso, mentre il cloud gestisce i picchi e i frontier.

    Possibilità di migrazione: breve e medio termine

    Breve termine (6-12 mesi)
    Probabilità medio-alta di una migrazione parziale ma significativa. I segnali sono già visibili: routing su modelli cinesi, sperimentazione di self-hosting, ottimizzazione aggressiva dei costi. Non sarà un esodo di massa, ma un trasferimento progressivo del 20-40% del volume token dei grandi clienti verso alternative più economiche. I fattori acceleranti sono il prezzo, la maturità dell’ecosistema open e la pressione sui budget AI (che in molte aziende è diventato una delle voci di spesa più visibili).

    Medio termine (1-3 anni)
    Probabilità alta di una ristrutturazione strutturale del mix. L’architettura ibrida diventerà lo standard de facto per chi spende tanto. I modelli open/cinesi continueranno a chiudere il gap (o a mantenerlo molto stretto), mentre i frontier si specializzeranno sempre di più sui task dove il vantaggio è ancora netto. L’hardware locale (Apple Silicon di nuova generazione e workstation NVIDIA) diventerà parte ordinaria della soluzione stack per molte organizzazioni. Il rischio geopolitico e le nuove clausole commerciali dei modelli cinesi (revenue share fino al 30% in alcuni casi per i grandi utenti di Kimi e possibili meccanismi simili per Qwen) introdurranno un certo “attrito”, ma non invertiranno la tendenza.

    I freni principali restano, in sostanza: inerzia organizzativa, integrazioni esistenti, contratti enterprise pluriennali e, in alcuni settori regolati, considerazioni di compliance e supply-chain.

    Conseguenze per OpenAI e Anthropic

    Per i due big l’impatto non sarà un crollo improvviso, ma una compressione strutturale dei margini sull’inference e una maggiore pressione competitiva.

    • Ricavi usage-based sotto pressione. Se anche solo una quota rilevante dell’1% sposta il 30-50% del volume su alternative più economiche, i ricavi calano in modo non lineare proprio perché quei clienti pesano tantissimo. Anthropic, più concentrata sull’enterprise e su pochi grandi account, risulta relativamente più esposta.
    • Shift verso pricing e prodotti più sofisticati. I lab saranno spinti ad accelerare su tier differenziati, caching aggressivo, modelli “distillati” più economici e offerte enterprise che integrano routing ibrido (per non perdere del tutto i clienti).
    • Concentrazione del valore sui frontier veri. Il business resterà solido sui task dove i modelli chiusi mantengono un vantaggio chiaro. Ma il volume di commodity inference si eroderà.
    • Rischio di “commoditizzazione dal basso”. Se l’open-weight e i modelli cinesi continuano a migliorare a questo ritmo, il vantaggio competitivo dei frontier si restringe a una fascia sempre più sottile e premium.

    Riassumendo: OpenAI e Anthropic non spariscono, e rimangono i fornitori di riferimento per la punta più alta della piramide, tuttavia il modello di business basato su volumi enormi di token a prezzi elevati diventa più fragile. La concentrazione dell’80% dei ricavi su un 1% di clienti, già oggi un rischio strutturale, si trasforma in un’arma a doppio taglio nel momento in cui quei clienti scoprono che possono fare di meglio (o altrettanto bene) spendendo molto meno.

    Il Mac Studio M2 Ultra ricondizionato usato come esempio non è la soluzione a tutto, naturalmente, tuttavia rimane un simbolo concreto di come l’economia dell’AI stia cambiando: quando il costo marginale di generare un token in locale o su un modello open diventa sensibilmente più basso di quello del frontier, i grandi clienti iniziano a fare i conti. E quei conti, a settembre 2026, stanno già producendo i primi spostamenti concreti.

    P.S. Dai un’occhiata a queste due guide, con cui rispettivamente sviluppare un’abilità di prompt design in grado di trarre il meglio da qualsiasi modello, anche locale, e ottenere tutte le informazioni più importanti per progettare e usare l’AI sul tuo computer, senza cloud. Le trovi entrambe in libreria e online:

  • Jalapeño accelera l’inferenza AI: OpenAI rivendica un vantaggio sulle Nvidia Blackwell

    Jalapeño accelera l’inferenza AI: OpenAI rivendica un vantaggio sulle Nvidia Blackwell

    OpenAI entra nel confronto diretto con Nvidia sull’hardware AI: i primi benchmark di Jalapeño promettono meno latenza e più efficienza energetica. Ma i numeri devono ancora superare la prova delle verifiche indipendenti.

    OpenAI ha pubblicato i primi benchmark di Jalapeño, il suo ASIC per l’inferenza sviluppato con Broadcom, sostenendo prestazioni superiori alle Nvidia GB200 e GB300 nei test condotti sulla piattaforma InferenceX di SemiAnalysis.

    Secondo i dati dell’azienda, su GPT-OSS 120B il sistema arriva a 85.448 token per kilowatt contro 44.960 e riduce la latenza da 1,80 a 1,03 secondi, mentre su DeepSeek R1 il vantaggio dichiarato in latenza raggiunge 3,6 volte.

    Jalapeño avrebbe inoltre operato a 550 watt nei carichi testati, contro 1.200 watt della GB200 e 1.400 della GB300, mostrando un potenziale vantaggio significativo nell’efficienza dei data center AI.

    I risultati, tuttavia, provengono da test comunicati da OpenAI e non risultano ancora verificati in modo indipendente, quindi il confronto con Nvidia va considerato preliminare.

    La distribuzione dovrebbe partire in piccoli volumi entro la fine del 2026 e crescere nel 2027, mentre restano non confermate le ipotesi secondo cui modelli AI interni di OpenAI avrebbero avuto un ruolo importante nella progettazione del chip.


    Link alla fonte: https://www.dday.it/redazione/58474/openai-mostra-i-muscoli-di-jalapeno-il-chip-fatto-in-casa-batte-nvidia-nei-primi-test⁠

  • Un Mac (anche ricondizionato) sta diventando sempre di più il “miglior amico” di chi vuole usare l’AI in modo completo e produttivo?

    Un Mac (anche ricondizionato) sta diventando sempre di più il “miglior amico” di chi vuole usare l’AI in modo completo e produttivo?

    Un MacBook Air M1 o M2 (anche ricondizionato) può ancora avere più senso di un laptop Windows come macchina dedicata all’AI? Tra assistenti desktop e modelli locali, la risposta è meno scontata di quanto sembri.

    Nei giorni scorsi Meta ha rilasciato la sua app desktop di Meta AI esclusivamente per macOS: nativa (AppKit + SwiftUI), leggera (~16 MB), completa della solita “scorciatoia da tastiera” (quick invoke), nella forma Option + Spazio, “dettatura” di sistema e soprattutto la possibilità di condividere una finestra o lo schermo così che l’AI “veda” ciò che stai facendo e ti fornisca suggerimenti contestuali. Per ora non esiste la versione Windows.

    ChatGPT e Claude, invece, hanno già da tempo le loro app desktop su entrambe le piattaforme, ma su Mac le integrazioni di sistema, i shortcut globali, le funzioni di screen/window sharing e alcune funzioni “agentiche” arrivano puntualmente prima o risultano più fluide e native. Su Windows, purtroppo, spesso si resta un passo indietro o con meno “superpoteri” di interazione con il resto del sistema.

    Perché un MacBook (anche un Air ricondizionato con M1 o M2) fa la differenza

    1. App desktop AI di prima classe
      Meta AI, ChatGPT e Claude sfruttano meglio l’ecosistema Apple: invochi l’assistente da ovunque, gli fai “guardare” lo schermo, usi la dittatura globale e ottieni un’esperienza più integrata nel flusso di lavoro quotidiano.
    2. AI locale davvero “usabile“
      I chip Apple Silicon (M1, M2 e successivi) con memoria unificata e Neural Engine sono tra le piattaforme consumer più efficienti per far girare modelli locali (Ollama, MLX, LM Studio, ecc.). Su un MacBook Air M1/M2 con 16 GB puoi far girare comodamente modelli 7B–9B (e anche qualcosa di più) in modo silenzioso, a basso consumo e senza dipendere continuamente dal cloud. Privacy, costi e disponibilità offline cambiano significativamente.
    3. Costo accessibile
      Un MacBook Air M1 o M2 ricondizionato costa oggi una frazione rispetto a un modello nuovo (e non si allontana molto da un laptop Windows nuovo) e offre ancora prestazioni più che sufficienti per lavoro + AI desktop + AI locale. Non serve necessariamente avere l’ultimo modello M4, insomma.

    In pratica: se usi l’AI non solo per “fare domande”, ma per lavorare davvero (analisi di ciò che hai sullo schermo, automatismi, coding, scrittura contestuale, modelli locali), un laptop Mac ti dà oggi un vantaggio concreto rispetto a un PC Windows equivalente.

    State già usando le app desktop di ChatGPT/Claude/Meta AI? O state valutando un passaggio (o un rientro) al Mac proprio per questo motivo? Sarei curioso di sapere come state combinando AI cloud e locale nel 2026.

    Ecco una tabella riassuntiva dei prezzi medi nel momento in cui ho scritto questo articolo:

    Modello e ChipRAM / SSDPrezzo Medio RicondizionatoCaratteristiche ChiaveCanale Consigliato
    MacBook Air 13″ M1 (2020)8 GB / 256 GB450 € – 490 €Design classico a cuneo, eccezionale rapporto qualità-prezzo, batteria a lunga durata.Back Market / Trovaprezzi
    MacBook Air 13″ M1 (2020)16 GB / 256 GB530 € – 580 €Ideale per multitasking pesante, longevità del sistema superiore.Amazon Seconda Mano / TrenDevice
    MacBook Air 13″ M2 (2022)8 GB / 256 GB740 € – 800 €Nuovo design squadrato, ricarica MagSafe, schermo più luminoso con notch.Back Market / Trovaprezzi
    MacBook Air 13″ M2 (2022)Config. VarieSconto ~15% sul nuovoComponenti originali al 100%, batteria nuova, scocca immacolata, garanzia Apple 1 anno.Apple Store Ricondizionati
  • Il chip fondamentale per l’AI che pochi conoscono e che la Cina vuole a tutti i costi

    Negli ultimi anni abbiamo sentito spesso menzionare aziende Nvidia o TSMC quando si parla di chip per l’intelligenza artificiale. Esiste, tuttavia, un componente hardware poco conosciuto ma che oggi è diventato uno degli elementi più strategici dell’intera competizione tecnologica tra Cina e Stati Uniti: la memoria HBM (High Bandwidth Memory). In questo video il bravissimo Song Yang vi parla di CXMT, l’azienda cinese piu importante in questo settore, azienda che si avvia a competere con big mondiali come SK hynix, Samsung e Micron.

  • ASUS lancia UGen300: AI generativa offline in formato USB

    ASUS presenta UGen300, un motore di intelligenza artificiale portatile che consente di eseguire modelli generativi direttamente in locale senza bisogno del cloud.
    Il dispositivo, basato su processore Hailo-10H e dotato di 8 GB di RAM, raggiunge una potenza di 40 TOPS ed è compatibile con framework come TensorFlow, PyTorch e ONNX.
    Collegabile via USB-C e supportato su Windows, Linux e Android, punta a offrire bassa latenza, maggiore sicurezza dei dati e riduzione dei costi rispetto alle soluzioni cloud.
    Con consumi ridotti (2,5 W) e dimensioni compatte, si propone come soluzione ideale per sviluppatori, professionisti e ambito educativo.
    Il lancio è previsto entro l’estate, ma il prezzo non è ancora stato annunciato.

    Link alla fonte:
    https://www.hdblog.it/hardware/articoli/n654417/ai-senza-cloud-asus-ugen300-collega-cavo-usb/

  • Un nuovo “salto quantico” per l’hardware AI-oriented

    Taalas lancia HC1, chip “hardcore” che promette inferenza 10x più veloce e più economica

    La startup Taalas, fondata da Ljubisa Bajic, è uscita dalla “modalità stealth” presentando HC1, un chip ASIC “hardcore” che integra direttamente modello e pesi nel silicio stesso, eliminando la necessità della tradizionale programmazione via software.

    Il primo caso d’uso è una versione ottimizzata di Llama 3.1 8B, con performance dichiarate fino a 10 volte superiori rispetto alle piattaforme di inferenza più veloci attuali e costi per token drasticamente inferiori rispetto alle GPU.

    L’architettura punta sulla massima specializzazione: ogni chip è progettato per un singolo modello, con aggiornamenti possibili in circa due mesi tramite modifiche a due layer metallici.

    I vantaggi in termini di velocità, consumi energetici e costi sono significativi, ma restano dubbi sulla scalabilità operativa e sulla gestione di più versioni hardware nei data center.

    Se adottato su larga scala, l’approccio di Taalas potrebbe ridefinire l’economia dell’inferenza AI e inaugurare una nuova fase di specializzazione estrema nell’hardware per l’intelligenza artificiale.

    Link alla fonte:

    https://www.forbes.com/sites/karlfreund/2026/02/19/taalas-launches-hardcore-chip-with-insane-ai-inference-performance

  • OpenAI accelera sull’audio e prepara dispositivi AI senza schermo

    OpenAI sta riorientando in modo deciso la propria strategia sull’audio, unificando team di ingegneria, prodotto e ricerca per sviluppare nuovi modelli vocali avanzati e un dispositivo personale “audio-first” atteso entro circa un anno.
    Secondo TechCrunch, l’obiettivo è rendere l’interazione con l’AI più naturale, continua e conversazionale, riducendo la centralità degli schermi.
    La mossa si inserisce in una tendenza più ampia che coinvolge big tech come Meta, Google e Tesla, tutte impegnate a trasformare voce e ascolto nel principale strato di interazione uomo-macchina.
    Il nuovo modello audio di OpenAI, previsto per il 2026, promette conversazioni fluide, gestione delle interruzioni e un approccio più “companion-like”.
    Il contributo di Jony Ive rafforza la visione di un’AI meno invasiva e più integrata nella vita quotidiana.

    Link alla fonte:
    https://techcrunch.com/2026/01/01/openai-bets-big-on-audio-as-silicon-valley-declares-war-on-screens/

  • OpenAI accelera sull’hardware e sottrae decine di ingegneri chiave ad Apple

    Mentre si susseguono le voci sul futuro hardware AI sviluppato a seguito del sodalizio Altman-Ive, OpenAI sta portando avanti una campagna di reclutamento estremamente aggressiva che sta colpendo duramente i team hardware di Apple.
    Secondo le informazioni riportate da Mark Gurman, la startup guidata da Sam Altman avrebbe assunto oltre 40 professionisti provenienti da Cupertino nell’ultimo mese, includendo direttori, manager e ingegneri senior di aree strategiche come fotocamere, processori, hardware iPhone/Mac, test e affidabilità, design industriale, audio, Apple Watch e Vision Pro.
    L’ondata di assunzioni segue l’ingresso nella nuova divisione hardware di figure storiche legate a Jony Ive, come Evans Hankey e Tang Tan, insieme ad altri nomi di peso.
    La situazione sta generando forte preoccupazione interna ad Apple, che già registra una fuga di talenti AI verso competitor come Meta.
    L’indebolimento della sua capacità di innovazione arriva in un momento critico, mentre i rivali nel settore dell’IA iniziano a sviluppare i propri dispositivi fisici.

    Link alla fonte:
    https://www.hdblog.it/apple/articoli/n639627/openai-assunzioni-ingegneri-hardware-apple/

  • La corsa all’IA fa lievitare i prezzi di smartphone e computer

    Tradotto: se dovete investire in hardware, fatelo adesso (e non dimenticate i ricondizionati).
    La crescente domanda di chip di memoria alimentata dall’espansione dell’intelligenza artificiale sta mettendo sotto pressione la catena globale di fornitura, con possibili rincari per smartphone, laptop e altri dispositivi già dal 2026.
    Produttori come Xiaomi e analisti di settore avvertono che i data center per l’IA stanno drenando DRAM e NAND dal mercato consumer, spingendo i prezzi verso l’alto.
    Aziende come Samsung, SK Hynix e Micron stanno beneficiando di questo ciclo rialzista, mentre la produzione di dispositivi elettronici viene ridotta nelle previsioni per il prossimo anno.
    Le tensioni sono aggravate da investimenti insufficienti in nuova capacità produttiva e dall’incertezza della domanda, in particolare in Cina.
    Gli esperti prevedono prezzi più elevati, tempi di consegna più lunghi e contratti più rigidi almeno fino all’inizio del 2026.

    Link alla fonte:
    https://www.agi.it/economia/news/2025-11-20/smartphone-computer-costeranno-colpa-intelligenza-artificiale-34266924/amp/