Tag: Inferenza

  • L’IA non “pensa” (e non lo farà presto, a meno che…)

    L’IA non “pensa” (e non lo farà presto, a meno che…)

    Un LLM è un modello numerico, ma ciò che chiamiamo “IA” è sempre più spesso un intero sistema di software, tool e orchestrazione. Capire questa distinzione cambia anche il modo in cui attribuiamo responsabilità ai suoi errori. Errori che, come recitano ancora dopo quattro anni gli avvisi sotto la chat, sono ancora potenzialmente presenti.

    Guardate l’immagine che fa da cover a questo post: un robottino confuso, mano al mento, sguardo interrogativo, circondato da icone di errore, warning e documenti che dicono “sbagliato”. Sotto, ho aggiunto le interfacce di Gemini, Claude e ChatGPT per mostrare come ripetono, dopo anni, tutte la stessa formula di rito: può commettere errori, verifica sempre.

    Quel messaggio potrebbe apparire come una sorta di marketing difensivo, ma in realtà è la “dichiarazione di realtà” più onesta che queste aziende abbiano mai fatto e facciano ancora oggi.

    Perché, giova ripeterlo, l’intelligenza artificiale generativa non “pensa”, non “capisce”, non “ragiona”, insomma non è “senziente”. È un sistema statistico di previsione della prossima parola, addestrato su quantità enormi di testo, che produce sequenze altamente probabili rispetto ai pattern che ha assorbito. Nient’altro.

    Un Large Language Model (LLM), nella sua forma grezza, è un agglomerato inerte di valori numerici: miliardi di parametri organizzati in matrici e tensori. In sé non fa nulla, potremmo paragonarlo al cervello nel vaso che Igor porta al dottor Frankenstein: un pezzo di materia organizzata, privo di vita propria, finché qualcuno non lo collega a un sistema che lo alimenta e lo fa funzionare. Il “qualcuno”, in questo caso, è il codice di inferenza: il software che carica i pesi, esegue i forward pass, campiona i token, gestisce il contesto, applica le temperature, i top-p, i filtri di sicurezza e tutto il resto. Senza quel codice, il modello resta un file “morto” su disco. Con quel codice, diventa capace di generare testo che sembra intelligente.

    La distinzione che avete appena letto non è pedanteria tecnica, ma bensì il punto centrale della responsabilità nella progettazione, nello sviluppo e nell’utilizzo di questa tecnologia. L’illusione del ragionamento, della comprensione, della “agenticità” non nasce dal modello in quanto tale, ma dal modo in cui gli sviluppatori lo fanno girare, lo “promptano”, lo interconnettono con tool esterni e lo presentano all’utente. Quando un sistema scrive “passo 1, passo 2, passo 3” o costruisce piani elaborati, non sta eseguendo un processo cognitivo, ma sta generando testo che “simula” a tale processo, perché nei dati di addestramento esisteva moltissimo testo di quel tipo, e perché il codice di inferenza è stato progettato per favorire proprio quel tipo di output. Gli “agenti” non sono entità autonome: sono loop di prompt → risposta → nuovo prompt, orchestrati da codice scritto da esseri umani. Moltiplicano il meccanismo originale senza superarlo. Sembra più intelligente perché il cerchio è più lungo e perché gli strumenti esterni mascherano parte della fragilità. Ma il nucleo resta identico: previsione statistica animata da software.

    Ecco perché quegli avvisi sotto le chat non spariscono mai. Non possono sparire, visto che rappresentano l’unico punto in cui le aziende ammettono pubblicamente la natura del prodotto: un sistema fallibile, privo di comprensione, che produce errori sistematici proprio perché non “sa” di cosa sta parlando.

    Eppure, nello stesso momento in cui questi disclaimer restano fissi, assistiamo a un’escalation retorica. OpenAI parla di AGI imminente, di sistemi che “ragionano a livello di un ricercatore PhD”, di scadenze sempre più vicine, di progressi che “cambieranno tutto”. Ammettiamolo, la distanza tra il linguaggio pubblico e la realtà tecnica è diventata abissale. Si continua a vendere l’apparenza come sostanza, la fluenza come intelligenza, la coerenza superficiale come comprensione. E si continua a scaricare su questa “IA” (che di “i” ha veramente poco) una responsabilità che, in realtà, appartiene interamente a chi progetta, addestra, deploya e orchestrata questi sistemi. E a chi li utilizza, a valle.

    L’ironia è quasi perfetta: abbiamo costruito macchine straordinariamente brave a sembrare “pensanti”, e invece di trattarle come strumenti potenti e fallibili — agglomerati inerti animati da codice umano — preferiamo proiettare su di esse le nostre fantasie di soggettività. L’errore non è nella macchina, ma in chi continua a confondere un generatore di testo altamente sofisticato, messo in moto da software scritto da sviluppatori, con qualcosa che “capisce”. E la colpa, per omissione o per azione, è di chi non informa o lo fa in modo fuorviante, mezzi di comunicazione in primis.

    L’IA generativa è uno degli strumenti più potenti mai creati, ma riane uno strumento. E gli strumenti, per quanto “impressionanti”, non pensano, non capiscono, non ragionano. E non diventeranno senzienti solo perché qualcuno ha deciso di chiamare “AGI” o “super intelligenza” la prossima versione del modello, o perché il codice di inferenza è diventato un po’ più elaborato.

    Ora, a meno che aziende come OpenAI, Anthropic Google non abbiano intanto sviluppato modelli secondo criteri alternativi rispetto a quelli che abbiamo visto (e usato) finora, la prossima volta che un chatbot vi dà una risposta sicura di sé, ricordate l’immagine del robot confuso, l’avviso in piccolo sotto la barra di input, e il cervello nel vaso di Young Frankenstein. Quello è il messaggio più onesto che queste tecnologie siano in grado di darvi: non c’è nessuno a casa. C’è solo un agglomerato di numeri e il codice che lo fa parlare.

    Intanto, potete ottenere risultati qualitativamente migliori imparando a “interrogare” nel modo giusto (in un modo “intelligente” dove l’intelligenza parte da voi) questi sistemi di “intelligenza simulata”, magari con l’aiuto del mio manuale sui prompt for Dummies.

  • Jalapeño accelera l’inferenza AI: OpenAI rivendica un vantaggio sulle Nvidia Blackwell

    Jalapeño accelera l’inferenza AI: OpenAI rivendica un vantaggio sulle Nvidia Blackwell

    OpenAI entra nel confronto diretto con Nvidia sull’hardware AI: i primi benchmark di Jalapeño promettono meno latenza e più efficienza energetica. Ma i numeri devono ancora superare la prova delle verifiche indipendenti.

    OpenAI ha pubblicato i primi benchmark di Jalapeño, il suo ASIC per l’inferenza sviluppato con Broadcom, sostenendo prestazioni superiori alle Nvidia GB200 e GB300 nei test condotti sulla piattaforma InferenceX di SemiAnalysis.

    Secondo i dati dell’azienda, su GPT-OSS 120B il sistema arriva a 85.448 token per kilowatt contro 44.960 e riduce la latenza da 1,80 a 1,03 secondi, mentre su DeepSeek R1 il vantaggio dichiarato in latenza raggiunge 3,6 volte.

    Jalapeño avrebbe inoltre operato a 550 watt nei carichi testati, contro 1.200 watt della GB200 e 1.400 della GB300, mostrando un potenziale vantaggio significativo nell’efficienza dei data center AI.

    I risultati, tuttavia, provengono da test comunicati da OpenAI e non risultano ancora verificati in modo indipendente, quindi il confronto con Nvidia va considerato preliminare.

    La distribuzione dovrebbe partire in piccoli volumi entro la fine del 2026 e crescere nel 2027, mentre restano non confermate le ipotesi secondo cui modelli AI interni di OpenAI avrebbero avuto un ruolo importante nella progettazione del chip.


    Link alla fonte: https://www.dday.it/redazione/58474/openai-mostra-i-muscoli-di-jalapeno-il-chip-fatto-in-casa-batte-nvidia-nei-primi-test⁠

  • Il motore, l’auto e il pilota

    Il motore, l’auto e il pilota

    Perché le differenze tra le applicazioni di intelligenza artificiale contano meno di quanto pensiamo (e cosa conta davvero)

    Quando si parla di ChatGPT, Claude, Grok, Gemini o delle interfacce locali come LM Studio e Ollama, la domanda che torna più spesso è: «Quale è meglio?». La risposta più onesta, e anche la più interessante, è che per il compito di base — prendere un input e generare una risposta — le differenze sono minori di quanto si pensi.
    “Sotto il cofano”, quasi tutte queste applicazioni fanno sostanzialmente la stessa cosa: mandano un prompt a un modello e restituiscono i token generati. L’inferenza, in sé, non è magica né particolarmente diversa da un sistema all’altro.
    Quello che cambia è tutto il resto.

    La macchina

    Il modello (i suoi parametri, l’architettura, i dati di training, il tipo di allineamento) è solo il motore. Intorno c’è un’intera macchina:

    – la dimensione e la gestione del contesto
    – la capacità di usare strumenti (ricerca, codice, API)
    – la multimodalità (testo, immagini, audio, video)
    – l’infrastruttura (velocità, costo, affidabilità)
    – l’interfaccia e le funzioni di supporto (memoria, progetti, personalizzazione)

    Due modelli con parametri simili possono dare esperienze completamente diverse a seconda di come è costruita questa “macchina”.

    Il pilota

    Ma c’è un elemento che spesso viene dimenticato nella metafora: il guidatore.

    Lo stesso identico modello, sulla stessa piattaforma, produce risultati drasticamente diversi a seconda di chi lo usa. La capacità di strutturare il ragionamento, di decomporre i problemi, di iterare in modo intelligente, di conoscere i limiti dello strumento e di valutarne criticamente gli output fa una differenza enorme.

    Come la fa, naturalmente, la competenza nel settore specifico è l’esperienza pregressa nel “dominio”.

    E questo non vale solo per il testo.

    Con la generazione di immagini, video e audio il divario tra un utente mediocre e uno bravo tende ad allargarsi, non a ridursi. Un prompt vago produce risultati mediocri. Un prompt preciso, gerarchico, consapevole dei meccanismi del modello e accompagnato da un processo di raffinamento intelligente può portare a risultati di un altro livello — anche partendo dallo stesso motore.

    La conclusione “scomoda”

    Più i modelli diventano potenti e flessibili, più il fattore umano torna a essere decisivo. Non nel senso romantico del “l’AI non sostituirà mai la creatività”, ma in un senso molto più pragmatico: la qualità dell’output dipende sempre di più dalla qualità dell’interazione.

    Il motore conta. 
    La macchina conta. 
    Ma senza un pilota capace, anche un’auto di Formula 1 resta ferma ai box.

    Da diversi anni mi impegno a formare, con libri e formazione, dei “bravi piloti”.

    Testi specifici dedicati alle singole piattaforme (ChatGPT, Gemini), ai diversi ambiti (Didattica, Comunicazione, Grafica) e ovviamente al prompt design/engineering e all’uso “locale” dell’AI.

    Se vuoi diventare un bravo pilota e farti assistere sempre meglio dall’AI nell’ambito (o negli ambiti) di tuo interesse, non hai che andare in libreria (fisica o virtuale), scegliere e cominciare.

  • No, i modelli di AI non sono “algoritmi”

    No, i modelli di AI non sono “algoritmi”

    Un equivoco ricorre spesso nelle notizie sull’intelligenza artificiale: si parla dei modelli come se fossero “algoritmi” o “programmi” (vedi video in basso).
    In realtà, un modello di IA non è semplicemente un algoritmo, è il risultato di un processo di addestramento basato su algoritmi, ovvero una struttura matematica composta da miliardi di parametri, nei quali è stata condensata la conoscenza appresa dai dati.
    Il modello, da solo, però, non fa nulla.
    Per poterlo utilizzare serve un insieme di algoritmi scritti in codice: il motore di inferenza: è questo software a fare da ponte tra noi e il modello.
    Quando scriviamo una domanda, il motore di inferenza:
    – trasforma il nostro input in numeri;
    – esegue i calcoli previsti dal modello;
    – converte il risultato in parole, immagini, suoni o altri contenuti comprensibili.
    Una metafora utile è quella dello spartito.
    Il modello è lo spartito: contiene una struttura complessa e una conoscenza potenziale.
    Il motore di inferenza è il musicista: legge lo spartito, lo interpreta e lo trasforma in musica.
    Senza il modello, il motore non avrebbe nulla da eseguire.
    Senza il motore, il modello resterebbe un enorme archivio matematico incapace di rispondere.
    Per questo è più corretto distinguere tre elementi:
    – gli algoritmi di addestramento, che costruiscono il modello;
    – il modello, che conserva ciò che è stato appreso;
    – gli algoritmi di inferenza, che mettono quella conoscenza in azione.
    Dire che “l’algoritmo ha risposto” o “l’algoritmo ha svolto un compito” è una comoda semplificazione giornalistica. Ma capire cosa accade davvero aiuta a vedere l’IA per ciò che è: non una singola entità misteriosa, ma un sistema composto da dati, modelli, codice e infrastrutture che lavorano insieme.
    Il modello è la conoscenza cristallizzata.
    Il motore di inferenza è ciò che la rende operativa.

    Un esempio di errata informazione sull’IA, per giunta da una fonte ritenuta autorevole in generale.

    Vi lascio, infine, un’infografica che illustra il concetto nel modo più chiaro possibile:

  • GTC 2026: Jensen Huang lancia l’era dell’inferenza, la partita da mille miliardi che ridefinisce l’AI

    Al keynote della GTC 2026, il CEO di NVIDIA Jensen Huang ha dichiarato che l’intelligenza artificiale sta entrando nell’era dell’inferenza (inference inflection point).
    Il valore non è più principalmente nella fase di training dei modelli, ma nel loro utilizzo su larga scala in produzione.
    Huang ha annunciato una previsione aggiornata di almeno 1 trilione di dollari in ordini e ricavi dai sistemi Blackwell e Vera Rubin tra il 2025 e il 2027, raddoppiando le stime precedenti.
    Il messaggio è chiaro: l’inferenza diventa il workload dominante, trasformando l’AI in un’infrastruttura industriale continua fatta di “token factories” e agentic AI.
    Tra gli annunci principali, la nuova piattaforma full-stack Vera Rubin (con sette chip, Vera CPU e integrazione con Groq 3 LPU), i reference design per AI Factories e l’enfasi su efficienza, latenza e produzione costante di valore economico.
    L’evento ridefinisce NVIDIA non più solo come fornitore di chip, ma come architetto di fabbriche AI su scala planetaria.

    Link alla fonte:
    https://www.cnbc.com/2026/03/16/nvidia-gtc-2026-ceo-jensen-huang-keynote-blackwell-vera-rubin.html

  • Un nuovo “salto quantico” per l’hardware AI-oriented

    Taalas lancia HC1, chip “hardcore” che promette inferenza 10x più veloce e più economica

    La startup Taalas, fondata da Ljubisa Bajic, è uscita dalla “modalità stealth” presentando HC1, un chip ASIC “hardcore” che integra direttamente modello e pesi nel silicio stesso, eliminando la necessità della tradizionale programmazione via software.

    Il primo caso d’uso è una versione ottimizzata di Llama 3.1 8B, con performance dichiarate fino a 10 volte superiori rispetto alle piattaforme di inferenza più veloci attuali e costi per token drasticamente inferiori rispetto alle GPU.

    L’architettura punta sulla massima specializzazione: ogni chip è progettato per un singolo modello, con aggiornamenti possibili in circa due mesi tramite modifiche a due layer metallici.

    I vantaggi in termini di velocità, consumi energetici e costi sono significativi, ma restano dubbi sulla scalabilità operativa e sulla gestione di più versioni hardware nei data center.

    Se adottato su larga scala, l’approccio di Taalas potrebbe ridefinire l’economia dell’inferenza AI e inaugurare una nuova fase di specializzazione estrema nell’hardware per l’intelligenza artificiale.

    Link alla fonte:

    https://www.forbes.com/sites/karlfreund/2026/02/19/taalas-launches-hardcore-chip-with-insane-ai-inference-performance

  • L’ennesima prova che l’AI non è “intelligente”

    Nel caso abbiate ancora dubbi sull’intelligenza e sulla capacità di comprensione dell’AI “generativa”, vi mostro l’ennesima prova che questi elementi, in sostanza, non esistono.

    Si chiama “AI generativa” perché i modelli su cui si basa attualmente si limitano a generare contenuti seguendo pattern statistici, quindi anche quando vedere un “ragionamento” state osservando una fila di parole infilate una dopo l’altra secondo una serie di calcoli di affinità verbale dell’algoritmo (costruita durante l’addestramento).

    La prova finale: un gruppo di ricercatori ha sottoposto ai modelli di fascia alta di ChatGPT e Gemini una serie di problemi che avevano risolto ma mai pubblicato (di conseguenza l’AI non poteva avere acquisito dei dati dalla loro “lettura”, che peraltro deve riguardare elementi individuati con una certa frequenza per ottenere la sua “attenzione”), e il risultato è stato che nessuno dei due modelli di punta è stato in grado di risolverli.

    Si continua a parlare di AGI, di “agenti”, di “decisioni” da parte dell’AI e di sostituzione dell’essere umano, ma come ho spesso sottolineato finché non cambieranno gli algoritmi possiamo dimenticarci una vera “intelligenza” che dovrebbe essere alla base di tali scenari.

  • Microsoft presenta Maia 200: il chip a 3nm progettato per rivoluzionare l’inferenza AI

    Microsoft ha annunciato Maia 200, un nuovo acceleratore di intelligenza artificiale sviluppato specificamente per l’inferenza, segnando un passaggio chiave dalla sperimentazione alla scalabilità operativa dell’AI.

    Realizzato con processo produttivo a 3 nanometri da TSMC, il chip integra oltre 140 miliardi di transistor ed è ottimizzato per ridurre costi, latenza e consumi energetici rispetto all’hardware general-purpose.

    Secondo l’azienda, Maia 200 offre un miglioramento del 30% nelle prestazioni per dollaro, consentendo di eseguire modelli generativi complessi con meno risorse.

    Il chip sarà progressivamente integrato nell’infrastruttura di Microsoft Azure e nei servizi di Microsoft 365 Copilot, con l’obiettivo di rendere l’AI più sostenibile e accessibile su larga scala.

    Link alla fonte:

    https://www.adnkronos.com/tecnologia/microsoft-maia-200-il-nuovo-chip-per-linferenza-ai-a-3nm_3s3gsc7v70h2Ab1pUa3OhI

  • Il futuro dell’AI? L’economia dell’inferenza

    Il vero valore e il futuro dei profitti nell’intelligenza artificiale aziendale non risiedono più nell’addestramento di modelli linguistici di grandi dimensioni (LLM), ma nell’inferenza, ovvero l’applicazione pratica e quotidiana di questi modelli ai dati reali delle organizzazioni.
    Le previsioni di IDC indicano che entro la fine del 2025 gli investimenti nelle infrastrutture per l’inferenza supereranno quelli destinati all’addestramento, confermando un cambiamento epocale nelle priorità del settore.
    La sfida cruciale per le aziende è l’integrazione dei modelli con il contesto aziendale e i dati proprietari, che costituiscono il vero vantaggio competitivo e prevengono le “allucinazioni” su larga scala.
    Tecnologie come la Retrieval-Augmented Generation (RAG) e i database vettoriali stanno emergendo come soluzioni fondamentali per fornire memoria e contesto ai sistemi di intelligenza artificiale.
    L’obiettivo strategico è rendere l’inferenza economica, sicura e ubiqua, ottimizzando i costi e garantendo la governance dei dati sensibili.

    Fonte:
    https://www.tomshw.it/business/altro-che-algoritmi-e-linferenza-il-reale-valore-dei-modelli-di-ia-2025-11-11