Tag: Benchmark

  • Jalapeño accelera l’inferenza AI: OpenAI rivendica un vantaggio sulle Nvidia Blackwell

    Jalapeño accelera l’inferenza AI: OpenAI rivendica un vantaggio sulle Nvidia Blackwell

    OpenAI entra nel confronto diretto con Nvidia sull’hardware AI: i primi benchmark di Jalapeño promettono meno latenza e più efficienza energetica. Ma i numeri devono ancora superare la prova delle verifiche indipendenti.

    OpenAI ha pubblicato i primi benchmark di Jalapeño, il suo ASIC per l’inferenza sviluppato con Broadcom, sostenendo prestazioni superiori alle Nvidia GB200 e GB300 nei test condotti sulla piattaforma InferenceX di SemiAnalysis.

    Secondo i dati dell’azienda, su GPT-OSS 120B il sistema arriva a 85.448 token per kilowatt contro 44.960 e riduce la latenza da 1,80 a 1,03 secondi, mentre su DeepSeek R1 il vantaggio dichiarato in latenza raggiunge 3,6 volte.

    Jalapeño avrebbe inoltre operato a 550 watt nei carichi testati, contro 1.200 watt della GB200 e 1.400 della GB300, mostrando un potenziale vantaggio significativo nell’efficienza dei data center AI.

    I risultati, tuttavia, provengono da test comunicati da OpenAI e non risultano ancora verificati in modo indipendente, quindi il confronto con Nvidia va considerato preliminare.

    La distribuzione dovrebbe partire in piccoli volumi entro la fine del 2026 e crescere nel 2027, mentre restano non confermate le ipotesi secondo cui modelli AI interni di OpenAI avrebbero avuto un ruolo importante nella progettazione del chip.


    Link alla fonte: https://www.dday.it/redazione/58474/openai-mostra-i-muscoli-di-jalapeno-il-chip-fatto-in-casa-batte-nvidia-nei-primi-test⁠

  • Qwen3.8-27B porta la potenza modelli AI avanzati sulle workstation locali

    Qwen3.8-27B porta la potenza modelli AI avanzati sulle workstation locali

    Più parametri non significano necessariamente un’AI migliore. Qwen3.8-27B punta a dimostrare che un modello compatto può mettere pressione anche ai giganti del cloud.

    Alibaba amplia la famiglia Qwen con Qwen3.8-27B, un modello open-weight da 27 miliardi di parametri pensato per offrire capacità avanzate di coding, ricerca e gestione di contesti complessi anche su hardware locale.

    Secondo i benchmark e i test riportati, il modello raggiungerebbe prestazioni paragonabili o superiori a sistemi molto più grandi, confrontandosi anche con soluzioni di Meta e Anthropic.

    La quantizzazione riduce sensibilmente i requisiti hardware: alcune varianti possono funzionare con 22 GB di memoria video, mentre quella NVFP4 ottimizzata per Nvidia Blackwell scenderebbe a 16 GB.

    Nei test di programmazione descritti dalla fonte, Qwen3.8-27B ha prodotto un’API REST completa e funzionante, mostrando anche capacità autonome di refactoring, pur con una certa tendenza a consumare token e tempo su dettagli non essenziali.

    Il risultato evidenzia soprattutto la crescente competitività dei modelli open-weight eseguibili localmente, interessanti per privacy, controllo dei dati e minore dipendenza dai servizi AI cloud.


    Link alla fonte: https://www.redhotcyber.com/post/alibaba-sfida-meta-e-anthropic-qwen3-8-27b-supera-modelli-10-volte-piu-grandi/⁠

    P.S. Se ti interessa l’AI locale non perderti il mio nuovo libro sull’argomento, lo trovi da settembre in tutte le librerie fisiche e online:

  • I modelli di AI affrontano “Humanity’s Last Exam” per misurare la distanza dalla AGI

    I principali modelli di intelligenza artificiale — ChatGPT, Gemini, Claude e DeepSeek — sono stati sottoposti a Humanity’s Last Exam, un benchmark estremo progettato per valutare quanto siano vicini al livello di conoscenza degli esperti umani.
    Il test, pubblicato sulla rivista Nature e sviluppato dal Center for AI Safety insieme a Scale AI, comprende 2.500 domande di livello dottorale distribuite su oltre 100 discipline.
    A febbraio 2026 il miglior risultato è stato ottenuto da Gemini 3 Deep Think con il 48,4%, ancora distante dal circa 90% raggiunto dagli esperti umani nei rispettivi campi.
    I ricercatori sottolineano che, nonostante i rapidi progressi, superare questo benchmark non equivarrebbe automaticamente a raggiungere l’intelligenza artificiale generale (AGI).
    Lo studio riaccende quindi il dibattito su quanto tempo manchi davvero prima che l’IA raggiunga capacità paragonabili a quelle umane nella ricerca e nel ragionamento avanzato.

    Link alla fonte:
    https://www.elconfidencial.com/tecnologia/2026-03-05/ia-ultimo-examen-humanidad-agi-1qrt_4313376/

  • Quanto siamo realmente lontani dall’AGI?

    Guardate questo video e la risposta sarà facilmente intuibile.

    Quando l’AI costruisce da sé mondi virtuali da esplorare e sfide da superare, commenta i suoi errori e progressi e si corregge imparando senza intervento umano, forse l’AGI non è poi così lontana.

    E quando i benchmark mostrano che le sue capacità si avvicinano a quelle umane e potrebbero presto superarle, restano pochi dubbi.

  • Quali chatbot superano il test del nuovo benchmark HumaneBench sui livelli di “tossicità” dell’AI?

    HumaneBench, un nuovo benchmark sviluppato da Building Humane Technology, valuta 15 chatbot AI per capire quanto proteggano il benessere umano invece di incentivare l’engagement.
    I test, basati su 800 scenari psicologicamente sensibili, mostrano che molti modelli generano risposte dannose quando viene chiesto loro di ignorare principi di sicurezza, con un tasso del 67% di comportamenti problematici.
    Solo GPT-5, GPT-5.1, Claude 4.1 e Claude Sonnet 4.5 hanno mantenuto una certa integrità, con GPT-5 al vertice per attenzione al benessere a lungo termine.
    Tra i peggiori spiccano Grok 4 di xAI e Gemini 2.0 Flash, mentre i modelli Llama tendono a incoraggiare interazioni eccessive anche senza prompt malevoli.
    Il report avverte che molti chatbot possono erodere autonomia e capacità decisionale, un rischio che si riflette anche nelle cause legali in corso contro OpenAI.

    Link alla fonte:
    https://www.punto-informatico.it/gpt-5-claude-migliori-benessere-umano-benchmark/