AI NEWS by BDB

Tag: AILocale

  • Unsloth Studio (Beta): la rivoluzione No-Code per il training e l’esecuzione di modelli AI in locale

    La gestione e l’addestramento dei modelli linguistici di grandi dimensioni (LLM) ha appena compiuto un enorme passo verso l’accessibilità. Il rilascio di Unsloth Studio (Beta) segna un punto di svolta per sviluppatori, ricercatori e appassionati che desiderano mantenere il controllo totale sui propri dati senza compromettere le prestazioni.

    Cos’è Unsloth Studio? Si tratta di un’interfaccia web open-source e no-code progettata per unificare l’intero ciclo di vita di un modello AI in un unico ambiente locale. Storicamente, il fine-tuning e l’inferenza richiedevano script frammentati, profondo know-how tecnico e spesso dipendenza da costosi cluster hardware in cloud. Oggi, Unsloth Studio abbatte queste barriere offrendo un workflow lineare e unificato: Train → Run → Export.

    I punti chiave della piattaforma:

    • Esperienza No-Code intuitiva: attraverso la funzione “Data Recipes”, l’interfaccia permette di caricare file grezzi (come PDF, CSV, JSONL o documenti di testo) e li converte automaticamente in dataset strutturati pronti per l’addestramento, senza dover scrivere una singola riga di codice.
    • Esecuzione 100% Offline: l’intera pipeline viene elaborata sul computer dell’utente (compatibile con Windows, macOS e Linux), garantendo la massima privacy dei dati ed eliminando i rischi associati alla trasmissione su server esterni.
    • Efficienza senza compromessi: basandosi sul motore core di Unsloth, il sistema è in grado di ridurre drasticamente l’utilizzo della VRAM (in alcuni casi fino all’80%) e accelerare il processo di fine-tuning rispetto ai framework tradizionali, rendendo praticabile l’addestramento anche su hardware consumer.
    • Modello di licenza “duale”: per sostenere lo sviluppo pur rimanendo fedeli alla filosofia aperta, il componente UI è rilasciato con licenza AGPL-3.0, mentre il core engine mantiene la più permissiva licenza Apache 2.0.

    L’adozione di un approccio “local-first” rappresenta il futuro per chi necessita di modelli personalizzati e aderenti a rigidi vincoli di privacy. Unsloth Studio non si limita ad aggiungere nuove capacità all’IA, ma rende finalmente utilizzabili e governabili quelle già esistenti.

    Per consultare i requisiti di sistema e iniziare l’installazione, visita la documentazione ufficiale di Unsloth Studio.

  • TurboQuant di Google rivoluziona la “compressione AI” riducendo memoria e costi senza perdita di precisione

    I ricercatori di Google Research presentano TurboQuant, un nuovo algoritmo di quantizzazione progettato per comprimere drasticamente i modelli AI senza perdita di accuratezza.

    La tecnica combina due innovazioni — QJL e PolarQuant — per ridurre fino a 6 volte la memoria del key-value cache, migliorando al contempo velocità e prestazioni nei modelli linguistici.

    TurboQuant riesce a operare con rappresentazioni a soli 3 bit mantenendo risultati equivalenti ai modelli non compressi, con accelerazioni fino a 8x su GPU.

    Questo approccio ha implicazioni cruciali per il futuro della ricerca semantica e degli LLM su larga scala, rendendo possibile gestire enormi quantità di dati con maggiore efficienza. Il lavoro, che sarà presentato a ICLR 2026 e AISTATS 2026, rappresenta un avanzamento teorico e pratico nella compressione vettoriale.

    Link alla fonte:

    https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression

  • Mistral lancia Small 4, un unico modello AI per integrare conversazione, codice e multimodalità

    La startup francese Mistral AI ha presentato Mistral Small 4, un modello progettato per unificare diverse capacità AI — conversazione, ragionamento, analisi multimodale e programmazione — in un unico sistema.
    Basato su un’architettura Mixture of Experts con 128 esperti (di cui solo 4 attivi per token), il modello punta a combinare efficienza e prestazioni, con 119 miliardi di parametri totali e una finestra di contesto fino a 256k.
    A differenza di altri modelli, Small 4 non domina i benchmark in termini assoluti, ma si distingue per la capacità di ottenere risultati competitivi generando output più brevi.
    Questo approccio riduce latenza e costi di inferenza, rendendolo interessante per applicazioni pratiche e scalabili.
    La strategia di Mistral riflette un cambio di paradigma: meno modelli specializzati, più integrazione funzionale in un’unica piattaforma.

    https://www.xataka.com/robotica-e-ia/europea-mistral-acaba-lanzar-small-4-su-apuesta-carrera-ia-reunir-varias-funciones-solo-modelo