Taalas lancia HC1, chip “hardcore” che promette inferenza 10x più veloce e più economica
La startup Taalas, fondata da Ljubisa Bajic, è uscita dalla “modalità stealth” presentando HC1, un chip ASIC “hardcore” che integra direttamente modello e pesi nel silicio stesso, eliminando la necessità della tradizionale programmazione via software.
Il primo caso d’uso è una versione ottimizzata di Llama 3.1 8B, con performance dichiarate fino a 10 volte superiori rispetto alle piattaforme di inferenza più veloci attuali e costi per token drasticamente inferiori rispetto alle GPU.
L’architettura punta sulla massima specializzazione: ogni chip è progettato per un singolo modello, con aggiornamenti possibili in circa due mesi tramite modifiche a due layer metallici.
I vantaggi in termini di velocità, consumi energetici e costi sono significativi, ma restano dubbi sulla scalabilità operativa e sulla gestione di più versioni hardware nei data center.
Se adottato su larga scala, l’approccio di Taalas potrebbe ridefinire l’economia dell’inferenza AI e inaugurare una nuova fase di specializzazione estrema nell’hardware per l’intelligenza artificiale.
Link alla fonte: