Verso modelli linguistici più “culturali”: meno parametri, più efficienza

Negli ultimi anni, lo sviluppo dei modelli linguistici ha segnato un cambiamento di rotta, privilegiando l’efficienza e la qualità dell’addestramento rispetto alla sola crescita dei parametri. L’architettura Transformer del 2017 ha aperto la strada, ma oggi l’attenzione si concentra su modelli più piccoli – i cosiddetti Small Language Models (SLM) – e su metodologie di training più sofisticate. I tre filoni chiave dell’innovazione sono la multimodalità, l’interazione con strumenti esterni e l’ottimizzazione delle tecniche di apprendimento. La nuova sfida consiste nel bilanciare struttura e cultura, puntando su un’intelligenza artificiale meno energivora ma altrettanto performante.

Link alla fonte:
https://24plus.ilsole24ore.com/art/le-nuove-strategie-sviluppo-ai-piu-cultura-che-dimensioni-modelli-AHpoirpB