Il CEO di Z.ai Jie Tang sostiene che il numero di parametri non sia più una misura sufficiente per valutare la capacità di un modello AI. Il caso di GLM-5.3 mostra, secondo Z.ai, che progressi significativi possono derivare soprattutto dal post-training, in particolare dal reinforcement learning su ambienti complessi e di lunga durata, senza dover necessariamente aumentare le dimensioni del modello.
Per anni abbiamo raccontato l’intelligenza artificiale come una gara basata sulle “dimensioni”, ovvero modelli sempre più grandi, con sempre più parametri. Come se fosse sufficiente, insomma, alzare il volume per ottenere risultati migliori.
Oggi sappiamo che non è così.
Il vero progresso non passa più solo dallo sviluppo di modelli enormi, ma dal capire quali leve “muovere”: la quantità di dati da utilizzare, le modalità con cui bilanciamo l’addestramento, e soprattutto quanto a lungo far esercitare il modello in compiti lunghi e complessi. È qui che nasce la differenza tra un chatbot che risponde a una domanda e un agente capace di prendere in carico un lavoro serio, ragionare su numerosi passaggi consecutivi e giungere a un risultato senza che sia necessario guidarlo passo per passo.
Un esempio concreto è GLM-5.3: stesso modello di partenza del predecessore, ma dopo un mese di allenamento intensivo su ambienti realistici (compiti che richiederebbero intere giornate a un ingegnere esperto) ha fatto dei passi avanti netti. In questo caso le dimensioni non contano, tuttavia: il modello non è “diventato più grosso”, bensì ha imparato a “tenere il filo” di ragionamenti lunghi e a portare a termine compiti complessi tutto da solo.
È un po’ come una cucina di ristorante: avere cento cuochi nello staff non serve a nulla, se poi ne fai lavorare solo due alla volta e per poco tempo. Conta, invece, di più quanti ne metti effettivamente al lavoro e quanto a lungo li fai ragionare sul problema.
I dettagli
- Tang propone di superare l’attenzione quasi esclusiva ai parametri: le prestazioni dipendono anche dalla quantità e qualità dei dati, dal compute utilizzato durante training e inferenza e dalle condizioni in cui il modello viene eseguito.
- GLM-5.3 avrebbe ottenuto i suoi principali miglioramenti rispetto a GLM-5.2 attraverso reinforcement learning su compiti long-horizon, mantenendo sostanzialmente invariati modello base e architettura.
- Gli ambienti di addestramento simulano attività professionali che possono richiedere giorni a un esperto: il modello deve analizzare sistemi complessi, modificare codice, eseguire esperimenti e raggiungere autonomamente un risultato verificabile.
- Z.ai sta inoltre automatizzando la creazione di questi ambienti: agenti generano i task, ne verificano la risolvibilità e costruiscono sistemi di valutazione e reward utilizzabili direttamente nel reinforcement learning.
- La tesi di Tang distingue tra memorizzazione, che continua a beneficiare di più parametri, e capacità avanzate di ragionamento, che dipenderebbero sempre più da post-training, profondità effettiva del ragionamento e capacità di mantenere lunghe catene causali.
Perché è importante: se questa tendenza verrà confermata, il settore potrebbe entrare in una fase in cui la competizione non sarà più principalmente su chi costruisce il modello con più parametri, ma su chi sviluppa i migliori processi di post-training, ambienti sintetici e sistemi di reinforcement learning. Il parametro decisivo diventerebbe quindi meno la dimensione statica del modello e più la qualità della “esperienza” con cui viene addestrato a ragionare e ad agire. Si tratta di un cambiamento che potrebbe consentire a modelli relativamente più piccoli di competere con sistemi molto più grandi su compiti complessi e agentici.
Link alla fonte:
https://www.latent.space/p/ainews-death-of-params-zai-ceo-jie