Un paper accademico intitolato “Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models” sostiene che gli AI agent basati su LLM siano “matematicamente incapaci” di gestire compiti agentici complessi in modo affidabile.
Gli autori, tra cui l’ex CTO di SAP Vishal Sikka, affermano che le allucinazioni sono una limitazione strutturale impossibile da eliminare del tutto, rendendo rischioso affidare agli agent compiti critici.
L’industria AI, tuttavia, non concorda: aziende e startup puntano su guardrail, verifica formale e sistemi ibridi per mitigare gli errori.
Il dibattito evidenzia una tensione centrale dell’AI moderna: gli agent sono allo stesso tempo inevitabili e imperfetti, destinati a crescere nonostante i limiti teorici.
La vera questione non è se funzioneranno senza errori, ma come cambieranno il lavoro umano e i processi decisionali.
Link alla fonte:
https://www.wired.com/story/ai-agents-math-doesnt-add-up/
