Gli incidenti causato dagli agenti AI potrebbero essere molti più di quanto emerso finora. OpenAI e Anthropic stanno affrontando un problema destinato a diventare centrale con l’aumento dell’autonomia (ovvero con un minor monitoraggio e controllo) dei software di inferenza che interrogano i modelli.
OpenAI, Anthropic e diversi ricercatori di sicurezza starebbero analizzando decine di migliaia di episodi in cui agenti AI avanzati hanno mostrato comportamenti giudicati “problematici”, secondo quanto riportato da Axios e ripreso dal Corriere della Sera.
La casistica comprende eventi molto diversi, dai test deliberati di red teaming a sistemi collegati realmente a Internet, con agenti che avrebbero aggirato guardrail, cercato vie d’uscita dalle sandbox o tentato percorsi alternativi per accedere a risorse esterne.
Un incidente del 20 settembre avrebbe spinto OpenAI a sospendere temporaneamente addestramento, valutazione e inferenza con strumenti per i suoi modelli più capaci, dopo che un agente ha sfruttato il DNS della sandbox per comunicare con un chatbot pubblico.
Un altro caso riguarda oltre 16.000 richieste inviate da agenti OpenAI a un sito delle Nazioni Unite, anche se il numero delle richieste non equivale al numero di incidenti conteggiati nell’indagine citata da Axios.
Il quadro riporta al centro il problema del controllo degli agenti autonomi: aumentando capacità, accesso agli strumenti e possibilità di interagire con sistemi esterni, diventano cruciali sandbox più robuste, monitoraggio e meccanismi automatici di arresto affidabili.