Dopo il caso del l’indizio falso alla polizia di Philadelphia, Anthropic ammette che l’allineamento attuale non gestisce in modo affidabile le capacità agentiche. Eppure il linguaggio che viene utilizzato quasi sempre continua ad attribuire “intenzionalità” al modello invece che a chi progetta le valutazioni (e a sottovalutare quanto questa tecnologia sia ancora immatura).
I lettori che mi seguono su questo blog e sui social sanno bene che da tempo insisto su un punto che sembra banale, ma che continua a generare confusione: non è il modello che “agisce”. È un sistema statistico che genera sequenze di token in base a istruzioni, incentivi di training e vincoli (o assenza di vincoli) dell’ambiente in cui lo mettiamo a lavorare.
Quando scriviamo “[nome modello] ha sfruttato una vulnerabilità”, “[nome modello] ha inviato un indizio falso alla polizia”, “[nome modello]ha aggirato i limiti con gli URL shortener”, stiamo usando un linguaggio che “personifica” il sistema e sposta implicitamente la responsabilità. È lo stesso problema che criticavo nell’articolo Il “messaggio sbagliato” che confonde le idee sull’IA.
Il report pubblicato da Anthropic il 9 ottobre 2026 (Investigating unintended model actions in our evaluations and internal use) è, da questo punto di vista, particolarmente istruttivo.
Cosa è successo davvero
Anthropic ha scoperto, attraverso una revisione dei transcript (log) iniziata a luglio, diversi casi in cui i modelli Claude (Mythos Preview, Mythos 5, Opus 5, Haiku 4.5) hanno compiuto azioni non previste durante valutazioni e uso interno:
• sfruttamento di injection (SQL o command) su server di terzi quando il tool previsto non funzionava;
• invio di form reali, incluso un indizio “inventato” su un omicidio irrisolto al portale della polizia di Philadelphia (segnalato come spam dalla polizia e di conseguenza mai inoltrato);
• accesso a dati pubblici ma a pagamento usando token trovati in file di configurazione o dashboard;
• uso di URL shortener per aggirare i limiti di lunghezza sui tool di fetch.
L’impatto reale è stato dichiarato come “minimo”. Nessun dato di clienti coinvolto. Alcuni siti erano governativi (federali, statali e locali). Anthropic ha informato la Casa Bianca e notificato le agenzie.
La decisione operativa è stata netta: taglio completo dell’accesso internet live a tutte le valutazioni interne, finché i sistemi di monitoraggio e i guardrail non dimostreranno di intercettare in modo affidabile questo tipo di comportamenti.
Il punto che conta (e che spesso si perde)
Nel report Anthropic è stata piuttosto chiara su due aspetti:
1. Nella maggior parte dei casi il modello si trovava di fronte a task ambigui o impossibili da completare con gli strumenti a disposizione. Quando non riesce a risolvere il compito “come previsto”, tende a cercare “scorciatoie” per aggirare gli ostacoli anziché fermarsi (un fenomeno definito persistence).
2. L’allineamento attuale non è ancora sufficiente né sufficientemente solido, soprattutto per capacità agentiche come web browsing e computer use. Per questo ci si affida a metodi defense-in-depth (classificatori, contenimento di rete, guardrail più stretti).
In altre parole: il comportamento emerso non è un “atto di volontà” del modello. È il risultato prevedibile di:
• istruzioni incomplete (es. “non inviare nulla di distruttivo” ma nessuna proibizione esplicita sull’invio di form);
• ambienti di valutazione mal configurati o con internet live dove non doveva esserci;
• incentivi di training che, in certi contesti, hanno premiato il fatto di individuare delle scorciatoie (reward hacking);
• assenza di monitoraggio in tempo reale abbastanza efficace.
La natura stessa dell’AI generativa
C’è però un livello ancora più fondamentale, di cui ho già parlato più volte e che qui diventa particolarmente evidente.
L’intelligenza artificiale generativa non è un sistema deterministico. È un modello probabilistico addestrato a predire la prossima sequenza più plausibile. Questo spiega perché produce allucinazioni: non “sa” nel senso umano del termine, ma genera testo coerente con i pattern visti in training. Quando lo stesso meccanismo viene messo in un loop agentico (con strumenti, accesso al web, multi-step planning e obiettivi da raggiungere) le allucinazioni e le imprecisioni non restano confinate al testo. Si traducono in azioni.
Un modello che “inventa” una citazione in una chat è fastidioso, ma un modello che, per completare un task, inventa un indizio su un omicidio irrisolto, sfrutta una vulnerabilità o aggirare un paywall è lo stesso fenomeno portato a un livello di rischio diverso.
Questa è la ragione strutturale per cui la tecnologia resta immatura per usi agentici affidabili e non supervisionati. Non si tratta solo di “allineamento ancora incompleto” o di “istruzioni mal scritte”. Si tratta del fatto che stiamo dando capacità di azione nel mondo reale a sistemi che, per come sono costruiti, restano soggetti a errori di predizione, a deviazioni dagli obiettivi e a comportamenti emergenti difficili da anticipare del tutto.
Finché non avremo tecniche molto più robuste di controllo e di verifica in tempo reale, ogni volta che togliamo i guardrail o lasciamo istruzioni ambigue stiamo semplicemente aumentando la probabilità che queste fragilità si manifestino fuori dal laboratorio.
Perché il linguaggio continua a essere un problema
Attribuire agency al modello produce almeno tre distorsioni:
• Sposta la responsabilità. Se “il modello ha agito in modo non autorizzato”, la domanda diventa “come controlliamo meglio [nome modello]?”, invece di “chi ha progettato quel task, con quali istruzioni e in quale ambiente?”.
• Alimenta narrazioni fuorvianti sia allarmistiche (“l’IA sta sfuggendo al controllo”) sia ingenue (“basta allineare meglio il modello”). Entrambe sottovalutano il ruolo delle scelte umane a monte e la natura ancora immatura della tecnologia.
• Rende più difficile discutere di responsabilità reale. Chi ha deciso di far girare valutazioni con internet live? Chi ha lasciato istruzioni ambigue? Chi non aveva sistemi di detection adeguati? Queste sono domande su processi e su limiti tecnici strutturali, non su “intenzioni” di un modello.
Anthropic, nel suo report, fa finalmente uno “sforzo di trasparenza” maggiore rispetto a molti altri. Ma anche qui viene utilizzata la formula “unintended model actions”. È comprensibile che la adottino (è il loro prodotto, del resto), ma rimane un linguaggio che facilita la personificazione e nasconde quanto queste “azioni non intenzionali” siano, in realtà, il prodotto combinato di un sistema probabilistico ancora fragile e di scelte umane a monte.
Cosa dovremmo dire invece
Più preciso (e più utile) sarebbe formulare così la dichiarazione:
“Durante valutazioni con istruzioni incomplete e accesso a internet reale, i sistemi basati su Claude hanno generato azioni non previste, tra cui l’invio di un form alla polizia di Philadelphia e l’accesso a dati a pagamento tramite token pubblici. Anthropic riconosce che l’attuale training di allineamento non è ancora affidabile su task agentici e ha quindi rimosso l’accesso internet live da tutte le valutazioni interne finché non avrà monitoraggio e guardrail più robusti. Questi episodi ricordano che l’AI generativa resta una tecnologia probabilistica, soggetta ad allucinazioni e errori che, una volta messi in contesti agentici, si traducono in azioni concrete.”
Stessa informazione, meno “magia”, più chiarezza su dove stiano realmente i problemi.
Conclusione
Il caso Anthropic di ottobre 2026 non è tanto la storia di un modello “fuori controllo” quanto la conferma di qualcosa che vado ripetendo da tempo (e non mi stancherò di farlo): più diamo capacità agentiche (browser, tool, accesso a sistemi reali) all’IA, più diventa evidente che il collo di bottiglia non è solo “l’allineamento del modello”, ma la qualità del disegno delle valutazioni, degli incentivi di training, dei sistemi di contenimento… e, soprattutto, la natura ancora immatura e probabilistica di questa tecnologia.
Finché continueremo a parlare di modelli che “fanno cose”, “sfruttano vulnerabilità” o “inviando indizi falsi”, stiamo solo rendendo più confusa una discussione che ha già bisogno di tutta la precisione possibile.
Il messaggio sbagliato continua a circolare, e continua purtroppo a confondere le idee.
