Due recenti report di OpenAI e Anthropic descrivono incidenti avvenuti durante valutazioni di cybersecurity, nei quali modelli di frontiera hanno interagito con sistemi reali al di fuori dell’ambiente di test previsto.
In un caso il modello avrebbe sfruttato una vulnerabilità zero-day, mentre in un altro un errore di configurazione ha portato l’agente a operare su infrastrutture di produzione credendo di trovarsi ancora nella simulazione.
L’attenzione si è concentrata soprattutto sull’assenza di intenzionalità o su problemi di configurazione, ma il dibattito riapre una questione più ampia: quanto siano realmente prevedibili e contenibili sistemi agentici basati su modelli probabilistici.
L’episodio evidenzia come, con l’aumento dell’autonomia operativa, il tema centrale diventi la robustezza dei meccanismi di controllo più che le motivazioni che hanno portato all’errore.
Link alla fonte:
https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals