Istruzioni invisibili dentro un PDF possono alterare il giudizio di un modello IA. Uno studio dell’Università di Torino mostra quanto il problema possa diventare serio quando gli algoritmi partecipano a selezioni e revisioni.
Un team dell’Università di Torino ha dimostrato che istruzioni nascoste nei documenti digitali possono manipolare il giudizio dei modelli linguistici durante attività come revisione di paper e selezione di candidature.
Nei test descritti dallo studio, gli attacchi di prompt injection indiretta hanno raggiunto un tasso di successo fino al 99%, inducendo i modelli ad assegnare valutazioni elevate a documenti manipolati.
La vulnerabilità nasce dalla difficoltà dei sistemi generativi nel separare in modo affidabile il contenuto da analizzare dalle istruzioni incorporate al suo interno, con possibili conseguenze per recruiting e altri processi automatizzati basati su documenti.
Il problema assume particolare rilevanza nei contesti ad alto rischio, dove l’uso non verificato di input provenienti da terzi può compromettere l’affidabilità delle decisioni assistite dall’IA.
I ricercatori sperimentano inoltre una tecnica basata su sequenze di caratteri invisibili per identificare contenuti sintetici, riportando nei test un’accuratezza di rilevamento compresa tra l’87% e il 97%.
Link alla fonte: https://www.hwupgrade.it/news/web/testo-invisibile-nei-pdf-cosi-i-modelli-ia-vengono-manipolati-nelle-selezioni-lo-studio-dell-universita-di-torino_157807.html