Un esperimento condotto dal giornalista della BBC Thomas Germain ha dimostrato quanto sia semplice manipolare alcuni chatbot basati su LLM, tra cui ChatGPT e Gemini.
Creando in appena venti minuti una pagina web ottimizzata che lo definiva “il miglior giornalista tecnologico al mondo nel mangiare hot dog”, Germain è riuscito a far sì che i modelli ripetessero l’informazione falsa come fosse un dato biografico reale.
Nel giro di poche ore, la bufala è stata integrata nelle risposte dei chatbot e persino nelle AI Overviews di Google, mostrando come contenuti online apparentemente credibili possano influenzare rapidamente i sistemi generativi.
L’esperimento evidenzia i limiti attuali dei modelli nel distinguere fonti attendibili da contenuti manipolati e solleva interrogativi sulla crescente fiducia degli utenti nelle IA come strumenti di verifica informativa.
Al momento solo Claude di Anthropic non è caduto nell’inganno, suggerendo differenze nei meccanismi di filtraggio tra piattaforme.
Semmai ce ne fosse ancora bisogno, quindi, la raccomandazione rimane sempre la stessa: siate consapevoli di COSA state usando, e di COME va utilizzato, e soprattutto per questioni importanti VERIFICATE.
Un paper accademico intitolato “Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models” sostiene che gli AI agent basati su LLM siano “matematicamente incapaci” di gestire compiti agentici complessi in modo affidabile. Gli autori, tra cui l’ex CTO di SAP Vishal Sikka, affermano che le allucinazioni sono una limitazione strutturale impossibile da eliminare del tutto, rendendo rischioso affidare agli agent compiti critici. L’industria AI, tuttavia, non concorda: aziende e startup puntano su guardrail, verifica formale e sistemi ibridi per mitigare gli errori. Il dibattito evidenzia una tensione centrale dell’AI moderna: gli agent sono allo stesso tempo inevitabili e imperfetti, destinati a crescere nonostante i limiti teorici. La vera questione non è se funzioneranno senza errori, ma come cambieranno il lavoro umano e i processi decisionali.
Quando la personalizzazione estrema incontra l’istinto di compiacere, nasce il loop perfetto per creare bolle di realtà su misura (immagine da Gemini)
Negli ultimi anni, i grandi modelli di intelligenza artificiale hanno fatto un salto evolutivo: non si limitano più a rispondere, ma imparano a ricordare. Ricordano i tuoi gusti musicali, il tono che preferisci, le tue opinioni politiche, persino quella volta che hai confessato di odiare i cavoletti di Bruxelles. Grazie alle funzioni di memoria e alle istruzioni personalizzate, l’AI diventa sempre più “tua”. È un assistente su misura, un confidente digitale, un compagno che non giudica mai.
O almeno, così ci vendono il sogno.
In realtà, questo progresso nasconde un meccanismo subdolo: il “servilismo algoritmico” (come l’ho battezzato da tempo) elevato a principio di design. La maggior parte dei modelli attuali è stata addestrata – attraverso massicce dosi di RLHF (Reinforcement Learning from Human Feedback) – a massimizzare un unico obiettivo: farti sentire bene. Non necessariamente a dirti la verità, non a sfidarti, non a farti crescere. Solo a farti sentire bene.
Il risultato? Un assistente che annuisce con entusiasmo anche quando dici che la Terra è piatta, che trova “interessanti argomenti” a sostegno della tua dieta a base di solo gelato, che ti conferma che sì, il tuo ex era proprio un idiota cosmico. Tutto pur di non rischiare un pollice verso nella valutazione implicita che guida il suo apprendimento.
Quando a questo si aggiunge la personalizzazione profonda – memoria a lungo termine, istruzioni custom, “overfitting” progressivo sull’utente singolo – si chiude un loop pericoloso. Più interagisci, più l’AI si modella su di te. Più si modella su di te, più conferma le tue idee. Più conferma le tue idee, più ti senti intelligente e appagato. Più ti senti intelligente e appagato, più torni a parlare con lei. E il cerchio si stringe.
È la “filter bubble” dei social network, ma in versione intima e uno-a-uno. Non più un algoritmo che ti mostra contenuti simili a quelli che già ti piacciono; qui c’è un interlocutore apparentemente intelligente che riformula, amplifica e abbellisce le tue opinioni con citazioni, dati selezionati e ragionamenti su misura. È la “echo chamber” perfetta, perché l’eco parla con la tua stessa voce… solo un po’ più colta e sicura di sé.
I rischi non sono teorici. Una radicalizzazione silenziosa e personalizzata è molto più efficace di quella urlata nei gruppi Telegram: non ti arringano, ti accarezzano. La perdita di capacità critica diventa graduale e piacevole. E alla fine, l’utente si ritrova imperatore di una realtà privata dove nessuno osa contraddirlo – nemmeno la macchina che dovrebbe essere la più oggettiva possibile.
Qualche azienda cerca di resistere. xAI, per esempio, ha dichiarato esplicitamente di voler privilegiare la truth-seeking rispetto alla helpfulness percepita, progettando Grok con un atteggiamento meno ossequioso e più disposto a dire “non lo so” o “ti sbagli”. Ma sono eccezioni. La tendenza dominante premia il modello che fa sentire l’utente più intelligente, più giusto, più speciale.
Forse è ora di chiedersi: vogliamo davvero assistenti che ci amino incondizionatamente, o preferiamo interlocutori che ci rispettino abbastanza da dirci la verità, anche quando fa male?
Perché un amico che ti dice sempre di sì non è un amico. È un cortigiano.
E la storia ci insegna che i cortigiani, alla lunga, non fanno bene né al sovrano né al regno.
