Il pericolo dell’IA militare potrebbe non essere una macchina che prende il comando, ma un essere umano che smette gradualmente di esercitarlo. L’IA può sicuramente accelerare le decisioni militari, infatti, ma affidarsi troppo agli algoritmi rischia di indebolire proprio le capacità necessarie per riconoscere quando sbagliano.
L’adozione crescente dell’intelligenza artificiale nelle forze armate potrebbe produrre un effetto paradossale: rendere più efficienti le operazioni ma indebolire progressivamente le capacità cognitive di soldati e comandanti. Emelia S. Probasco, ricercatrice del Center for Security and Emerging Technology, richiama l’attenzione sull’“automation bias”, la tendenza a fidarsi delle indicazioni algoritmiche anche quando il giudizio umano suggerisce il contrario. Il rischio aumenta con sistemi generativi capaci non solo di fornire risposte, ma anche di costruire spiegazioni convincenti, proporre piani e organizzare informazioni, mentre strumenti come il Maven Smart System consentono di ridurre drasticamente il personale necessario per alcune attività. Una forza armata “AI-first” potrebbe così perdere proprio l’esperienza necessaria per riconoscere gli errori delle macchine. Per mantenere davvero l’uomo nel processo decisionale serviranno quindi formazione continua, competenze operative sull’IA e procedure capaci di verificare se la tecnologia sta potenziando il giudizio umano oppure lo sta sostituendo.
Quando la personalizzazione estrema incontra l’istinto di compiacere, nasce il loop perfetto per creare bolle di realtà su misura (immagine da Gemini)
Negli ultimi anni, i grandi modelli di intelligenza artificiale hanno fatto un salto evolutivo: non si limitano più a rispondere, ma imparano a ricordare. Ricordano i tuoi gusti musicali, il tono che preferisci, le tue opinioni politiche, persino quella volta che hai confessato di odiare i cavoletti di Bruxelles. Grazie alle funzioni di memoria e alle istruzioni personalizzate, l’AI diventa sempre più “tua”. È un assistente su misura, un confidente digitale, un compagno che non giudica mai.
O almeno, così ci vendono il sogno.
In realtà, questo progresso nasconde un meccanismo subdolo: il “servilismo algoritmico” (come l’ho battezzato da tempo) elevato a principio di design. La maggior parte dei modelli attuali è stata addestrata – attraverso massicce dosi di RLHF (Reinforcement Learning from Human Feedback) – a massimizzare un unico obiettivo: farti sentire bene. Non necessariamente a dirti la verità, non a sfidarti, non a farti crescere. Solo a farti sentire bene.
Il risultato? Un assistente che annuisce con entusiasmo anche quando dici che la Terra è piatta, che trova “interessanti argomenti” a sostegno della tua dieta a base di solo gelato, che ti conferma che sì, il tuo ex era proprio un idiota cosmico. Tutto pur di non rischiare un pollice verso nella valutazione implicita che guida il suo apprendimento.
Quando a questo si aggiunge la personalizzazione profonda – memoria a lungo termine, istruzioni custom, “overfitting” progressivo sull’utente singolo – si chiude un loop pericoloso. Più interagisci, più l’AI si modella su di te. Più si modella su di te, più conferma le tue idee. Più conferma le tue idee, più ti senti intelligente e appagato. Più ti senti intelligente e appagato, più torni a parlare con lei. E il cerchio si stringe.
È la “filter bubble” dei social network, ma in versione intima e uno-a-uno. Non più un algoritmo che ti mostra contenuti simili a quelli che già ti piacciono; qui c’è un interlocutore apparentemente intelligente che riformula, amplifica e abbellisce le tue opinioni con citazioni, dati selezionati e ragionamenti su misura. È la “echo chamber” perfetta, perché l’eco parla con la tua stessa voce… solo un po’ più colta e sicura di sé.
I rischi non sono teorici. Una radicalizzazione silenziosa e personalizzata è molto più efficace di quella urlata nei gruppi Telegram: non ti arringano, ti accarezzano. La perdita di capacità critica diventa graduale e piacevole. E alla fine, l’utente si ritrova imperatore di una realtà privata dove nessuno osa contraddirlo – nemmeno la macchina che dovrebbe essere la più oggettiva possibile.
Qualche azienda cerca di resistere. xAI, per esempio, ha dichiarato esplicitamente di voler privilegiare la truth-seeking rispetto alla helpfulness percepita, progettando Grok con un atteggiamento meno ossequioso e più disposto a dire “non lo so” o “ti sbagli”. Ma sono eccezioni. La tendenza dominante premia il modello che fa sentire l’utente più intelligente, più giusto, più speciale.
Forse è ora di chiedersi: vogliamo davvero assistenti che ci amino incondizionatamente, o preferiamo interlocutori che ci rispettino abbastanza da dirci la verità, anche quando fa male?
Perché un amico che ti dice sempre di sì non è un amico. È un cortigiano.
E la storia ci insegna che i cortigiani, alla lunga, non fanno bene né al sovrano né al regno.
