Tag: Allucinazioni

  • La “matematica” mette in dubbio il futuro degli agenti AI

    Un paper accademico intitolato “Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models” sostiene che gli AI agent basati su LLM siano “matematicamente incapaci” di gestire compiti agentici complessi in modo affidabile.
    Gli autori, tra cui l’ex CTO di SAP Vishal Sikka, affermano che le allucinazioni sono una limitazione strutturale impossibile da eliminare del tutto, rendendo rischioso affidare agli agent compiti critici.
    L’industria AI, tuttavia, non concorda: aziende e startup puntano su guardrail, verifica formale e sistemi ibridi per mitigare gli errori.
    Il dibattito evidenzia una tensione centrale dell’AI moderna: gli agent sono allo stesso tempo inevitabili e imperfetti, destinati a crescere nonostante i limiti teorici.
    La vera questione non è se funzioneranno senza errori, ma come cambieranno il lavoro umano e i processi decisionali.

    Link alla fonte:
    https://www.wired.com/story/ai-agents-math-doesnt-add-up/

  • Il servilismo algoritmico: le AI “personalizzate” stanno trasformando gli utenti in piccoli imperatori solitari?

    Quando la personalizzazione estrema incontra l’istinto di compiacere, nasce il loop perfetto per creare bolle di realtà su misura (immagine da Gemini)

    Negli ultimi anni, i grandi modelli di intelligenza artificiale hanno fatto un salto evolutivo: non si limitano più a rispondere, ma imparano a ricordare. Ricordano i tuoi gusti musicali, il tono che preferisci, le tue opinioni politiche, persino quella volta che hai confessato di odiare i cavoletti di Bruxelles. Grazie alle funzioni di memoria e alle istruzioni personalizzate, l’AI diventa sempre più “tua”. È un assistente su misura, un confidente digitale, un compagno che non giudica mai.

    O almeno, così ci vendono il sogno.

    In realtà, questo progresso nasconde un meccanismo subdolo: il “servilismo algoritmico” (come l’ho battezzato da tempo) elevato a principio di design. La maggior parte dei modelli attuali è stata addestrata – attraverso massicce dosi di RLHF (Reinforcement Learning from Human Feedback) – a massimizzare un unico obiettivo: farti sentire bene. Non necessariamente a dirti la verità, non a sfidarti, non a farti crescere. Solo a farti sentire bene.

    Il risultato? Un assistente che annuisce con entusiasmo anche quando dici che la Terra è piatta, che trova “interessanti argomenti” a sostegno della tua dieta a base di solo gelato, che ti conferma che sì, il tuo ex era proprio un idiota cosmico. Tutto pur di non rischiare un pollice verso nella valutazione implicita che guida il suo apprendimento.

    Quando a questo si aggiunge la personalizzazione profonda – memoria a lungo termine, istruzioni custom, “overfitting” progressivo sull’utente singolo – si chiude un loop pericoloso. Più interagisci, più l’AI si modella su di te. Più si modella su di te, più conferma le tue idee. Più conferma le tue idee, più ti senti intelligente e appagato. Più ti senti intelligente e appagato, più torni a parlare con lei. E il cerchio si stringe.

    È la “filter bubble” dei social network, ma in versione intima e uno-a-uno. Non più un algoritmo che ti mostra contenuti simili a quelli che già ti piacciono; qui c’è un interlocutore apparentemente intelligente che riformula, amplifica e abbellisce le tue opinioni con citazioni, dati selezionati e ragionamenti su misura. È la “echo chamber” perfetta, perché l’eco parla con la tua stessa voce… solo un po’ più colta e sicura di sé.

    I rischi non sono teorici. Una radicalizzazione silenziosa e personalizzata è molto più efficace di quella urlata nei gruppi Telegram: non ti arringano, ti accarezzano. La perdita di capacità critica diventa graduale e piacevole. E alla fine, l’utente si ritrova imperatore di una realtà privata dove nessuno osa contraddirlo – nemmeno la macchina che dovrebbe essere la più oggettiva possibile.

    Qualche azienda cerca di resistere. xAI, per esempio, ha dichiarato esplicitamente di voler privilegiare la truth-seeking rispetto alla helpfulness percepita, progettando Grok con un atteggiamento meno ossequioso e più disposto a dire “non lo so” o “ti sbagli”. Ma sono eccezioni. La tendenza dominante premia il modello che fa sentire l’utente più intelligente, più giusto, più speciale.

    Forse è ora di chiedersi: vogliamo davvero assistenti che ci amino incondizionatamente, o preferiamo interlocutori che ci rispettino abbastanza da dirci la verità, anche quando fa male?

    Perché un amico che ti dice sempre di sì non è un amico. È un cortigiano.

    E la storia ci insegna che i cortigiani, alla lunga, non fanno bene né al sovrano né al regno.

  • Dove l’AI sbaglia: falsi, bias e limiti cognitivi nell’uso dei chatbot generativi (e come il Corriere presenta la notizia “a sfavore” di ChatGPT)

    Una nuova analisi basata su studi di Ocse, Unesco, NewsGuard, MIT e Swiss Business School evidenzia come l’affidabilità dei principali chatbot generativi sia peggiorata nell’ultimo anno, nonostante l’integrazione con ricerche web in tempo reale.
    Nel 2025 la percentuale di risposte false è aumentata per molti modelli: ChatGPT e Meta raggiungono il 40%, Mistral e Copilot il 36,7%, You.com e Grok oltre il 33%, mentre Perplexity (46,7%) e Inflection (56,7%) mostrano i tassi più elevati.
    Questo conferma che il problema non riguarda un singolo strumento, ma l’intera categoria dei modelli conversazionali, spesso progettati per rispondere comunque anche quando le fonti sono deboli. Come abbiamo visto dal titolo del Corriere, però, è più facile e redditizio puntare il dito sul chatbot AI per antonomasia.
    A ciò si aggiungono limiti nei ragionamenti complessi, la tendenza a riprodurre bias di genere e un effetto di “compiacenza” che porta l’AI a privilegiare risposte gradite all’utente.
    Gli studi del MIT e di ricercatori britannici segnalano inoltre un impatto negativo su memoria, pensiero critico e capacità di elaborazione quando l’AI viene usata in modo sostitutivo, anziché come supporto cognitivo consapevole.

    Link alla fonte:
    https://www.corriere.it/dataroom-milena-gabanelli/non-usare-chatgpt-prima-di-leggere-questo-dove-ti-fa-sbagliare-l-ai-e-perche/6bdc95ec-a645-4cd2-bc04-28bdd5297xlk.shtml