I ricercatori hanno sottoposto i migliori modelli di intelligenza artificiale a un classico test di attenzione utilizzato in psicologia e hanno scoperto un grave difetto. Sebbene i modelli fossero in grado di nominare correttamente i colori in elenchi brevi, le loro prestazioni si deterioravano drasticamente man mano che il compito diventava più lungo e complesso. Alcuni sistemi all'avanguardia sono passati da un'accuratezza superiore al 90% a un fallimento quasi totale.
I ricercatori hanno sottoposto i migliori modelli di intelligenza artificiale a un classico test di attenzione utilizzato in psicologia e hanno scoperto un grave difetto. Sebbene i modelli fossero in grado di nominare correttamente i colori in elenchi brevi, le loro prestazioni si deterioravano drasticamente man mano che il compito diventava più lungo e complesso. Alcuni sistemi all’avanguardia sono passati da un’accuratezza superiore al 90% a un fallimento quasi totale. Immagine Crediti: AI/TheSolver.It

I sistemi di intelligenza artificiale possono scrivere saggi, rispondere a domande e risolvere problemi complessi. Ma una nuova ricerca suggerisce che potrebbero avere difficoltà in qualcosa che gli esseri umani fanno ogni giorno: rimanere concentrati sul compito da svolgere quando le distrazioni si frappongono.

I ricercatori guidati da Suketu Patel hanno sottoposto diversi modelli di intelligenza artificiale all’avanguardia a un noto esperimento psicologico chiamato test di Stroop. I risultati hanno rivelato una differenza significativa tra il modo in cui i sistemi di intelligenza artificiale elaborano le informazioni e il modo in cui il cervello umano gestisce l’attenzione.

Cos’è il test di Stroop?

Il test di Stroop è un classico test psicologico utilizzato da decenni per studiare l’attenzione, la concentrazione e l’autocontrollo.

Nel test, le parole che indicano colori come “rosso”, “blu” o “verde” sono visualizzate con inchiostro colorato. A volte la parola e il colore dell’inchiostro corrispondono. Ad esempio, la parola “rosso” potrebbe apparire in inchiostro rosso. Altre volte, invece, sono in contrasto, come nel caso della parola “rosso” stampata in inchiostro blu.

Ai partecipanti viene chiesto di nominare il colore dell’inchiostro anziché leggere la parola stessa.

Sembra semplice, ma rappresenta una sfida perché leggere le parole è un’abitudine automatica per la maggior parte delle persone. Il cervello deve sopprimere l’impulso di leggere la parola e concentrarsi invece sull’identificazione del colore dell’inchiostro.

Gli psicologi spesso utilizzano questo compito per misurare quello che viene definito controllo esecutivo, un insieme di processi mentali che aiutano le persone a regolare l’attenzione, resistere alle distrazioni e rimanere concentrate sugli obiettivi.

Perchè non farla

Ti piace il nostro
impegno nella divulgazione ?
Aiutaci offrendoci un caffè

Fai una donazione con PayPal

Di qualunque importo Con PayPal
Grazie per il sostegno

Test dell’attenzione dell’IA

I ricercatori volevano verificare se i moderni modelli linguistici di grandi dimensioni (LLM) affrontassero questa sfida nello stesso modo in cui lo fanno gli esseri umani.

I modelli linguistici lineari (LLM) sono i sistemi di intelligenza artificiale alla base di strumenti come ChatGPT, Claude e Gemini. Vengono addestrati su enormi quantità di testo e apprendono schemi linguistici, il che consente loro di generare risposte che spesso appaiono straordinariamente simili a quelle umane.

Quando venivano fornite loro brevi liste contenenti cinque parole che indicavano colori, i sistemi di intelligenza artificiale generalmente ottenevano buoni risultati, anche quando le parole e i colori non corrispondevano.

Tuttavia, la situazione è cambiata drasticamente man mano che le liste si allungavano.

GPT-40 ha raggiunto un’accuratezza del 91% lavorando con cinque parole. Con dieci parole, la sua accuratezza è scesa al 57%. Quando l’elenco è stato ampliato a quaranta parole, l’accuratezza è calata a solo il 15%.

Claude 3.5 Sonnet ha mantenuto prestazioni stabili con elenchi di venti parole, ma ha poi subito un brusco calo, scendendo al 24% di accuratezza con elenchi di quaranta parole.

I ricercatori hanno osservato schemi simili in GPT-5, Claude Opus 4.1 e Gemini 2.5.

Quando l’IA perde la concentrazione

La sfida si fece ancora più difficile quando, nella stessa lista, comparvero insieme parole che indicavano colori corrispondenti e parole che indicavano colori non corrispondenti.

In tali condizioni, le prestazioni sono ulteriormente peggiorate. In alcuni casi, la precisione per gli elementi non corrispondenti è scesa quasi a zero.

Secondo i ricercatori, i modelli di intelligenza artificiale avevano difficoltà a mantenere l’istruzione di identificare i colori dell’inchiostro. Di conseguenza, tendevano sempre più spesso a leggere le parole autonomamente.

In altre parole, i sistemi sembravano incapaci di sopprimere in modo coerente la risposta per la quale erano stati maggiormente addestrati.

Questa scoperta è particolarmente interessante perché gli esseri umani si trovano ad affrontare un conflitto simile. In genere, le persone sono molto più brave a leggere le parole che a nominare i colori dell’inchiostro. Eppure, nonostante questa limitazione, la maggior parte degli individui riesce a mantenere un’elevata precisione e prestazioni stabili anche di fronte a lunghe liste di parole e colori in conflitto tra loro.

Attenzione umana contro attenzione della macchina

Lo studio mette in luce un’importante distinzione tra intelligenza umana e intelligenza artificiale.

Sebbene i moderni sistemi di intelligenza artificiale possano produrre capacità linguistiche e di ragionamento impressionanti, i loro meccanismi sottostanti differiscono dai processi attentivi presenti nei cervelli biologici.

Gli esseri umani sono spesso in grado di mantenere la concentrazione su un obiettivo specifico filtrando al contempo le informazioni concorrenti. I risultati suggeriscono che gli attuali modelli di intelligenza artificiale potrebbero avere difficoltà con questo tipo di controllo cognitivo quando i compiti diventano sempre più impegnativi.

I ricercatori sostengono che il crollo delle prestazioni osservato in questi esperimenti evidenzia limitazioni fondamentali negli attuali modelli linguistici di grandi dimensioni. Sebbene l’intelligenza artificiale possa talvolta imitare il comportamento umano, la sua capacità di mantenere l’attenzione sembra funzionare in modo molto diverso da quella delle persone.

I risultati ci ricordano che anche i sistemi di intelligenza artificiale più avanzati presentano ancora dei punti deboli, soprattutto quando i compiti richiedono loro di resistere alle distrazioni e di mantenere la concentrazione su lunghe sequenze di informazioni.

Astratto

Sebbene i transformer nei modelli linguistici di grandi dimensioni (LLM) implementino efficacemente un meccanismo di autoattenzione che ha rivoluzionato l’elaborazione del linguaggio naturale, mancano di un’architettura esplicita per il controllo esecutivo dell’attenzione presente negli esseri umani, essenziale per risolvere i conflitti e selezionare le informazioni rilevanti in presenza di elaborazioni concorrenti, e fondamentale per un comportamento adattivo. Per studiare l’impatto di questa limitazione negli LLM, abbiamo utilizzato il classico compito di Stroop sui colori, ampiamente considerato il gold standard, per testare il controllo esecutivo dell’attenzione in questi modelli. I nostri risultati hanno rivelato un tipico effetto di conflitto, ovvero una prestazione inferiore in termini di accuratezza nella condizione incongruente (ad esempio, nominare il colore della parola ROSSO in blu) rispetto alla condizione congruente (ad esempio, nominare il colore della parola ROSSO in rosso), in brevi liste di parole, simile alla prestazione umana. Tuttavia, con l’aumentare della lunghezza degli elenchi di parole, le prestazioni nella condizione incongruente si sono degradate fino a un collasso quasi totale, anche se l’accuratezza nella condizione congruente è rimasta eccellente e la lettura delle parole (ad esempio, leggere la parola ROSSO [in rosso] o ROSSO [in blu], ignorando il colore) è risultata quasi perfetta. Questi risultati dimostrano che i meccanismi di attenzione dei transformer sono fondamentalmente limitati nella loro capacità di risolvere i conflitti in contesti estesi e che non riescono ad adattare il controllo in modo efficiente in presenza di interferenze crescenti. Suggeriamo che l’integrazione di meccanismi di controllo esecutivo simili a quelli dell’attenzione biologica sia cruciale per raggiungere un’intelligenza artificiale generale.

Approfondimenti

Materials provided by PNAS Nexus. Note: Content may be edited for style and length.

Suketu Chandrakant Patel, Hongbin Wang, Jin Fan. Deficient executive control in transformer attention. PNAS Nexus, 2026; 5 (6) DOI: 10.1093/pnasnexus/pgag149

Facebooktwitterredditpinterestlinkedinmailby feather