L’era delle chatbot basate sull’intelligenza artificiale, che sembrano comprendere e utilizzare il linguaggio come noi esseri umani, e’ iniziata. Sotto la superficie, queste chatbot utilizzano grandi modelli di linguaggio, un tipo particolare di rete neurale. Tuttavia, uno studio recente dimostra che i grandi modelli di linguaggio rimangono vulnerabili nel confondere il nonsense con il linguaggio naturale. Per un team di ricercatori dell’Università di Columbia, si tratta di un difetto che potrebbe indicare vie per migliorare le prestazioni dei chatbot e contribuire a rivelare come gli esseri umani elaborano il linguaggio. In un articolo pubblicato online oggi su Nature Machine Intelligence, gli scienziati descrivono come hanno sfidato nove diversi modelli di linguaggio con centinaia di coppie di frasi. Per ogni coppia, le persone che hanno partecipato allo studio hanno scelto quale delle due frasi ritenevano piu’ naturale, cioe’ piu’ probabile essere letta o ascoltata nella vita quotidiana. I ricercatori hanno quindi testato i modelli per vedere se avrebbero valutato ogni coppia di frasi nello stesso modo in cui l’avevano fatto gli esseri umani. In test diretti, le IA piu’ sofisticate basate su cio’ che i ricercatori chiamano reti neurali trasformative tendevano a performare meglio rispetto ai modelli neurali ricorrenti piu’ semplici e ai modelli statistici che tengono conto solo della frequenza delle coppie di parole trovate su Internet o nei database online. Tuttavia, tutti i modelli hanno commesso errori, a volte scegliendo frasi che suonano come nonsense all’orecchio umano. “Che alcuni dei grandi modelli di linguaggio performino come fanno suggerisce che catturano qualcosa di importante che i modelli piu’ semplici non riescono a cogliere”, ha dichiarato il dottor Nikolaus Kriegeskorte, PhD, un investigatore principale presso l‘Istituto Zuckerman della Columbia e coautore dell’articolo. “Il fatto che anche i migliori modelli che abbiamo studiato possano essere ingannati da frasi senza senso dimostra che nelle loro elaborazioni manca qualcosa riguardo al modo in cui gli esseri umani elaborano il linguaggio”.
