A klasszikus agyteszt leleplezte az MI legnagyobb gyengeségét

Miközben a mesterséges intelligencia már esszéket ír, kérdésekre válaszol és bonyolult problémákat old meg, meglepő gyengeségre is fény derült: nehezére esik koncentrálni, ha zavaró tényezők jelennek meg. Egy nemrégiben végzett kísérlet során kutatók a klasszikus Stroop-teszt elé állítottak több népszerű MI-modellt, és érdekes különbséget találtak az emberi és a gépi figyelem között.

A Stroop-teszt kihívása

A Stroop-tesztben színek nevét mutatják különböző színű betűkkel – például a „piros” szó zöld színnel írva. A feladat, hogy ne a szót olvasd el, hanem nevezd meg a betűk színét. Ez egyszerűnek hangzik, de valójában komoly önuralmat és koncentrációt igényel, mivel a szavak olvasása automatikus szokás. A teszt jól megmutatja, mennyire tudjuk irányítani a figyelmünket, ellenállni a zavaró ingereknek és egy konkrét célra fókuszálni.

MI-modellek a fókuszpróbán

A kutatók arra voltak kíváncsiak, hogy a modern nagy nyelvi modellek – például a ChatGPT (GPT-4o), a Claude 3.5 Sonnet és a Gemini 2.5 – mennyire teljesítenek hasonló feladatokban. Rövid, öt szóból álló listákkal még megbízhatóan dolgoztak, noha a lista hosszának növekedésével egyre rosszabb eredményt értek el. A GPT-4o például öt szónál 91%-os pontosságot ért el, de tíz szónál már csak 57%-ot, negyven szónál pedig mindössze 15%-ot. A Claude 3.5 Sonnet húsz szónál még tartotta magát, de negyvennél már 24%-ra zuhant vissza. Hasonló mintázatot mutattak a többi MI-rendszer esetében is.

Mi történik, amikor összezavarodik az MI?

A zavar még nagyobb lett, amikor egy listában vegyesen szerepeltek az egyező és eltérő szín–szó párok. Ennek következtében a pontosság szinte nullára csökkent a nehezebb esetekben. Az MI-modellek nem tudták követni az „inkább a színre figyelj” utasítást, és visszaestek eredeti, megszokott válaszukra: egyszerűen felolvasták a szót.

Az ember és a gép közötti szakadék

Noha az emberek is hajlamosak automatikusan olvasni, általában még számos zavaró szín–szó páros esetén is pontosak maradnak. Ez a különbség jól mutatja, hogy az MI jelenlegi rendszerei komoly hátrányban vannak, amikor összetett figyelmi vagy önkontrollt igénylő feladatokra kerül sor. A tanulmány emlékeztet: bármilyen fejlettnek tűnik is egy MI-rendszer, hosszú és zavaró információsorok esetén visszaesik a teljesítménye – az emberi agy ebben egyelőre verhetetlen.

2026, adminboss, www.sciencedaily.com alapján