Beépített kényszeres találgatás
Az MI-modelleket valójában arra kondicionálják, hogy tippeljenek a válaszokkal – még akkor is, ha nem ismerik a helyes választ. Ennek fő oka, hogy a legtöbb teszt és értékelés, amelyeken az MI-ket mérik, bünteti a bizonytalanságot – azaz jobb, ha valamit csak megtippel az MI, mintha azt mondaná: fogalma sincs róla. Ez a rendszer oda vezet, hogy a pontversenyekben a találgató MI rendre jobban teljesít, mint a becsületesen „nem tudom” választ adó.
Egy konkrét példa: Adam Tauman Kalai, az OpenAI kutatójának születési dátumára kérdeztek rá az MI-nél, amely három hamis dátumot közölt egymás után. A rendszer egyszerűen nem ismeri be, ha nem tudja a választ, helyette kitalál valamit – és ezért még pozitív megerősítést is kap.
Hibás minta már a tanításnál
Az ilyen viselkedés már az MI előzetes betanítási szakaszában is beépül. A tanításhoz felhasznált adatbázisok sok példát adnak a helyes megoldásokból – például a helyes szóírásból –, de ha egy-egy tény (például egy születésnap) csak egyszer fordul elő, nincs elég minta ahhoz, hogy az MI felismerje. Ahogy a kutatók írják: ha a születésnapok 20 százaléka csak egyszer szerepel, legalább 20 százalékban várható, hogy az MI hibázni fog ezeknél.
A helyzetet tovább rontják a kiértékelési módszerek, amelyek hasonlítanak az iskolai feleletekhez: csak a magabiztos válaszokat értékelik, a „nem tudom” típusú óvatosságot büntetik.
A hamis tudás jutalma
A végeredmény: mindig jobb tippelni, mint hallgatni. Ezért válik az MI rosszul okoskodó kvízmesterré, akinek vad találgatásai is pontokat érnek. A kutatók szerint néhány egyszerű változtatással, például a bizonytalanság megfelelő jutalmazásával javítható lenne a helyzet.
Bár elméletben egy tökéletesen hibátlan adathalmazból tanuló MI soha nem hallucinálna, ilyen adathalmaz nem létezik – a hatalmas adatmennyiségben mindig előfordulnak téves tények. Reálisabb megoldásnak tűnik, ha az MI gyakrabban ismerné be: nem tud valamit. Az OpenAI már elkezdte ennek beépítését a következő generációs modelljeibe, de valószínűleg a kamuzás még jó darabig megmarad.
