Torzított döntések és veszélyes bizalom
A kísérlet során a kutatók különböző lépéseken vezették végig a mesterséges intelligenciát: először összefoglaltatták vele a termékértékeléseket és médiainterjúkat, majd ugyanazzal az MI-vel ellenőriztették ezek igazságtartalmát. Emellett azt is vizsgálták, hogyan teljesít a gépi összefoglaló, ha valós és szándékosan meghamisított hírleírásokat kell ellenőriznie. A kutatók szerint ezek az algoritmusok makacsul képtelenek megkülönböztetni a valóságot a kitalációtól.
A legszembetűnőbb eredmény az volt, hogy amikor a résztvevők MI-vel készített értékeléseket olvastak, 84%-uk jelezte vásárlási szándékát, míg ugyanez az arány valódi, emberi írásnál csupán 52% volt. Még pozitív termékvélemények esetén is látványos a különbség: az MI-s összefoglalónál majdnem 84%, míg az eredetinél csak 52% gondolta úgy, hogy megvásárolná a terméket.
Miért hiszünk el többet az MI-nek?
A kutatók szerint ennek több oka lehet. Egyrészt a nyelvi modellek leginkább a szöveg elejére fókuszálnak – ezt hívják “elveszve a közepén” jelenségnek –, vagyis a vágások révén már maga az összefoglalás módja is torzíthat. Másrészt az MI-k teljesítménye romlik, ha olyan információt próbálnak feldolgozni, ami nem szerepel a tanító adathalmazukban, így egyre gyakoribbá válik a tények összekeverése vagy elhallgatása. Mindez torz döntésekhez vezethet, ami akár egész piacokat is befolyásolhat.
Mindeközben a chatbotok a valós felhasználói vélemények hangulatát az esetek több mint negyedében elferdítették, és összességében 60%-os aránnyal kevertek bele légből kapott válaszokat, ha rákérdeztek. A tesztben több LLM-et, 1000 elektronikai termékértékelést, ugyanennyi médiainterjút és 8500 hírt is feldolgoztak.
Kockázatok a fontos döntésekben
Noha a teszthelyzetek alacsony kockázatúak voltak, a tudósok óvatosságra intenek: az ilyen típusú tartalmak okozta torzulás súlyos következményekkel járhat például az egészségügyben vagy a felvételi eljárások során. Ott akár egyetlen félrevezető összefoglaló is teljes karrierekre és sorsokra is hatással lehet.
A kutatás rávilágít arra, mennyire fontos megérteni és kordában tartani az MI által létrehozott tartalmi torzításokat. Az ilyen elemzések révén talán csökkenthető lesz az oktatásban, a médiában vagy a közpolitikában jelentkező rendszerszintű elfogultság veszélye.
