Mik azok a “gondolkodó” nyelvi modellek?
Az MI-iparban egyre népszerűbbek az úgynevezett “gondolkodó” nagy nyelvi modellek (LLM-ek), amelyek képesek bonyolult problémákat is lépésről lépésre, logikusnak tűnő módon végiggondolni. Fontos hangsúlyozni, hogy ezek a modellek valójában nem értik, amit csinálnak: egyszerűen azokat a szöveges mintázatokat másolják, amelyeket a képzés során láttak. Kutatók most alaposabban megvizsgálták, mire képesek valójában ezek a modellek, ha kissé eltérő, “doménen kívüli” feladatokat kapnak – vagyis olyasmit, amire nem lettek kifejezetten megtanítva.
Gondolkodik vagy csak ismétel?
Az Arizonai Egyetem kutatói egy speciális környezetet hoztak létre, ahol kisméretű modelljeiket szándékosan csak nagyon egyszerű szövegátalakításokra tanították meg. Ezután olyan tesztekkel szembesítették a mesterséges intelligenciát, amelyek eltértek a korábbi mintáktól: vagy a feladat típusa, vagy a formátuma, vagy akár a hosszúsága különbözött a begyakorolt példáktól. Ebben az új helyzetben a modellek teljesítménye drasztikusan romlott. Gyakran adtak logikusan felépített, de hibás válaszokat, vagy éppen helyes megoldásokat, amelyekhez nem vezetett érvényes “gondolkodási” útvonal.
Törékeny utánzás és megtévesztő megbízhatóság
A kísérletek során akkor is romlott az eredményesség, ha a bemeneti szöveg csupán néhány karakterrel tért el a megszokottól, vagy a feladatsor hosszabb vagy rövidebb volt. Egy egyszerű formátumváltoztatás – például ismeretlen betűk vagy szimbólumok bevezetése – már elegendő volt ahhoz, hogy az MI teljesítménye meredeken visszaessen.
Egyedül a supervised fine-tuning, azaz célzott utótanítás tudott valamennyit javítani a helyzeten, ha nagyon hasonló példákat kapott a modell. Ez azonban nem jelent valódi általánosítást: csupán az adott esetre ragasztunk tapasztalati “foltot” a rendszerre. Következésképpen az MI továbbra sem rendelkezik absztrakt, általánosító gondolkodással.
Ne keverd össze az embert a géppel!
Fontos hangsúlyozni, hogy a láncolt gondolkodásnak (chain-of-thought) nevezett modellek önmagukban nem képesek általános logikai következtetésekre. Ezek a rendszerek lényegében fejlett, de felszínes mintázatkövetők, amelyek a megszokottól való legkisebb eltérés esetén könnyen hibáznak. Megtévesztő lehet, hogy hibás válaszaikat is magabiztosan, jól hangzó szövegben adják elő: ez a hamis megbízhatóság érzetét keltheti.
A kutatók szerint különösen veszélyes lehet ezekre a technológiákra támaszkodni olyan területeken, mint az orvoslás, a pénzügy vagy a jog, ahol valódi, emberi gondolkodásra lenne szükség. Azt javasolják, hogy a jelenlegi teszteknek inkább a “tanításon túli” feladatokat kellene előnyben részesíteniük, hogy feltárhassák a modellek korlátait. Az MI igazi áttörését pedig csak az hozhatja el, ha képes lesz a felszíni mintakövetésen túl mélyebb logikai következtetésekre.
