Mire emlékszik egy MI, és hogyan gondolkodik?
Az MI-k – például a GPT-5 nevű nagy nyelvi modell – egyszerre képesek híres idézeteket szinte szóról szóra visszaadni (memorizálás), és új problémákat kreatívan megoldani (következtetés). Egy új kutatás szerint ez a két képesség teljesen eltérő idegi útvonalakat használ a modell belsejében. Amikor a kutatók célzottan eltávolították a memorizálásért felelős hálózatrészeket, a modellek elvesztették a tanult adatok szinte tökéletes ismétlésének képességét – viszont a logikai feladatokat továbbra is csaknem változatlanul meg tudták oldani.
Egy példát is hoztak: egy modell 22. rétegében a súlykomponensek alsó 50 százaléka 23 százalékkal erősebben aktiválódott memorizált tartalmakra, míg a felső 10 százalék inkább az általános, nem memorizált szövegekre reagált. Ez a tiszta választóvonal tette lehetővé, hogy „kiszereljék” a memorizálást, de a többi funkciót megtartsák.
Nem elhanyagolható tényező, hogy az MI-k alapvető matematikai műveletekkel továbbra is küszködnek – még akkor is, ha elméletileg logikus gondolkodásra képesek. A mondás igaz: az MI inkább emlékszik arra, hogy 2 + 2 = 4, mintsem értené, hogy miért. Ez rámutat: jelenleg ezek a modellek a matematikát is memorizált tényként kezelik, nem valódi logikai műveletként.
Mit jelent mindez a gyakorlatban?
Noha a kutatók leginkább az Allen Institute OLMo-2 nevű nyelvi modelljén teszteltek – 1 és 7 milliárd paraméteres változatokon –, látványos eredményeket értek el. Amint eltávolították a memorizálásért felelős súlyokat, a modell képessége radikálisan visszaesett a tanult adatok visszaadására: 100 százalékról 3,4 százalékra. Eközben a logikai feladatok (például igaz/hamis eldöntése, ha–akkor szabályok alkalmazása, logikai dedukciós rejtvények, tárgykövetés, egyszerű tudományos és intuíciót igénylő kérdések megválaszolása) teljesítménye 95–106 százalék között maradt.
A spektrum azonban széles: egyes feladatok, például a matematikai műveletek és a „zárt könyv” típusú tudásvisszakeresés részben a memorizált útvonalakat használták, így ezek csak 66–86 százalékos szinten maradtak. A kutatók szerint a matematika különösen érzékeny; a modellek még akkor sem tudtak jól számolni, amikor a korábbi logikai lépéseiket hibátlanul követték, de a memorizálás „kiszerelése” után a számítási lépés összeomlott.
Az is kiderült, hogy míg a gyakori tények (például országfővárosok) aligha változtak a memóriatörlés után, addig a ritka adatok (mint egy cég vezérigazgatójának neve) akár 78 százalékkal is visszaeshettek. Ebből kifolyólag a modellek eltérő idegi erőforrásokat rendelnek az időnként előforduló, illetve a tömegesen tanult információkhoz.
Mennyire megbízható a memóriatörlés?
A Goodfire kutatócsapata az úgynevezett K-FAC technikát alkalmazta, amely hatásosabbnak bizonyult a korábbi memóriatörlő módszereknél. Például látható volt: amikor kontrolláltan történelmi idézeteket távolítottak el, a K-FAC csak 16,1 százalékát őrizte meg ezeknek, szemben a BalancedSubnet korábbi, 60 százalékos eredményével. A képfeldolgozó modellek, amikor szándékosan rosszul címkézett képeken tanultak, szintén elkülönítették a memorizált és a helyes mintákat.
Noha a technika látványos, nem tökéletes. Az egyszer törölt emlékek rendre visszatérhetnek, ha a modellt tovább tanítják. A jelenlegi módszerek legfeljebb „elnyomják” a már megtanult adatokat, de nem törlik véglegesen: egy újabb tanítási lépés elég az elveszettnek hitt tények újbóli előhívásához.
A kutatók azt sem tudják pontosan megmondani, miért vesznek el egyes képességek, például a matematikai képességek, annyira hirtelen. Az is lehet, hogy a memorizálás és a matematikai műveletek hasonló neuronhálózati útvonalakat használnak, ezért mindkettő csorbul a beavatkozás után. Emellett előfordulhat, hogy egyes összetett képességek memorizálásnak látszanak, noha valójában bonyolult logikai folyamatokat takarnak.
Merre tart az MI-neuronok feltérképezése?
Nem elhanyagolható tényező, hogy a kutatás új távlatokat nyit a mesterséges intelligencia fejlesztésében: elképzelhető, hogy a jövőben bármilyen bizalmas vagy szerzői joggal védett tartalmat eltávolíthatunk egy modellből anélkül, hogy a többi képessége megsérülne. Egyelőre azonban az MI-k neuronhálózatainak működése csak részben ismert, így ezek a technikák még nem kínálnak teljes biztonságot.
Az MI belső „tájainak” feltérképezése tehát most kezd igazán izgalmassá válni. A memorizálás és a következtetés elválasztásával közelebb kerülhetünk ahhoz, hogy megbízható, biztonságos és még jobb problémamegoldó mesterséges intelligenciák szülessenek.
