Az MI és a számolás: memorizált tény vagy logikus művelet?
A nyelvi modellek – némileg meglepő módon – nehezen teljesítenek matematikai feladatokat, ha nem használnak külső segédeszközt. Inkább visszamondják a megtanult számtáblákat, ahelyett hogy ténylegesen kiszámítanák az eredményt, mint például egy tanuló, aki csak magolja a szorzótáblát. Ez arra utal, hogy a mostani modellek számára a 2+2=4 inkább memorizált tény, mint egy elemi matematikai összefüggés.
Noha az MI-kutatók által használt „érvelés” fogalma nem pontosan egyezik azzal, amit emberi gondolkodás alatt értünk, a mostani vizsgálatban épségben maradt gondolkodási képességek közé tartozik például az igaz–hamis állítások vizsgálata vagy a „ha–akkor” típusú szabályok követése. Ezek nem igényelnek valódi kreativitást vagy elmélyült problémamegoldást, inkább korábban megtanult sémák felismeréséről szólnak, míg az elvontabb, matematikai következtetés ma még kívül esik e modellek lehetőségein.
Adatkitörlés: potenciális védelem a jövő MI-jeiben?
A módszer jövőbeli továbbfejlesztése akár lehetővé teheti, hogy a fejlesztők szelektíven távolítsanak el szerzői jogi védelem alatt álló vagy érzékeny adatokat egy MI-ből anélkül, hogy az elveszítené további hasznos funkcióit. Noha a neurális hálókban az információ elosztott módon, sokszor bonyolultan tárolódik, és jelenleg a teljes törlés még nem garantált, a kutatás fontos első lépés ezen az úton.
Az MI tájképén végighaladva: hogyan láttatják az idegpályák a tudást?
A kutatás központi fogalma a „veszteségtáj” (loss landscape): ez a modell pontatlanságainak változását térképezi fel, ahogy milliónyi belső kapcsoló – az ún. súlyok – értéke módosul. Képzelj el egy dombos-völgyes terepet, ahol a lejtők a hibaarányt mutatják: a modellek a tanítás során mindig a lejtőn lefelé gurulnak, a hibák csökkenése felé.
A kutatók azt vizsgálták, mennyire érzékeny a teljesítmény a súlyok apró módosításaira – azaz mennyire „hegyes” vagy „sima” egy-egy irányban a táj. Egyetlen memorizált tény éles csúcsot eredményez, de ezek mind másfelé állnak, így összesítve lapossá válnak. Az érvelés – amit számos különböző kérdésnél lehet használni – inkább széles, azonos irányú dombokat képez, amelyek megmaradnak az átlagolás során is.
Minden MI másként őrzi a tudását
A tapasztalatokat több különböző rendszerrel ellenőrizték: például az Allen Institute OLMo-2 modelljeivel, amelyeknek minden súlya és tanítóadata nyilvános. Képelemző rendszereken is futottak próbákat: a kutatók direkt összekevert címkékkel tanítottak be egy 86 millió paraméteres Vision Transformert, hogy ellenőrzött módon idézzenek elő memorizálást.
Az eljárással a memorizált tartalmak szó szerinti visszaidézési aránya 3,4 százalékra esett, míg a logikus gondolkodási feladatok 95–106 százalékos szinten maradtak. Ezekben olyan tesztek szerepeltek, mint logikai kifejezések értékelése, dedukciós feladványok (például „A magasabb B-nél”), tárgyak követése cseréket követően, illetve ismerős MI-benchmarkfeladatok.
Noha a logikai gondolkodás szívós maradt, a matematikai műveletek, illetve a lexikális tudás (pl. országok fővárosai) teljesítménye jelentősen csökkent, akár harmadával–ötödével is. A modellek tehát még mindig inkább példákat memorizálnak, mintsem szabályokat alkalmaznának, például összeadáskor. A nyílt könyves (open-book) típusú kérdések, amelyek a kérdésben adott információ felhasználásán alapulnak, kevésbé sérültek.
Külön figyelmet érdemel, hogy az információ típusa is számít: a gyakori tudáselemek sérülnek a legkevésbé, a ritkák (pl. vállalatok vezérigazgatói) pedig akár 78 százalékban is kieshetnek törléskor.
A K-FAC (Kronecker-Factored Approximate Curvature) eljárás messze felülmúlta a korábbi, a memorizálást kiirtó módszereket, miközben nem volt szükség kézzel gyűjtött példákra.
Az emlékezet törlésének végső határai
Noha biztatóak az eredmények, a kutatók hangsúlyozzák: egyelőre nem lehet teljesen kiirtani a tanult tartalmakat. A törölt emlékek könnyen visszajöhetnek, ha az MI-t néhány további körben újra betanítják. A műszaki háttér egyes szélsőséges esetekben (például nagyon lapos vagy nagyon hegyes vidéken) bizonytalan adatokat szolgáltathat – szerencsére ez nem befolyásolja a törlés hatékonyságát.
Összefoglalásként megjegyezhető, hogy az MI-modellekben a memorizálás és az érvelés tényleg külön utakon fut, és ez a felfedezés jelentősen javíthatja a jövőbeli rendszerek átláthatóságát, szerkeszthetőségét és adatvédelmét.
