Az MI emlékezete: eddigi zsákutcák
Bár triviálisnak tűnik mindent a kontextusablakba önteni, valójában a mai rendszerek csak kontextusmenedzsmenttel próbálkoznak: vagy egyre bővítik az ablakot, vagy több dokumentumot szállítanak be külső forrásból. Ezek azonban gyorsan költségessé, lassúvá és törékennyé válnak, ha az MI-ügynököknek hosszú interakciókon kell helytállniuk, ráadásul ezek a megoldások nem hasonlítanak az emberi memóriára – egyszerű keresgélés történik, nem igazi emlékezés.
A fő gond az, hogy a vállalati modelleknek nemcsak hozzáférniük kell a múlthoz, hanem azt hatékonyan, folyamatosan kell újrahasznosítaniuk késleltetés nélkül. Az alapértelmezett „figyelem” eljárás számításigénye a szekvenciák növekedésével négyzetesen nő. Ráadásul a hatalmas kontextusablak sem garantálja, hogy a rendszer jól fog emlékezni, hiszen az túl gyorsan túlterhelődik, információvesztés és kontextusromlás lép fel, még akkor is, ha elméletileg egymillió token támogatott.
Korábbi próbálkozások három fő irányban mozognak:
– Textuális memória: a történetet szövegként fűzi a kontextushoz, de az ablak mérete szab határt, és tömörítéskor adatvesztés jön.
– Külső csatorna (RAG): külső modulba kódol, és onnan hív vissza információt, ami késleltetést, bonyolult integrációt és eltéréseket okozhat.
– Parametrikus: a memóriát adaptereken keresztül a modell súlyaiba kódolják, viszont utólag már nem tanulhat új dolgokat online, csak statikusan.
Mi zajlik a delta-mem belsejében?
A delta-mem lényege, hogy az ügynök előző interakcióit egy fix méretű (például 8×8-as) mátrixba tömöríti, így mindig fennmarad egy frissíthető, asszociatív emlékállapot (OSAM). A háttér MI-modellt (például Qwen3-4B-Instruct vagy SmolLM3-3B) közben egyáltalán nem kell módosítani – a hozzáadott memória gyakorlatilag minden paraméterből csak törtrésznyi többlet.
Ez különösen előnyös azoknál a vállalati folyamatsoroknál, ahol az MI-nek érdemes emlékezni projektszokásokra, feltárt hibákra, felhasználói igényekre, vagy olyan döntésekre, amelyek később relevánsak lesznek. Ahelyett, hogy újra és újra elő kellene hívni és újratömöríteni teljes szegmenseket, a delta-mem modul minden egyes előrehaladásnál egy, a kontextus szempontjából releváns korrekciós jelet nyer ki, amit numerikus módosítások formájában bevisz a számításba. Így vezeti az MI gondolkodását anélkül, hogy annak belső paramétereit fizikailag kicserélné.
A memória folyamatosan frissül egy delta-szabály szerinti tanulással: az új esemény alapján a rendszer megpróbálja előre jelezni, hogyan változik a figyelem, majd az eltérés alapján módosítja a mátrixot. Ezt egy „kapuzott delta-szabály” (gated delta-rule) vezérli: szabályozható, mennyi korábbi emléket tartson meg, és mennyit engedjen át az új ingerből. Ez az irányított felejtés lehetővé teszi, hogy az igazán lényeges múltbeli kapcsolatok tartósak maradjanak, a pillanatnyi zavaró jelek viszont kiszűrhetők.
Delta-mem eredmények: teszteken, valódi helyzetekben
A delta-mem modult három LLM-en is letesztelték (Qwen3-8B, Qwen3-4B-Instruct, SmolLM3-3B) 8×8-as mátrixokkal. Tesztelték általános képességet vizsgáló teszteken (pl. HotpotQA, GPQA-Diamond, IFEval), de extrém memóriaigényes feladatokon is: LoCoMo (hosszú beszélgetési emlékezet), Memory Agent Bench (megtartás, visszahívás, szelektív felejtés, teszt alatti tanulás).
Az új megoldás minden eddigi modellt felülmúlt. Például Qwen3-4B-Instruct alapokon a tokenállapot-írás átlagosan 51,66 százalékos pontosságot produkált, szemben az alapverzió 46,79 százalékával és a legjobbnak számító rivális 44,9 százalékával. Memóriafókuszú teszten a pontszám majdnem duplázódott: 26,1 százalékról 50,5-re emelkedett. Kiemelendő, hogy explicit kontextus nélkül, amikor a rendszer múltbeli szöveget nem kapott vissza, a delta-mem képes volt több lépcsős gondolatmenetek során is a helyes bizonyítékot visszanyerni – mindezt mindössze 4,87 millió plusz tanulható paraméterrel, ami a nagy, többmilliárd paraméteres alapok (például MLP Memory) igényeinek töredéke.
A különféle frissítési stratégiák eltérő modelleken különböző haszonnal járnak: az erősebb modelleken (Qwen3-8B) a szekvenciaszintű írás, kisebbeken (SmolLM3-3B) a többállapotú szétválasztás javítja az eredményeket.
Bevezetés a való világban és korlátok
A delta-mem teljes, nyílt forráskódú implementációja már letölthető. Bevezetni egy létező, utasításérzékeny MI-alapra rendkívül egyszerű: csak adaptermodult kell csatlakoztatni a figyelmi rétegekhez, majd némi célszerű tanítással (régi beszélgetések, workflow-adatok) már online, élesben is alkalmazható. Nem kell többé hatalmas előtanító adathalmazokat betáplálni, csak célzott, releváns memóriamintázatra van szükség.
Meg kell azonban jegyezni, hogy a mátrixos összegzés sosem lesz veszteségmentes. Ha egymással versengő emlékeket kell osztoztatni egy kompakt állapottéren, szükségszerűen előfordul keveredés – ezért ténybeli ellenőrzésre, auditálhatóságra, vagy például orvosi információtárolásra továbbra is a hagyományos RAG és vektoralapú keresés lesz a nyerő.
Egyértelmű, hogy a jövőben a legjobb vállalati architektúra hibrid lesz: a delta-mem a gyors, rövid távú működési memóriát biztosítja, a RAG és más explicit visszahívási rendszerek adják a hosszú távú, pontos tárhelyet. Így a rendszer mindig az optimális helyről emlékezik vissza, és csak azt tartja „fejben”, amire a munkafolyamat miatt valóban szükség van.
