A gondolkodás költséges gátja
Az LLM-ek bonyolult feladatokon akkor teljesítenek igazán jól, ha „gondolkodási láncokat” generálnak, vagyis szisztematikusan végigvezetik az algoritmust a megoldás lépésein. Fejlettebb MI-stratégiák a feldolgozási idő alatt hosszabb gondolkodási lehetőséget, illetve párhuzamos gondolatmeneteket is megengednek. Ez viszont azzal jár, hogy mind több tokensorozatot tárol a rendszer, a hozzájuk tartozó kulcs-érték párosokat pedig a GPU memóriájában. Ez gyorsan hatalmas tárigényt jelent, a memória betelik, az adatmozgatás lelassítja a modellt, a késleltetés nő, kevesebb felhasználót lehet kiszolgálni – csúcsterhelésnél akár össze is omolhat a rendszer. Az Nvidia szerint ez nemcsak informatikai, hanem gazdasági kérdés is: nem mindegy, olcsón tud-e 800 gondolkodási szálat kezelni egy szerver, vagy csak 100-at ugyanazon az infrastruktúrán.
Régi próbálkozások, új irány
Eddig a megoldási kísérletek főleg merev szabályokra, például „csúszó ablakra” (a legrégebbi tokenek törlése), vagy a kevésbé használt adatok lassabb háttértárra mozgatására épültek. Ezek azonban vagy értékes információt is kidobnak, rontva a feladatmegoldás minőségét, vagy annyira lelassítják a rendszert, hogy az valós időben gyakorlatilag használhatatlan lesz.
Dinamikus memóriaritkítás akcióban
A DMS lényege, hogy a meglévő, betanított modelleket utólag „tanítja meg” arra, mely tokenek a későbbi gondolkodás szempontjából valóban fontosak, és melyek dobhatók ki nyugodtan. Mindez nem igényli a modell teljes újratanítását: lényegében átalakítja az MI figyelmi rétegeibe épített neuronokat úgy, hogy minden tokenről eldöntsék, érdemes-e megtartani. A fejlesztéshez fagyasztani lehet a modell súlyait, ezzel gyorsítható a folyamat, amely például egy Qwen3-8B modellt néhány óra alatt át tud alakítani DMS-képessé, akár egyetlen DGX H100 gépen.
A DMS egyik kulcsa az úgynevezett „késleltetett kidobás”. Szemben a szokásos megoldásokkal, amelyek azonnal törlik a feleslegesnek ítélt adatot, a rendszer inkább megjelöli, de még néhány száz lépésig elérhetően hagyja a tokent. Így a modellnek marad ideje minden releváns információt hasznosítani, mielőtt végleg törlődik. Erre azért van szükség, mert sok token nem teljesen haszontalan vagy teljesen nélkülözhetetlen – egy rövid ideig még fontos lehet, később viszont már csak a memóriát foglalja.
A fejlesztők tapasztalatai szerint a DMS utólagos integrációjához mindössze 1000 tréninglépés kellett, ami eltörpül az eredeti tanuláshoz képest. Az átalakított modellek továbbra is a szokásos szoftverkörnyezetben, speciális hardver vagy bonyolult új szoftver nélkül használhatók.
Mérföldkövek az éles tesztekben
A DMS-t több nagy MI-modellen, például a Qwen-R1 és a Llama 3.2 modelleken is tesztelték. Komoly kihívásnak számító mércéken – legyen szó matematikáról (AIME 24), tudományról (GPQA Diamond), vagy programozásról (LiveCodeBench) – a DMS-es Qwen-R1 32B például 12 ponttal felülmúlta a hagyományos modellt azonos memóriahasználat mellett. A gondolkodás mélysége és szélessége eddig nem látott szintre nőtt, anélkül, hogy ehhez több memóriára vagy nagyobb számítástechnikai teljesítményre lett volna szükség.
Meglepő módon a DMS a hosszú távú következtetésekben sem vesztett, sőt, a rejtett információk keresésében (needle-in-a-haystack) még jobban teljesített, mint a tömörítés nélküli változat. A „tiszta”, tudatosan kezelt memória révén az algoritmus jobban átlátja a lényeget.
A hardver- és költséghatékonyság a gyakorlatban is látványos lett: a Qwen3-8B DMS-es változata például azonos minőségben ötszörös ügyféligényt képes kiszolgálni, vagyis egyetlen szerver ötször annyi kérdést old meg másodpercenként, mint korábban.
Az MI-memória új korszaka
Az Nvidia most a NIM mikroszolgáltatások részeként teszi elérhetővé a DMS-t, amely egyszerűen beépíthető a Hugging Face pipeline-okba, CUDA-kódolás nélkül, teljesen kompatibilisen a FlashAttentionnel is. Bizonyos jelek arra utalnak, hogy ez csak a kezdet: a következő lépésben a memóriamenedzsment egy önálló, intelligens MI-réteggé válhat.
A rendszer ráadásul kompatibilis a legújabb architektúrákkal, így például a DeepSeek modelljeinél már használt Multi-head Latent Attention (MLA) mechanizmussal is. Ez további hatékonyságot jelenthet a jövőben, főleg ahogy az egyszerű chatbotoktól a hosszabb, komplexebb MI-ügynökök felé tolódik a fejlesztés fókusza – ahol már az azonnali gondolkodás költsége lesz a fő tényező.
Mindezt figyelembe véve a DMS új fejezetet nyit a nagy nyelvi modellek hatékonyságában – mélyebb gondolkodás kevesebb eszközzel, alacsonyabb költségen.
