A kontextuskorlát és a „kontextusromlás” problémája
A jelenlegi fejlesztések ellenére a legfejlettebb MI-modellek következtetési kapacitása nem nő olyan gyors ütemben, mint az általuk feldolgozható információmennyiség. Két fő akadályba ütköznek: egyrészt kemény fizikai határa van annak, hogy mennyi szöveget képesek egyszerre „látni” (ez a kontextushossz), másrészt a „kontextusromlás” miatt a régi információ elhalványul, kevésbé lesz lényeges vagy pontatlanul kerül visszahívásra. Míg a kontextusablakokat lehet bővíteni, ez önmagában hamar zsákutcába vezet, mivel exponenciálisan több minta kellene a modellek újratanításához.
Tipikus próbálkozás a feladat nagyságához mérten túl rövid kontextushossz kezelésére, hogy a régebbi beszélgetésrészeket a modellek rövidítik, összegzik. Viszont ha a részfeladatok között akár véletlenszerűen kell visszanyúlni régebbi, specifikus adatokhoz, ez a stratégia hamar elbukik.
Hogyan működnek az RLM-ek?
Az MIT kutatói a klasszikus informatikából ismert „out-of-core” algoritmusokból merítettek ihletet, melyek akkor is képesek működni, ha a feldolgozandó adathalmaz nagyobb, mint a gép memóriája. Ebben az új MI-megközelítésben a hatalmas szöveget nem egy az egyben töltik be a hálózatba, hanem egy programozói környezetben változóként tárolják (például Python-karakterlánc). Az MI először csak néhány metaadatot kap a szövegről (például karakterszám), de a konkrét tartalomhoz csak szükség esetén fér hozzá.
Ilyen módon az MI „programozói üzemmódba” vált: saját maga ír kódrészleteket, hogy elérje és feldolgozza az épp szükséges részeket. Például kereshet címkéket, mint „Első fejezet” vagy „pénzügyi eredmények”, majd ezek alapján behívja az adott szakaszokat részletes elemzésre.
Az architektúra általában két külön MI-modellt kombinál: egy fő, nagy tudású „root” modellt (például GPT-5), ami vezényel, tervezi a stratégiát és kódot ír; illetve egy gyorsabb, olcsóbb modellt, amely a konkrét részletek feldolgozását végzi. Így bármilyen hosszú próbát is gond nélkül kezelhetnek, mindezt anélkül, hogy a modelleket újra kellene tanítani.
Felhasználási területek és teljesítmény
Ami ezután történt, az mindenkit meglepett: az új rendszerrel végzett tesztek azt mutatták, hogy az RLM-ek elképesztő hatékonysággal birkóznak meg a 10 millió tokenes (vagyis extrém hosszú) szövegekkel, miközben a normál modellek ilyen méretben szinte használhatatlanok. Például egy 6–11 millió tokenes tesztben (Financial Reports benchmark) a hagyományos modellek rendre 0%-os pontosságot értek el, míg az RLM-ek akár 91,33%-ot is; még az eddig legjobbnak számító összegző ügynök (Summary Agent) is csak 70,47%-ig jutott el.
Különösen nagy előny mutatkozott a bonyolult, egymásba ágyazott logikai feladatoknál (OOLONG-Pairs), ahol a bemenő adatok hosszával arányosan nő a nehézség – a GPT-5 itt szinte teljesen leblokkolt (0,04%), míg az RLM-ek 58%-os F1-mutatóval dolgoztak. Kódértésben (CodeQA) is több mint kétszeres javulást hozott az új keretrendszer a klasszikus modellekhez képest.
Ennek ellenére a működés időnként költségesebb lehet, ha a modell túl sok felesleges alhívással próbálkozik, vagy végtelen ciklusba fut. Ilyenkor a fejlesztőknek saját „védőkorlátokat” és önellenőrző logikát kell beépíteniük, hogy a költségek ne szálljanak el – ám átlagosan az RLM ma már olcsóbb lehet egyes meglévő alapmodelleknél.
Jövőkép és konklúzió
A fentiek tükrében az MIT fejlesztése új fejezetet nyithat a hosszú, összetett szövegeket igénylő MI-alkalmazásokban: legyen szó akár forráskód-elemzésről, jogi szakvélemények feldolgozásáról vagy végeláthatatlan chatelésekről. Az RLM-modell nem váltja le a már elterjedt visszakereső eljárásokat (például Retrieval-Augmented Generation – RAG), azonban remekül kiegészítheti őket. A jövő MI-fejlesztéseiben valószínűleg az önálló költséggazdálkodás és a hatékonyabb részfeladat-lebontás is be fognak épülni a modellek „mindennapi” működésébe. Az RLM tehát nemcsak programozói, hanem vállalati, jogi vagy akár mindennapi felhasználásban is áttörő lehetőségeket kínál.
