Kontextuskezelés: több, hosszabb beszélgetés
Az MI-ügynökök egyre bonyolultabb feladatokat látnak el, és folyamatosan bővül az általuk használt eszközökből származó adatok mennyisége. Eddig azonban a kontextusablak mérete véges volt: vagy levágták a beszélgetés egy részét, vagy romlott a teljesítmény. A kontextusszerkesztő automatikusan eltávolítja a régi, már nem aktuális eszközhasználatokat és eredményeket, még mielőtt elérnék a tokenhatárt. Így az MI csak a releváns részekre koncentrál, többet tud futni kézi beavatkozás nélkül, és csökken az erőforrás-pazarlás.
A memóriaeszköz a kontextusablakon kívül is képes információkat tárolni: egy dedikált könyvtárban hoz létre, olvas, módosít vagy töröl fájlokat, amelyek megmaradnak a különböző beszélgetések között. Így az ügynökök saját tudásbázist építenek fel, megőrizhetik egy projekt állapotát, és régi tanulságokra is visszautalhatnak.
Felhasználási területek és teljesítmény
A kontextusmenedzsmenttel az MI-k képesek nagyszabású, akár teljes kódbázist feldolgozó feladatok, komplex elemzések vagy eszközök hosszú használati előzményeinek kezelésére. Kódolás során például a kontextusszerkesztő törli a régi eredményeket, a memóriaeszköz pedig eltárolja az érdekességeket, döntéseket. Kutatásnál a fontos eredmények a memóriába kerülnek, a régi kereséseket pedig eltávolítja a rendszer. Adatfeldolgozás esetén a köztes eredmények a memóriába menthetők, a nyers adatok törlődnek, így nem lépik túl a tokenhatárt.
Belső vizsgálatok során a memóriaeszköz és a kontextusszerkesztő együttesen 39%-kal, utóbbi önmagában 29%-kal javította a bonyolult keresési feladatok sikerességét. Egy 100 lépéses webes keresésnél 84%-kal csökkent a tokenfelhasználás, és az MI végig tudta vinni a folyamatot kontextusvesztés nélkül.
Elérhetőség
Az új lehetőségek már elérhetők nyilvános bétában a Claude Fejlesztői Platformon, valamint az Amazon Bedrockban és a Google Cloud Vertex MI-ban is.
