Miért működik a kérdésismétlés?
A Transformer architektúra, amely a legtöbb modern MI-alapú nyelvi modellt működteti, „kauzális” nyelvi modellezéssel dolgozik. Ez azt jelenti, hogy a modell a szöveget balról jobbra olvassa: amikor az ötödik szót dolgozza fel, csak az első négyet képes figyelembe venni, a hatodikat még „nem látta”. Emiatt az információ sorrendje és elrendezése kulcsfontosságú. Gyakran előfordul, hogy ha előbb van a kontextus, mint a kérdés, vagy fordítva, teljesen más választ ad a rendszer.
Nem hagyható figyelmen kívül, hogy a kérdés megismétlése megkerüli ezt a korlátozást: miközben a modell másodszor fut neki ugyanannak a kérdésnek, addigra már „emlékszik” a szöveg legelső változatára is, így egyszerre tud visszautalni a már feldolgozott részletekre – és ezáltal szignifikánsan jobb válaszokat ad.
Lenyűgöző eredmények: 47-ből 47 siker
A kutatásban hét különböző elismert MI-tesztkészlettel és hét különböző modellel (köztük Gemini, GPT-4o, Claude, DeepSeek V3) vizsgálták a technikát. Azokban a feladatokban, ahol a modellt csak rövid, egyértelmű válaszadásra kérték, az ismétléses prompt 70 összehasonlított esetből 47-szer hozott érdemi előrelépést, és egyetlen esetben sem rontott.
A leglátványosabb előrelépés a „NameIndex” teszten volt. Itt 50 névből kellett kiválasztani a 25.-et. A Gemini 2.0 Flash-Lite alapból csupán 21,33% pontossággal találta el a helyes nevet, ám ha a kérdést kétszer egymás után kapta meg, a pontosság döbbenetes 97,33%-ra ugrott.
Továbbá más modelleknél – például a Claude és a GPT-4o esetében – is mérhetően nőtt a pontosság. Bizonyos jelek arra utalnak, hogy a „kauzális vakság” miatt az első menetben elveszítheti a modell a fonalat, különösen hosszabb listák vagy részletes adatok esetén. Amikor azonban megismétlődik a kérdés, az MI jobban „fel tudja dolgozni” az egész szövegrészt.
Gyorsabb, de legalábbis nem lassabb
Az MI-modellek működése két fő szakaszból áll: előfeldolgozás (a bemenet feldolgozása), amit a GPU párhuzamosan tud végezni, és a válasz generálása, amely már tokenenként halad, lassabban. Sokan joggal gondolhatnák, hogy a kérdés megkettőzése lassabb válaszadáshoz vezet – de éppen ellenkezőleg! Az előfeldolgozás annyira hatékonyan párhuzamosítható, hogy a felhasználó szinte semmit sem érzékel a válaszidőből.
A kutatók azt találták, hogy a kérdésismétlés sem a válasz hosszát, sem a válasz első betűjéig eltelt időt nem növelte, kivéve néhány szélsőségesen nagy lekérdezés esetén az Anthropic-modelljeknél. Az esetek túlnyomó többségében viszont úgy érhető el nagyobb hatékonyság, hogy a felhasználó nem fizet érte kényelmi veszteséggel.
Mikor nem érdemes ismételni?
Fontos, hogy a módszer főként nem érvelő jellegű feladatokra alkalmas: tehát ahol ténylegesen csak egy tömör, informatív választ várunk. Amint bejön a képbe a „lépésről lépésre gondolkodás” (mint pl. egy számolási vagy problémamegoldó folyamat), az ismétlés pozitív hatása elenyésző vagy semleges lesz.
Úgy tűnik, az MI ilyenkor maga is megismétli magában a lényegi kérdést, mielőtt megoldja – így a prompt ismétlése felesleges. Azonban azokban az esetekben, ahol tömör, egyértelmű választ és gyorsaságot akarunk, az ismétlés kiugró előnyt jelenthet.
Mit jelent ez a cégek számára?
A vállalati MI-alkalmazások fejlesztőinek igazi „ingyenebédet” jelenthet az egyszerű, promptalapú optimalizáció, de érdemes okosan integrálni. Vagyis nem mindenhol érdemes automatikusan duplázni, hanem inkább a szimpla kinyerési, osztályozási vagy kérdés–válasz feladatoknál.
Mostantól, mielőtt egy nagyobb, drágább modellre váltanának csak azért, hogy javuljon a pontosság, érdemes inkább kipróbálni az egyszerű kérdésismétlést – akár 21,33%-ról 97,33%-ra ugorhat a találati arány, miközben a gyors, olcsó infrastruktúrát tudják tovább használni.
Az is logikus lépés, hogy ezt a prompt megkettőzését már az infrastruktúra szintjén, automatikusan, „láthatatlanul” oldják meg, így a végfelhasználónak és fejlesztőnek semmilyen plusz lépést sem kell tennie. Az alkalmazást menedzselő köztes réteg – API-átjáró, orchestráció – felelhet az automatizálásért. Ily módon optimalizálható a teljes rendszer, anélkül, hogy bármilyen plusz költséggel vagy lassulással kellene számolni.
Továbbá felmerül a biztonsági kérdés is: ha a kérdésismétlés tisztább üzenetet közvetít a modellnek, akkor a rosszindulatú promptok is „érthetőbbé” válhatnak. A biztonsági csapatoknak így a tesztelési protokollokat is frissíteni kell, például az ismétléses injekciós (repeat injection) támadásokkal. Ugyanakkor védelmi céllal is jó lehet ismételni – például a biztonsági előírásokat kétszer is ki lehet írni a rendszerprompt elejére.
Miért fontos mindez?
Nem hagyható figyelmen kívül, hogy a mostani MI-modellek még mindig szorosan a balról jobbra feldolgozás korlátozásai között mozognak. Amíg nem jönnek el a kauzális vakságot áthidaló új architektúrák, addig a kérdésismétlés egyszerű, de már most alkalmazható, és kiváló eredményt hozó trükk.
Lehet, hogy a jövő MI-motorjai maguktól is automatikusan megismétlik majd a kérdéseinket a háttérben – de amíg ez nem történik meg, előfordulhat, hogy a hosszú promptok finomhangolása helyett bőven elég, ha egyszerűen kétszer kérdezzük meg ugyanazt.
