Spekulatív dekódolás: gyorsítás minőségromlás nélkül
A spekulatív dekódolás lényege, hogy egy kisebb, gyorsabb „tervezetmodellt” használnak arra, hogy előre megtippelje, mely szavakat (tokeneket) adna ki a nagyobb, lassabb, de pontosabb „célmodell”. Ha a tervezetmodell helyesen találja ki például a következő négy tokenből hármat, akkor a nagyobb modellnek ezeket már nem kell kiszámolnia, csak jóváhagynia – így értékes időt és energiát lehet spórolni. Ha téved, a célmodell újragenerálja a helyes tokeneket, tehát a minőség nem romlik. Ez a módszer hasonlít az okostelefonok prediktív szövegbeviteléhez: amikor eltalálja, mire gondolsz, egy koppintással kész is vagy, ha nem, akkor magad írod be a kívánt szót.
A trükk eddig ott volt, hogy nehéz volt megtalálni hozzá a megfelelő tervezetmodellt, mert nagyon fontos, hogy a két modell szókészlete megegyezzen. Ha nem volt a futtatni kívánt LLM-nek „kistestvére”, külön tervezetmodellt kellett fejleszteni, amelyet ráadásul minden jelentősebb LLM-frissítés után újra is kellett tanítani. Ez megnehezítette, hogy széles körben elterjedjen ez a gyorsítási lehetőség.
Univerzális tervezetmodell: bármely két LLM összehangolható
Az új algoritmusok ezt a korlátot döntik le. Mostantól bármely két modell képes lehet együtt dolgozni ebben a felállásban, még akkor is, ha a szókészletük – vagyis a szó- vagy karakterblokkokból (tokenekből) álló szótáruk – nem egyezik. Ehhez három eltérő módszert dolgoztak ki.
Az első, a Token-Level Intersection (TLI) gépiesen összeveti a két szókészletet, és kiszűri azokat a tokeneket, amelyeket a tervezetmodell nem ismer, vagy a célmodell nem tud értelmezni. Így csak az átfedő tokeneket jósolja előre; elegendő átfedés esetén már ez önmagában 1,7-szeres gyorsulást eredményez.
A második, a String-Level Exact Match (SLEM) afféle fordítórétegként működik a két modell között: az előrejelzett tokenek sorozatát köztes, ember által értelmezhető szövegre alakítja, majd ezt újra tokenizálja a célmodell szótárával. Ez precízebb, szigorúbb ellenőrzést jelent, viszont technikailag nehezebb – apró különbségek a szóközöknél vagy speciális karaktereknél visszautasításhoz vezethetnek. A kutatók egy „heurisztikus funkcióval” javították a kompatibilitást, így összetettebb feladatokban – például programkód-generálásnál vagy szövegösszefoglalásnál – már 2,8-szoros gyorsulást mértek.
Könnyen alkalmazható fejlesztőknek is
Ezek az algoritmusok nemcsak elméletben működnek: mind a TLI, mind a SLEM már bekerült a népszerű Hugging Face Transformers könyvtárba. A fejlesztőknek csupán egyetlen sornyi kódot kell módosítaniuk, hogy kihasználják az új sebességet. A szakértők szerint attól függően, milyen alkalmazási területen dolgozik valaki (szövegírás, összefoglalás, kódgenerálás), változhat, melyik módszer hoz jobb eredményt.
Néhol továbbra is hasznos lehet egy speciális tervezetmodell tanítása, de az új algoritmusok a legtöbb esetben töredékére csökkentik a spekulatív dekódolás bevezetésének nehézségeit és költségeit.
További fejlesztések kilátásban
A kutatók harmadik algoritmusa, a String-Level Rejection Sampling (SLRS) a szöveg-alapú ellenőrzések elfogadási arányát hivatott növelni. Ez egy általánosabb tervezetmodellt alkalmaz, amely nemcsak tokenekre, hanem teljes szósorozatokra vonatkozó valószínűségeket is számol – bizonyítottan javítva az elfogadási rátát. Azonban ennek valós idejű futtatása ma még túl erőforrás-igényes, ha nem igazítják hozzá a modellek szótárait.
A következő kihívás: a szótárak exponenciális növekedése. Például a Llama 4 esetében már 200 000 token szerepel, de ezek nagy részét alig használják, ami felesleges lassulást okoz. A csapat már dolgozik a szótárak zsugorításán, hogy a mesterséges intelligencia még gyorsabb és olcsóbb legyen.
Ez az innováció tehát nemcsak gyorsabb MI-t, hanem jóval pénztárcabarátabb alkalmazásokat is ígér a közeljövőben.
