2025. 02. 28., 13:29

Újfajta nyelvi mesterséges intelligencia: induljunk ki a zajból!

Újfajta nyelvi mesterséges intelligencia: induljunk ki a zajból!
Az Inception Labs csütörtökön mutatta be új AI nyelvi modelljét, amely diffúziós technikákat használ a szövegek hagyományos modellekhez képest gyorsabb létrehozására. Míg a hagyományos modellek szóról szóra építik fel a szöveget, a Mercury-hez hasonló diffúziós alapú modellek teljes válaszokat generálnak egyszerre, egy kezdetben maszkolt állapotból finomítva azokat összefüggő szöveggé. Ez jelentős előrelépést jelent az AI-alapú szöveggenerálás területén, ahol a sebesség kritikus tényező lehet a gyakorlati alkalmazások során.

Hagyományos vs. diffúziós modellek: Az új megközelítés

A hagyományos nagy nyelvi modellek balról jobbra építik a szöveget, egyszerre csak egy tokent (szövegegységet) feldolgozva. Az “autoregresszió” nevű technikát használják, ahol minden szónak meg kell várnia az összes előző szót, mielőtt megjelenne. A képgenerálási modellektől inspirálva, a szöveg diffúziós nyelvi modellek, mint a LLaDA (amelyet a Renmin Egyetem és az Ant Group kutatói fejlesztettek) és a Mercury maszkolás-alapú megközelítést használnak. Ezek a modellek teljesen elzajosított tartalommal kezdenek, és fokozatosan “zajtalanítják” a kimenetet, így egyidejűleg fedik fel a válasz minden részét, nem pedig sorban.

Míg a kép diffúziós modellek folyamatos zajt adnak a pixelértékekhez, a szöveg diffúziós modellek nem tudnak folyamatos zajt alkalmazni a diszkrét tokenekre (szövegadatok darabjaira). Ehelyett speciális maszk tokenekkel helyettesítik őket, ami a szöveges megfelelője a zajnak. A LLaDA esetében a maszkolási valószínűség szabályozza a zaj szintjét, ahol a magas maszkolás magas zajt, az alacsony maszkolás pedig alacsony zajt jelent. A diffúziós folyamat a magas zajtól az alacsony zaj felé halad. Bár a LLaDA ezt maszkolási terminológiával írja le, a Mercury pedig zajterminológiát használ, mindkettő hasonló koncepciót alkalmaz a szöveggenerálásra, amely a diffúzióban gyökerezik.

Hogyan készülnek a szöveg diffúziós modellek?

A képszintézis-modellek létrehozásához hasonlóan a kutatók úgy építik fel a szöveg diffúziós modelleket, hogy neurális hálózatot tanítanak részlegesen elhomályosított adatokon, a modellel megjósoltatják a legvalószínűbb befejezést, majd összehasonlítják az eredményeket a tényleges válasszal. Ha a modell helyesen válaszol, a neurális hálózat azon kapcsolatai, amelyek a helyes válaszhoz vezettek, megerősödnek. Elegendő példa után a modell olyan kimeneteket tud generálni, amelyek elég valószerűek ahhoz, hogy hasznosak legyenek például programozási feladatokhoz.

Az Inception Labs szerint megközelítésük lehetővé teszi a modell számára, hogy finomítsa a kimeneteket és kezelje a hibákat, mivel nem korlátozódik csak a korábban generált szöveg figyelembevételére. Ez a párhuzamos feldolgozás teszi lehetővé a Mercury állítólagos 1000+ token/másodperces generálási sebességét.

Teljesítmény és sebesség: Lenyűgöző számok

Ezek a diffúziós modellek gyorsabban vagy hasonlóan teljesítenek a hasonló méretű hagyományos modellekhez képest. A LLaDA kutatói szerint 8 milliárd paraméteres modelljük a GPT-3-hoz hasonlóan teljesít különféle teljesítménymérések során, versenyképes eredményekkel olyan feladatokban, mint az MMLU, ARC és GSM8K.

Ugyanakkor, a Mercury drámai sebességnövekedést mutat. Mercury Coder Mini modelljük 88,0 százalékot ér el a HumanEval-on és 77,1 százalékot az MBPP-n – a GPT-4o-hoz hasonlóan –, miközben állítólag 1109 token/másodperc sebességgel működik, szemben a GPT-4o Mini 59 token/másodperces sebességével. Ez körülbelül 19-szeres sebességelőnyt jelent a GPT-4o Mini-vel szemben, miközben hasonló teljesítményt nyújt a kódolási teljesítményméréseken.

A Mercury dokumentációja szerint modelljei “több mint 1000 token/másodperces sebességgel futnak Nvidia H100-asokon, ami korábban csak egyedi chipekkel” volt lehetséges olyan specializált hardvergyártóktól, mint a Groq, a Cerebras és a SambaNova. Más sebességre optimalizált modellekkel összehasonlítva a feltételezett előny továbbra is jelentős – a Mercury Coder Mini állítólag körülbelül 5,5-ször gyorsabb, mint a Gemini 2.0 Flash-Lite (201 token/másodperc) és 18-szor gyorsabb, mint a Claude 3.5 Haiku (61 token/másodperc).


Új határok a nagy nyelvi modellek világában

A diffúziós modellek azonban néhányújabb kompromisszumra kényszerülnek . Általában több előremeneteli áthaladást (feldolgozási ciklust) igényelnek a hálózaton keresztül egy teljes válasz generálásához, szemben a hagyományos modellekkel, amelyeknek csak egy menet szükséges tokenenként. Mivel azonban a diffúziós modellek párhuzamosan dolgozzák fel az összes tokent, ezen többletmunka ellenére is nagyobb áteresztőképességet érnek el.

Az Inception szerint a sebességelőny hatással lehet a kódkiegészítő eszközökre, ahol az azonnali válasz befolyásolhatja a fejlesztői termelékenységet, a társalgási AI alkalmazásokra, az erőforrás-korlátozott környezetekre, például a mobilalkalmazásokra, és az AI-ügynökökre, amelyeknek gyorsan kell reagálniuk.

Ha a diffúzió-alapú nyelvi modellek megőrzik a minőséget a sebesség javítása mellett, megváltoztathatják az AI szöveggenerálás fejlődését. Eddig az AI-kutatók nyitottak voltak az új megközelítésekre.

Néhány kérdés fennmarad

Továbbra is kérdéses, hogy a nagyobb diffúziós modellek képesek-e felvenni a versenyt olyan modellekkel, mint a GPT-4o és a Claude 3.7 Sonnet, megbízható eredményeket tudnak-e produkálni sok konfabuláció nélkül, és hogy a megközelítés képes-e kezelni az egyre összetettebb szimulált gondolkodási feladatokat. Egyelőre ezek a modellek alternatívát kínálhatnak a kisebb AI nyelvi modellek számára, amelyek nem áldozzák fel a képességet a sebesség érdekében.

  • Te hogyan értékeled az alternatív architektúrák kísérletezését a transzformereken túl?
  • Mit gondolsz, a diffúziós modellek milyen hatással lehetnek a jövőbeli AI fejlesztésekre?
  • Te hogy érzel az AI szöveggenerálás fejlődésével kapcsolatos gyors technológiai változásokról?


Legfrissebb posztok

MA 18:31

A 26 éves Google-dolgozó milliókat keres, mégis minimálbér alatt él

Érdemes látni, hogy Charles Broomfield, a 26 éves Google MI-biztonsági elemző elképesztő összeget keres évente – nagyjából 120 millió forintot –, mégis kevesebbet költ annál, mint amennyit egy amerikai, teljes munkaidőben dolgozó minimálbéres keres...

MA 17:30

Az amerikai igazságügy vádat emelt: orosz ügynök követte a Palantir dolgozóit Kaliforniában

Az Egyesült Államokban egy feltételezett külföldi kémet tartóztattak le, aki az ismert technológiai vállalat, a Palantir dolgozóit zaklatta és követte...

MA 17:01

A Canva eszközei AI-vészkapcsolót kaptak

Az ausztrál Canva platform évek óta építi be a generatív MI-t a szolgáltatásaiba, most viszont új irányba mozdul: lehetőséget ad a felhasználóknak, hogy teljesen eltüntessék az MI-funkciókat...

MA 16:01

A Pixel 9 és 10 tulajdonosainak: megéri a 11-re váltani?

Egy lényeges szempont, hogy az okostelefoncsere döntése mindig komoly mérlegelést igényel – főleg akkor, amikor látszólag csekélyek a valódi újdonságok...

MA 15:31

A nagy kérdés: termeszthetünk krumplit a Holdon?

Kezdetben a tudósok fantáziáját a Marson túlélő krumpliföldek foglalkoztatták, mára viszont szó szerint földet értek a kísérletek: az Oregoni Állami Egyetem kutatói mesterséges holdi talajban próbáltak burgonyát nevelni...

MA 15:01

Az autód tölt, csak parkolj: új rendszer turbózza a vezeték nélküli töltést

🚘 Képzeld el, hogy az elektromos autód már akkor is töltődik, amikor egyszerűen csak leparkolod...

MA 12:01

A Microsoft Entra Connect Health hibájával bérlői adatokat loptak

A Microsoft súlyos biztonsági problémával néz szembe: támadók kihasználták a Microsoft Entra Connect Health szolgáltatásában rejlő sebezhetőséget, így illetéktelenek férhettek hozzá rendszergazdai e-mail-címekhez és a bérlők konfigurációs adataihoz...

MA 11:31

Az energiában jöhet a kvantumszámítógép első nagy áttörése

Bár a kvantumszámítógépek legnagyobb áttörései még évekre, akár évtizedekre is lehetnek, a technológia már most komoly változásokat hozhat az energiaiparban...

MA 11:01

Az első észlelt csillagösszeolvadás: egy óriáscsillag felfalja társát

💫 Az Androméda-galaxisban lezajlott egy igazán ritka és látványos esemény: két csillag, egy szuperóriás és egy kisebb társa több ezer évnyi keringés után végül összeolvadt...

MA 10:36

Megéri otthon CO2‑csapdát építeni? Így működik

A Föld légköre még mindig döntően nitrogénből (78%) és oxigénből (21%) áll, szemben az aggasztó hírekkel, amelyek szerint már szinte csak szén-dioxidot lélegzünk be...

MA 10:25

A Merkúr újra látogatót kap: két űrszonda pályára állt

Nyolc év utazás után két űrszonda állt a Merkúr körüli pályára, hogy feltárja a Naphoz legközelebbi bolygó titkait...

MA 10:01

Az otthoni net rémálma: amikor túl sok eszköz csatlakozik

Elég néhány extra eszköz, és a legjobb otthoni internet is térdre kényszerül...

MA 09:36

Az AWS is leállt – mégsem vette észre senki

Napjaink digitális világában, amikor egy online szolgáltatás hibát jelez, pillanatok alatt elárasztják a közösségi médiát a panaszos bejegyzések, és összeomlik a netes ügyfélszolgálat is...

MA 09:13

A BADBOX botnet visszatért, rekorddöntő napi 40 milliárd hirdetéskéréssel

Több hónapos szünet után ismét felbukkant a BADBOX nevű botnet, amely folyamatos működésével napi 40 milliárd hamis hirdetési ajánlatkérést generál, zömmel Android-alapú eszközök segítségével...

MA 09:01

Az FBI-t újra meghackelték: országos rendőrségi adatbázis a célpont?

🕵 Felmerül a kérdés, hogy mennyire biztonságosak a rendvédelmi szervek adatbázisai, miután egy, az FBI-hoz köthető rendszert mindössze két hónapon belül másodszor is feltörtek...

MA 08:49

Az MI-vezér retteg, a Microsoft mégis MI-ügynököket tol a Windows 11-re

Egy lényeges szempont, hogy a mesterséges intelligencia (MI) fejlődése olyan tempót diktál, amely még a terület legnagyobb szereplőit is aggodalommal tölti el...

MA 08:36

A Toyota, a Nissan és a Honda szabványosítják az alkatrészeket költségcsökkentésért

A három legnagyobb japán autógyártó, a Toyota, a Nissan és a Honda mostantól közösen egységesítenek bizonyos alkatrészeket, hogy jelentősen csökkentsék a gyártási költségeket...

MA 08:13

A rejtélyesen gyorsuló űrszikla továbbra is zavarba hozza a csillagászokat

💨 Fontos kérdés, hogy miért mozog a 1998 KY26 nevű, sötét üstökös a Naprendszerben olyan módon, amit a kutatók mindmáig nem tudnak teljesen megmagyarázni...

MA 07:36

A Marson gondok: akadozik a NASA marsjárója és keringője

Az utóbbi hetekben nem volt kegyes a technika a Földön és azon túl sem, hiszen a NASA mind a Perseverance Mars-járóval, mind az Odyssey keringővel problémákat tapasztalt...

MA 07:24

Ismerd meg az iCloud+ újdonságait: Apple Intelligence és okosabb Siri

🌈 Az Apple következő szoftverfrissítései jelentős változásokat hoznak: már minden kompatibilis eszközön – a megfelelő nyelvre állítva – ingyenesen elérhetővé válnak az Apple Intelligence (MI) és a Siri új generációs képességei...

MA 07:13

Az MI mégsem úgy működik, mint az agy – meglepő felfedezés

Fontos kérdés, hogy a mesterséges intelligencia mennyire tudja valóban utánozni az emberi agyat...

APP
MA 07:11

APPok, Amik Ingyenesek MA, 11/22

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Loan Calc-Lite (iPhone/iPad)A Loan Payment Calculator with PMI egy olyan alkalmazás, amely segít kiszámolni a havi hiteltörlesztő részleteket...

MA 06:36

Az idő sokkal furcsább, mint hinnénk – a tudósok próbára teszik

⏳ Az idő jelensége mindennapjaink része, mégis zavarba ejtő titkokat rejt. Bár óráink pontosan mérik a múlását, a tudósok még mindig nem értik annak legmélyebb természetét...

MA 06:24

Az okosszemüveg, amely tapintássá változtatja a látást

Kezdetben a tudósokat lenyűgözte az emberi agy képessége: bármilyen érzékelési élményt könnyedén át tud alakítani egy másik típusú információvá...

MA 06:05

Történelmi események a mai napon (November 22.)

Erős nap a történelemben: a kairói háborús csúcstalálkozótól a spanyol trónváltásig, a The Beatles ikonikus lemezétől a Toy Story (Toy Story – Játékháború) forradalmi bemutatójáig...

MA 06:01

A tudósok összecsapnak: kié a Riemann-sejtés bizonyítása?

A matematika világát most két egymással versengő bizonyítási állítás is felbolygatta, mindkettő azt állítja, hogy megoldotta a Riemann-sejtést, a leghíresebb nyitott problémát...

APP
szombat 07:11

APPok, Amik Ingyenesek MA, 11/21

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Bank: The Dice Game (iPhone/iPad)A Bank egy lendületes és szórakoztató kockajáték, amelyben a stratégiai gondolkodás, a kockázatvállalás és a szerencse egyaránt próbára teszi a játékosokat...

szombat 06:06

Történelmi események a mai napon (November 21.)

Rövid utazás a mai nap történelmi mérföldkövei között: birodalomalapítástól és forradalmi tudományos áttöréstől a forró levegős ballon első szabad repüléséig és az ARPANET tartós kapcsolatának elindításáig...

APP
péntek 07:12

APPok, Amik Ingyenesek MA, 11/20

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     MSR Easy Connect: Read & Write (iPhone/iPad)Az MSR Easy Connect alkalmazás lehetővé teszi, hogy iPhone vagy iPad készülékeddel, Bluetooth Low Energy technológián keresztül, könnyedén olvass és írj adatokat MSR eszközödre...