Mi is az az MXFP4?
Az MXFP4 egy 4 bites, lebegőpontos adattípus, amelyet az Open Compute Project definiált – ez a Facebook által 2011-ben indított közösségi kezdeményezés, amely az adatközponti komponenseket akarta olcsóbbá és hozzáférhetőbbé tenni. A névben az „MX” a mikroskálázásra utal: a sima FP4 kevés értéket tud ábrázolni (mindössze 16-ot), de az MXFP4 – okos matematikai trükkökkel – ezek helyett értékblokkokat tárol együttesen, közös skálázóval, így sokkal többet kihoz négy bitből.
Ez úgy működik, hogy a nagyobb pontosságú értékek blokkját (alapesetben 32 darabot) egy 8 bites számnak megfelelő közös szorzóval összevonják, és így kódolják vissza négybites szóként. A visszaalakításkor természetesen ezt a szorzót figyelembe kell venni, hogy a számok valódi értéke visszakerüljön.
Ugyanakkor a pontosság – bár messze jobb, mint a nyers FP4 esetén – így is némileg sérülhet, főleg ha veramente nagy méretű blokkokkal dolgozunk. Az újabb formátumok, például az NVFP4, kisebb, 16 elemű blokkokat és FP8-as skálázást alkalmaznak a pontosság további javításáért, de az alapelv azonos.
Fontos megjegyezni, hogy az MXFP4 mellett létezik MXFP6 és MXFP8 is, hasonló elvek alapján, csak eltérő bitszélességgel.
Milyen előnyei vannak az új adattípusnak?
A siker kulcsa a hely- és energiahatékonyság. Minél kisebbek a modellek súlyai, annál kevesebb VRAM, memóriabusz és számítási kapacitás kell a futtatásukhoz. A leggyakoribb, BF16 típusnál (ez 16 bites, lebegőpontos formátum) az MXFP4 alkalmazása kiemelkedő megtakarítást hoz: akár 75 százalékkal csökkenhetnek az erőforrásigények.
Az OpenAI beszámolója szerint a GPT-oss modellek 90 százalékán alkalmazták az MXFP4-es kvantálást. Ennek köszönhetően egy 120 milliárd paraméteres modell elfér egy 80 GB VRAM-os GPU-n, míg a 20 milliárdos verzió már akár 16 GB memórián is futhat.
Különösen fontos kiemelni, hogy az MXFP4-es modell nem csak negyedannyi helyet foglal, hanem akár négyszer gyorsabban is képes szöveget generálni, mint a BF16-ossal megegyező méretű társa. A tempót tovább fokozza, ha az adott hardver (például az Nvidia Blackwell szilícium) natív FP4 támogatással rendelkezik: ekkor akár kilenc petaFLOPS teljesítmény is kihozható egy B200 SXM modulból, szemben a BF16-tal mért 2,2 petaFLOPS-szal.
Ennek eredményeként a várakozási idő, amíg a modell elkészíti a válaszát, jelentősen lerövidül. Mindez úgy működik, hogy nem szükséges a natív FP4 támogatás – például az Nvidia H100-on (ahol nincs ilyen támogatás) is gond nélkül fut az MXFP4-ben kvantált modell, igaz, ott kisebb hatékonyság mellett.
Miért olyan nagy dolog ez az egész?
Bár a kvantálás nem új ötlet, sokan eddig kompromisszumnak tekintették a kisebb bitszélességet, mivel elkerülhetetlen bizonyos minőségvesztés. Ugyanakkor a kutatások szerint a 16-ról 8 bitre csökkentésnél ez a veszteség gyakorlatilag elhanyagolható a nagy nyelvi modelleknél, és egyre többen – például a DeepSeek – eleve FP8-ban tanítják modelljeiket.
Az MXFP4 sima FP4-hez képest hatalmas előrelépés, de nem csodaszer: az Nvidia szerint a minőség így is elmaradhat az FP8-tól, részben a blokkméret miatt. Az NVFP4 ezt próbálja kiküszöbölni, de a választás végső soron a felhasználók – vállalatok, API-szolgáltatók vagy felhőcégek – kezében van, hogy melyik verzió mellett döntenek.
Az OpenAI azonban most bevezette: a GPT-oss modelleket kizárólag MXFP4-ben adja ki. Nincs BF16 vagy FP8 változat. Ezzel – piacvezetőként – gyakorlatilag meghatározzák a szabványt, és azt sugallják mindenki másnak: ha nekünk elég jó az MXFP4, legyen elég jó nektek is.
Ennek következtében az infrastruktúra-szolgáltatók számára is könnyebbé válik a helyzet, hiszen a modellek jóval szerényebb hardverigénnyel is futtathatók – főleg, ha a hardver már támogatja az FP4-et. A felhőszolgáltatók ugyan kevésbé irányítják, ügyfeleik mivel töltik meg a bérletben adott hardvert, de minél többen választják az MXFP4-et, annál elterjedtebbé és olcsóbbá válik az egész MI-infrastruktúra.
A jövő: gyorsabb, olcsóbb, egyszerűbb MI mindenkinek
Az iparág most arra figyel, vajon az OpenAI riválisai is átveszik-e az MXFP4-et, vagy inkább saját változataikat vezetik be. Az biztos, hogy az MI-modellek futtatása új szintre lép: olcsóbban, gyorsabban, rugalmasabban lehet majd az eddiginél is nagyobb rendszereket működtetni. Az OpenAI lépése pedig mindenki számára kijelöli az irányt – akár tetszik, akár nem.
