Új megközelítés a MI-feladatokra
A jelenlegi nagy nyelvi modellek működése két szakaszra osztható: az előtöltésre (kontektsus vagy prefill) és a szöveggenerálásra (generálás). Az előtöltési fázis számításigényes, míg a generálás memóriaintenzív, és a két művelet között mozgatni is kell az úgynevezett KV cache-t. Ahogy a modellek gyorsan nőnek, és a kontextusablakok egyre hosszabbak – különösen videós példáknál –, mind nehezebb ezeket kiszolgálni. Itt jön képbe a Rubin CPX, amely optimalizált architektúrájával átveszi a számításigényes feladatokat, míg a HBM-es Rubin GPU-k a memóriához kötött műveletekhez biztosítanak extra erőt.
Brutális hardver és hálózat
A Rubin CPX GPU önmagában 30 PFLOPS NVFP4 teljesítményt és 128 GB GDDR7 memóriát kínál, a GB300-hoz képest háromszoros számítási sebességgel. Négy NVENC/NVDEC videomotor is helyet kapott a videós alkalmazások számára. A CPX-eket kifejezetten heterogén rendszerekben való használatra tervezték: egy NVL144 CPX compute tray-ben négy Rubin csomag, két Vera Arm CPU, nyolc Rubin CPX és nyolc ConnectX-9 (1,6 Tbps) hálózati kártya dolgozik együtt. Ez tálcánként 12,8 Tbps hálózati kapacitást jelent, ami bőven felveszi a versenyt a jelenlegi csúcskategóriás MI-fürtök hálózataival. Egy rackben 144 Rubin standard és 144 Rubin CPX található, de a cég többféle összeállítást is kínál, például sidecar opciót.
A jövő MI-infrastruktúrája
Noha más cégek is próbálkoznak hatalmas, monolitikus GDDR GPU-kkal, az NVIDIA ezen a téren érezhetően előrébb jár, különösen a szoftveres ökoszisztéma támogatásával. Az NVL144 CPX rackek bevezetésére 2026 végéig várni kell. A Rubin CPX modulok főleg a növekvő igényű MI-feladatokhoz és multimédiás adatfeldolgozáshoz hozhatnak áttörést, miközben költséghatékonyabb memóriakezelést biztosítanak.
A fentiek tükrében könnyen elképzelhető, hogy az NVIDIA lépése újabb architektúrák és innovációk megjelenését idézi elő a MI-gyorsítók piacán, ahogy a riválisok kénytelenek lesznek felzárkózni a Rubin CPX által kijelölt úthoz.
