Innentől csak felfelé és kifelé
Az első és legnyilvánvalóbb kihívás a számítási kapacitás skálázásával kapcsolatos. A gyártási folyamatok fejlődése az utóbbi években lelassult. Bár még mindig vannak lehetőségek a fejlesztésre, ezek egyre nehezebbé és költségesebbé válnak.
E korlátokkal szembesülve az Nvidia stratégiája egyszerű: maximalizálni a szilícium mennyiségét minden számítási csomópontban. Jelenleg az Nvidia legsűrűbb rendszerei 72 GPU-t kapcsolnak össze egyetlen számítási tartományban a nagy sebességű, 1,8 TB/s NVLink szövet segítségével. A GTC-n az Nvidia bejelentette, hogy ezt a számot előbb 144-re, majd végül 576 GPU-ra kívánja növelni rackenként. A méretezés azonban nemcsak a rackekben történik, hanem a csipek csomagolásán belül is.
Ez már a Nvidia Blackwell-gyorsítóinak tavalyi bemutatásakor is nyilvánvalóvá vált. A csipek ötszörös teljesítménynövekedést ígértek a Hopperhez képest, ami impozánsan hangzott, egészen addig, amíg ki nem derült, hogy ehhez kétszer annyi die-ra, egy új, 4 bites adattípusra és 500 wattal több energiára volt szükség.
2027-re 600 kW-os rackek érkeznek
Még nem tudjuk, milyen gyártási technológiát tervez az Nvidia a következő generációs csipjeihez, de annyi biztos, hogy a Rubin Ultra folytatja a felskálázás trendjét. Még a TSMC 2 nm-es technológiájától várt körülbelül 20 százalékos hatékonyságnövekedés mellett is ez egy rendkívül forró csipcsomag lesz.
Nemcsak a számítási kapacitás növekszik, hanem a memória is. A Rubinról a Rubin Ultrára való átálláskor jelentős ugrás várható a kapacitásban és a sávszélességben is – 288 GB-ról 1 TB-ra. Ennek körülbelül fele a gyorsabb, nagyobb kapacitású memóriamoduloknak köszönhető, míg a másik fele a memóriára szánt szilícium mennyiségének megduplázódásából ered – a Blackwell és Rubin nyolc moduljáról a Rubin Ultra tizenhat moduljára.
A megnövelt kapacitás lehetővé teszi, hogy az Nvidia több modellparamétert tömörítsen egyetlen csomagba, FP4 formátumban körülbelül 2 billiót, vagy “GPU-nként” 500 milliárdot. A HBM4e memória várhatóan megduplázza a sávszélességet a HBM3e-hez képest. Így a jelenlegi Blackwell körülbelül 4 TB/s sávszélessége várhatóan 8 TB/s-ra ugrik a Rubin Ultra esetében.
A gigawatt per rack elfogadható felső korlátnak tűnik
A gyártási folyamatok fejlődése nem az egyetlen módja a számítási kapacitás vagy a memória skálázásának. A 16 bitről 8 bitre való áttérés például gyakorlatilag megduplázza a teljesítményt, miközben felére csökkenti egy adott modell memóriaigényét. A probléma azonban az, hogy a Nvidia lassan kifogy a csökkenthető bitszámokból. A Hopperről a Blackwellre történő váltás során négy bitet vettek el, megduplázták a szilícium mennyiségét, és ötszörös lebegőpontos teljesítménynövekedést értek el.
A négy bitnél alacsonyabb precizitás viszont már durva eredményeket produkál az LLM-következtetéseknél, jelentősen emelkedő perplexitás-pontszámokkal. Ugyanakkor érdekes kutatások zajlanak a szuper alacsony precizitású kvantálás terén, akár 1,58 bitig, miközben megőrzik a pontosságot.
Mindenesetre az Nvidia stratégiája egyértelmű: a számítási platformok egyre nagyobbak, sűrűbbek, forróbbak és energiaéhesebbek lesznek a jövőben. Ahogyan Huang fogalmazott a múlt heti sajtótájékoztatón, a limit itt az, hogy mennyi energiát tudsz beletáplálni egy rackbe.
“Egy adatközpont jelenleg 250 megawatt. Ez valamiféle korlát rackenként. A többi csak részletkérdés” – mondta Huang. “Azt mondanám, hogy a gigawatt per rack jó határnak tűnik.”
Az energiaproblémát nem lehet megkerülni
Természetesen a 600 kW-os rackek hatalmas fejfájást okoznak az adatközpont-üzemeltetőknek. Az ultra-sűrű számítási kapacitás hűtése, amely már megawattokban mérhető, nem új kihívás. Ami megváltozott, az az, hogy itt most nem néhány apró klaszterről beszélünk évente, hanem tucatnyiról, amelyek közül néhány elég erős ahhoz, hogy letaszítsa a világ legerősebb szuperszámítógépeit a trónról.
Ezeknél a méretekben a nagyon specializált, kis volumenű hőkezelési és energiaellátási rendszerek egyszerűen nem elégségesek. Sajnos az adatközpont-forgalmazók – akik azokat a nem éppen izgalmas alkatrészeket árulják, amelyek nélkül a több millió dolláros NVL72 rackek nem működnének – csak most kezdik magukat utolérni az igények terén.
Ez lehet az oka annak, hogy a bejelentett Blackwell-telepítések többségét a léghűtéses HGX B200-ra tervezték, nem az NVL72-re, amelyet Huang kitartóan reklámoz. Az HGX rendszerek – nyolc GPU-val – sok meglévő H100 környezetben telepíthetők.
Az NVL72 egy teljes rackméretű kialakítás, amelyet jelentősen a hiperskálázók ihlettek, DC-buszokkal, tápegység-szánokkal és elöl kivezetett hálózattal. 120 kW folyadékhűtéses számítási teljesítményével több ilyen telepítése egy meglévő létesítményben gyorsan problematikussá válik. És ahogy megjósolható, ez még nehezebbé válik, amikor az Nvidia 600 kW-os “szörnyrackjei” 2027 végén debütálnak.
A vezetőt követni kell
Fontos tisztázni, hogy ezek az akadályok nemcsak az Nvidiára vonatkoznak. Az AMD, az Intel és minden más felhőszolgáltató vagy csiptervező, amely az Nvidia piaci részesedéséből szeretne kihasítani egy szeletet, hamarosan ugyanezekkel a problémákkal találja szemben magát.
Ennek a kihívásnak azonban előnyei is vannak. Az Nvidia egyedülálló helyzetben van ahhoz, hogy meghatározza a jövőbeli adatközpontok energia- és hőtechnikai szabványait.
Ahogy Huang korábban is elmondta, hajlandó volt felfedni a következő három GPU-generációt, sőt utalni a negyedikre is, hogy infrastruktúrális partnereik megfelelően felkészülhessenek.
“Azért ismertettem a világgal az Nvidia következő három-négy éves útitervét, hogy mostantól mindenki más is ennek megfelelően tervezhessen” – mondta Huang.
Másrészt ezek az erőfeszítések egyengetik az utat a konkurens csipgyártók számára is. Ha az Nvidia megtervez egy 120 kW-os vagy most már 600 kW-os rack-et, és a kolokációs szolgáltatók, valamint a felhőüzemeltetők hajlandóak támogatni azt, akkor az AMD vagy az Intel is nyugodtan beépítheti ugyanezt a teljesítményszintet a saját rackjeikbe anélkül, hogy aggódnának, hol állítják majd üzembe azokat a megrendelők.
