Kicsi, de erős: a DGX Spark új arca
A DGX Spark, az Nvidia GB10-alapú, lakkozott aranyszínű miniszámítógépe – amelyet eredetileg a CES-en mutattak be –, továbbra is inkább specializált eszköz, mint valódi szuperszámítógép. Annak ellenére, hogy világszinten a legkisebb MI-szuperszámítógépként hirdeti magát, valójában a teljesítménye nagyjából egy RTX 5070 videokártyáénak felel meg. Ami kiemeli a többi Nvidia-gép közül, az a 128 GB egyesített memória, amely teljes mértékben a GPU-hoz rendelhető. Ez rekord az Nvidia munkaállomás-portfóliójában – kivéve a DGX Stationt.
Az ikonikus arany borítás nem véletlen: a Spark dizájnja világosan utal az eredeti DGX-1 rendszerre, amelyet Jensen Huang még 2016-ban személyesen vitt el Elon Musknak, az OpenAI alapítójának.
Kétszer gyorsabban? Nem ott, ahol gondolnád
Sikerült elérni, hogy a Spark bizonyos szoftverkönyvtárakban átlagosan 2,5-szer gyorsabban számoljon, mint októberben. Ugyanakkor nem a laikus szem számára leglátványosabb helyen ugrik meg a teljesítmény. A Spark sebessége nem a tokenek generálásában – az LLM-ek úgynevezett dekódolási szakaszában – duplázódott meg, mivel itt a memóriasávszélesség szab határt. Ehelyett az igazán számításigényes műveleteknél – mint például a prompt beolvasása, azaz az előtöltési (prefill) szakasz – sikerült jelentősen gyorsítani a folyamatokat. Ez azt jelenti, hogy hamarabb kezdhet válaszolni az MI, amint elküldöd neki a kérdésedet.
Az olyan szoftverek, mint a TensorRT LLM, a Llama.cpp vagy a PyTorch is optimalizálva lettek: a finomhangolás, a képgenerálás és a videós MI-feladatok most mind gyorsabban futnak a Sparkkal.
Jön a teljes MI Enterprise csomag
A Spark mostantól előfizetéses szolgáltatásként – várhatóan már ebben a hónapban – megkapja az Nvidia Enterprise MI-csomagját. Ez a gyakorlatban modelleket, fejlesztői keretrendszereket és egy sor vállalati alkalmazást kínál. Az ár egységesen évi 1,65 millió Ft (4 500 USD) GPU-nként, óradíjas használat esetén 360 Ft (1 USD) óránként, de a Sparkhoz külön kedvezményes árat is tervez az Nvidia. Fejlesztők számára ingyenes, de az éles üzemhez előfizetés szükséges.
Szoftvertámogatás, minőségi szolgáltatásokkal
Különösen igaz ez, ha hosszú távú támogatásról van szó: a Spark rendszerét az Nvidia saját, Ubuntu-alapú DGX OS-ével szállítja, amelyet folyamatosan frissít. A tapasztalat azonban óvatosságra int: a korábbi Jetson Nano például már évek óta nem kap frissítést. Az Nvidia most azt ígéri, hogy a Spark nem jut hasonló sorsra, sőt, legújabb kernel- és biztonsági frissítéseit is elérhetővé teszi hozzá. Hivatalos támogatás harmadik féltől származó Linux rendszerekhez (mint az RHEL) egyelőre nincs tervben, de a szükséges driverek és firmware-csomagok kiadása nem kizárt.
Új fejlesztések: segédprogramok és játékmoddolás
A közeljövőben fut majd a Sparkon az Nvidia Nsight CUDA-kódsegédje, amely eddig kizárólag felhőből volt elérhető erőforrásigénye miatt – mostantól a magánélet védelmére érzékeny vállalkozások is használhatják házon belül. Várhatóan tavasszal érkezik az újdonság.
A játékosoknak is kedveznek: az RTX Remix platform támogatása révén a Spark mostantól alkalmas játékmodok fejlesztésére, például a szöveggenerálás kiszervezésével. Robotika-rajongók számára pedig az Nvidia és a Hugging Face közös útmutatóval készül, hogy a Sparkot a Reachy asztali robottal ötvözve új MI-alapú szolgáltatásokat hozzanak létre.
Nagyobb Spark-kapacitás: megjelennek a klaszterek
Végül az Nvidia már tervezi, hogy a jelenleg két Spark gép összekapcsolására korlátozott infrastruktúrát kiterjeszti nagyobb klaszterekre. Az eszköz ConnectX-7 hálózati kártyája két QSFP+ porttal rendelkezik, amelyek egyenként 200 Gbps sávszélességre képesek – ezt kihasználva elméletben egész Spark-fürtök is építhetők, és erre már élénk keresletet is tapasztalnak.
Az Nvidia szerint mérnökei aktívan kutatják, hogyan lehet támogatni a nagyobb klaszterek összeállítását a Spark ökoszisztémában.
