Az óriásmodellek problémái
A kevert szakértős (mixture of experts, MoE) modellek – mint a DeepSeek V3 vagy a Moonshot AI Kimi K2 – paraméterszáma 671 milliárdtól akár ezermilliárdig terjed. Ezek akkora helyet foglalnak, hogy még nyolc darab H100- vagy H200-GPU-val szerelt rendszerekbe sem fér el egyszerre minden hozzájuk tartozó adat, különösen, ha a szükséges rövid távú memóriát is figyelembe vesszük. Ezért vagy nagyobb, még drágább szerverekre van szükség, vagy a modell szétosztására több kisebb gépre.
A kézenfekvő megoldás az Nvidia GB200/GB300 NVL72 rendszerek használata lenne – ezek 72 darab, 192 vagy 288 GB-os GPU-t tartalmaznak, simán elfér rajtuk bármilyen nagy modell is –, de ezek sem elérhetők mindenhol, nagyon drágák, és állandóan hiánycikkek. Ezzel szemben a régebbi, például H100-as rendszerek viszonylag olcsók és elterjedtek, de csak akkor lehet velük hatékonyan dolgozni, ha a modelleket több csomópont között osztják szét. Ez viszont hálózati késleltetéssel és jelentős teljesítményvesztéssel jár.
MoE-modelleknél ráadásul az adatforgalom sem egyszerű: minden egyes szótöredéket vagy karaktert mindig más-más „szakértő” generál, és ezek akár a hálózat különböző pontjain lévő GPU-król futnak. Ez a megközelítés jelentősen csökkenti a memóriaigényt, de sokkal intenzívebb adatforgalmat eredményez.
Különösen fontos, hogy míg egy szerveren belül a gyors NVLink vagy az AMD Infinity Fabric simán viszi ezt a terhelést, addig több gép között akár hétszer-tizennégyszer lassabbak a hálózati összeköttetések, ami szűk keresztmetszethez vezet.
Az Amazon megkötései és a Perplexity szoftveres trükkjei
Akik nem Nvidia-gyártmányú hálózati kártyákat használnak – mint például rengeteg Amazon Web Services (AWS) felhasználó –, másfajta hálózati technológiákkal találják szembe magukat. Az Amazon saját Elastic Fabric Adapterét (EFA) alkalmazza: ez hasonlóan akár 400 Gbit/s összsávszélességet tud, de két fontos területen elmarad az Nvidia ConnectX-től. Egyrészt az EFA-n keresztüli üzenetküldés nem olyan gyors és hatékony, másrészt nem támogatja a GPUDirect Asyncot, ezért a GPU-k közötti adatmozgásnál minden a CPU-n keresztül megy, ami újabb késedelmet jelent.
Ezzel szemben a Perplexity új, speciális kommunikációs szoftvermodulokat (kerneleket) fejlesztett, amelyek lehetővé teszik, hogy EFA-val működő rendszerekben is kiegyensúlyozottan, minimális késéssel fussanak a MoE-modellek. Ezek a fejlesztések bizonyos mérőszámokban már most jobb eredményt hoztak, mint a DeepSeek V3-hoz készült DeepEP keretrendszer, amely eddig a ConnectX-7 szabványra volt optimalizálva.
Látható teljesítménynövekedés és a jövő
A Perplexity élesben is tesztelte fejlesztését: a DeepSeek V3 (700 milliárd paraméter) és a Kimi K2 (1 billió paraméter) modellekkel több AWS-példányon, EFA-hálózattal. A DeepSeek V3 még ráfért egyetlen H200-as szerverre, így jó viszonyítási alapot adott, de a Kimi K2-t már csak elosztva lehetett kezelni.
Az egygépes és a 2–4 példányos konfiguráció összevetésénél világos volt: ahogy egyre több gépen, egyre több GPU-val futtak a modellek, a Perplexity szoftveres finomhangolása egyre jobban érvényesült; főleg közepes batchméreteknél hozott jelentős gyorsulást. Különösen fontos, hogy a masszív sávszélességbeli hátrány ellenére – az NVLinkhez vagy az Infinity Fabrichoz képest az EFA akár 14-szer lassabb lehet – a Kimi K2-vel is érezhetően sikerült gyorsításokat elérni.
A Perplexity csapata folyamatosan dolgozik további optimalizáción; például az Amazon libfabric könyvtárainak változásait követi, hogy még hatékonyabban kihasználja az EFA-n keresztüli adatáramlást.
Ütős hardver helyett okos optimalizálás
A fentiek tükrében most azok is kihasználhatják a legújabb MI-modellek előnyeit, akik nem tudják vagy nem akarják megfizetni a csúcskategóriás GPU-kat, de nagy, olcsóbb és akár használt hardvereken dolgoznának nagy MI-komponensekkel, például kedvezményes AWS-szervereken. Ez lehetővé teszi, hogy az új MI-forradalomhoz ne csak a legnagyobb techmultik férjenek hozzá – most már tényleg mindenki próbálkozhat öreg, de jól összebarkácsolt vasakkal is.
