Az Alibaba Cloud új, Aegaeon nevű GPU-pool rendszere forradalmasította a vállalat MI-infrastruktúráját: a rendszernek köszönhetően mindössze 213 darab Nvidia H20 gyorsítóval képesek lettek ugyanannyi munkát elvégezni, amelyhez korábban 1192 GPU-ra volt szükség. Az áttörés részleteit a 2025-ös ACM Operációs Rendszerek Szemináriuma (ACM Symposium on Operating Systems, SOSP) konferencián mutatták be Szöulban.
Megosztott erőforrások, maximális hatékonyság
Az Aegaeon előnye, hogy nem egyetlen modellt köt le egyetlen GPU-ra, hanem virtualizálja a GPU-hozzáférést egészen a token szintjéig. Így több MI-modell futtatható egyszerre egyetlen chipen, mindig az éppen szükséges erőforrás-lefoglalással. A rendszer hatékonysága kilencszeresére nőtt a hagyományos szerver nélküli megoldásokhoz képest.
Több hónapos, éles tesztelés
A fejlesztést több hónapon keresztül próbálták ki, több tucat különféle nagy nyelvi modell (LLM), köztük akár 72 milliárd paraméterrel rendelkező változatok futtatására. A részletekről a Pekingi Egyetem és az Alibaba mérnökei publikáltak, kiemelve, hogy ős Nvidiás H20-asokat alkalmaztak – azért, mert a jelenlegi amerikai exportkorlátozások miatt ezek a típusok még elérhetők Kínában.
