A GPU-pazarlás ellenszere
Az Alibaba Cloud több mint egymillió modell közül választ ki néhányat, amelyeket a felhasználók ténylegesen futtatnak. Korábban kénytelenek voltak a GPU-park 17,7 százalékát lekötni, hogy ezzel csupán az ügyféligények 1,35 százalékát szolgálják ki. Mivel a szokásos GPU-k memóriája miatt egy kártyán csak két-három modell futhatott, rengeteg elavult vagy gyengén használt hardver vesztegelt tétlenül, miközben a beszerzésük egyre nehezebb lett az amerikai embargók miatt.
Aegaeon: új ütemezés, kevesebb hardver
Erre válaszul fejlesztették ki az Aegaeon nevű GPU-poolozó és memóriamenedzsment technológiát, amellyel több modellt képesek összevonni egyetlen GPU-n, az adatok egy részét pedig a gazdagép memóriájába vagy más tárolókba terelik. Egy friss, három hónapos tesztben 1192 helyett csak 213 GPU-ra volt szükségük ugyanannak a feladatnak az ellátásához – vagyis 82 százalékos megtakarítást értek el, és egyes GPU-kon már tucatnyi modell is futhat egyszerre.
Hatékonyabb felhő, de nem forradalom
Az eljárás bizonyított, komoly szakmai konferencián is elismerték, és valóban javítja a hatékonyságot – ugyanakkor nem lehet tudni, hogy a nagy, nemzetközi felhőszolgáltatók már nem alkalmaznak-e hasonló vagy akár fejlettebb megoldásokat. Az viszont biztos, hogy az egyre szaporodó iparági vagy speciális MI-modellek miatt létfontosságú lesz minden GPU-ból a maximumot kihozni, hogy a kevésbé népszerű modellek futtatása se kerüljön aranyárba. Az Alibaba megoldása ebben segíthet, de a piac nem fog megremegni tőle.
