Hatékonyabb tanulás és olcsóbb hardver
A hagyományos MI-modellek rengeteg gyorsmemóriát igényelnek, főként tudáslekérdezéskor és egyszerű számítások során. Itt alakul ki az a szűk keresztmetszet, amely komolyan megdrágította a teljes MI-ökoszisztémát. Az Engram rendszerben a modellek hashelt n-gram-lekérdezésekkel szerzik be a szükséges információt, amelyeket egy intelligens, kontextusfüggő kapumechanizmus a modell aktuális állapotához igazít. Ez lehetővé teszi, hogy a GPU memóriája a bonyolultabb elemzésekre szabaduljon fel – a gyakran ismétlődő, statikus adatok lekérdezése jelentősen könnyebbé válik.
Skálázhatóság, teljesítmény, költségcsökkentés
A 27 milliárd paraméteres modellen végzett tesztek alapján az Engram stabilan, kis teljesítményveszteséggel támogatja az aszinkron adatbeolvasást több GPU-n is. A módszer kevesebb HBM-et igényel, a szükséges memória SSD-kkel vagy olcsóbb rendszermemóriával is kiegészíthető. Az új CXL-szabványokkal együtt pedig egyesíthetővé válik a különböző hardverek memóriája.
A paraméterek egy részének Engram-modullal való lefoglalása (kb. 20–25%) jobb teljesítményt ad, mint a hagyományos Mixture-of-Experts-modelleknél. Az eljárással a memóriakapacitás költségnövekedés nélkül, lineárisan skálázható, a gyakran használt beágyazások hierarchikus gyorsítótárazása pedig tovább növeli a hatékonyságot.
Kedvező hatás a globális MI-infrastruktúrára
Különösen azokban a régiókban lesz hasznos, ahol a HBM-memóriákhoz gyengébb az ellátás, például Kínában. Az első eredmények szerint a DeepSeek eljárása jelentősen növelheti a modellek skálázhatóságát, miközben stabilabb és olcsóbb infrastruktúrát teremt – véget vethet a memóriaárak vad ingadozásának.
