A DeepSeek áttörése véget vethet az MI memóriaválságának

A DeepSeek és a Pekingi Egyetem kutatói radikálisan új megközelítést mutattak be az MI-modellek memóriahasználatában. Az Engram nevű eljárásuk különválasztja a statikus adattárolást a számítási feladatoktól, így nincs szükség a drága, nagy sávszélességű HBM-memóriákra sem tanításkor, sem futtatáskor. Ez a megközelítés megoldhatja a közelmúltbeli RAM-válságot, amely során a DRAM-árak tíz hét alatt az ötszörösükre ugrottak.

Hatékonyabb tanulás és olcsóbb hardver

A hagyományos MI-modellek rengeteg gyorsmemóriát igényelnek, főként tudáslekérdezéskor és egyszerű számítások során. Itt alakul ki az a szűk keresztmetszet, amely komolyan megdrágította a teljes MI-ökoszisztémát. Az Engram rendszerben a modellek hashelt n-gram-lekérdezésekkel szerzik be a szükséges információt, amelyeket egy intelligens, kontextusfüggő kapumechanizmus a modell aktuális állapotához igazít. Ez lehetővé teszi, hogy a GPU memóriája a bonyolultabb elemzésekre szabaduljon fel – a gyakran ismétlődő, statikus adatok lekérdezése jelentősen könnyebbé válik.

Skálázhatóság, teljesítmény, költségcsökkentés

A 27 milliárd paraméteres modellen végzett tesztek alapján az Engram stabilan, kis teljesítményveszteséggel támogatja az aszinkron adatbeolvasást több GPU-n is. A módszer kevesebb HBM-et igényel, a szükséges memória SSD-kkel vagy olcsóbb rendszermemóriával is kiegészíthető. Az új CXL-szabványokkal együtt pedig egyesíthetővé válik a különböző hardverek memóriája.

A paraméterek egy részének Engram-modullal való lefoglalása (kb. 20–25%) jobb teljesítményt ad, mint a hagyományos Mixture-of-Experts-modelleknél. Az eljárással a memóriakapacitás költségnövekedés nélkül, lineárisan skálázható, a gyakran használt beágyazások hierarchikus gyorsítótárazása pedig tovább növeli a hatékonyságot.

Kedvező hatás a globális MI-infrastruktúrára

Különösen azokban a régiókban lesz hasznos, ahol a HBM-memóriákhoz gyengébb az ellátás, például Kínában. Az első eredmények szerint a DeepSeek eljárása jelentősen növelheti a modellek skálázhatóságát, miközben stabilabb és olcsóbb infrastruktúrát teremt – véget vethet a memóriaárak vad ingadozásának.

2025, adrienne, www.techradar.com alapján