Gyorsabb MI, nagyobb hatékonyság
A Cerebras lapkái óriásiak, egyetlen szilícium-szeletből készülnek, mintegy 46 225 négyzetmilliméteresek, és 44 GB SRAM memóriával működnek, amely jóval gyorsabb, mint a hagyományos GPU-k HBM memóriája. A Cerebras-chipek 21 petabájt/másodperces adatsávszélességet biztosítanak, ami közel ezerszerese az Nvidia-kártyákénak. Ez lehetővé teszi, hogy a céges MI-modellek, például a GPT-OSS 120B, egyetlen felhasználónak akár 3098 token/másodperc sebességgel adjanak választ, miközben az Nvidia-alapú rendszerek ennek csupán harmadára képesek. Továbbá a nagyobb memóriasávszélességnek köszönhetően összetettebb feladatok esetén is késlekedés nélkül tud válaszolni az OpenAI MI-je. Mindez azt eredményezi, hogy a felhasználók gyorsabb, élményszerűbb kommunikációt tapasztalnak, ezért többet és értékesebb tartalmakat hoznak létre a ChatGPT-vel.
Technológiai nehézségek és további fejlesztések
A Cerebras-rendszer hátránya, hogy az SRAM-memória miatt a chipek a méretükhöz képest kevesebb adatot képesek tárolni. Egy nagyobb modellhez így több chip kombinációja szükséges, ami igencsak energiaigényes, hiszen egyetlen gyorsító is 23 kW teljesítményt vesz fel. Például a Llama 3 70B modell is négy CS-3 gyorsítóra támaszkodik egyszerre, 16 bites pontosság mellett. Várható továbbá, hogy a Cerebras hamarosan új fejlesztéssel jelentkezik, és javít a memóriakiosztás hatékonyságán. Ez arra utal, hogy egyre több és komplexebb MI-modell lesz futtatható egyetlen szilícium-lapon.
Új üzemmódok és lehetőségek
Az OpenAI bevezetett egy új, többméretű modellrendszert, ahol az egyszerűbb kérdéseket optimalizált, kisebb modellek válaszolják meg olcsóbban és gyorsabban, míg a legbonyolultabb kérdések igénylik a nagy erőforrásigényű MI-ket. Emellett elképzelhető, hogy az OpenAI a jövőben akár AMD- vagy Nvidia-GPU-kon indítja el a számításigényes feladatok első fázisát, míg a tokenek generálása már a Cerebras-gyorsítóin történne – mindez attól függ, hogy a Cerebras milyen infrastruktúrát épít az adatközpontjaiban.
