Miért éppen logaritmikus matematika?
A Tensordyne célja, hogy egyszerre növelje az MI-modellek kiszolgálásának sebességét és csökkentse annak költségeit. A szokásos mátrixszorzások helyett saját, logaritmikus matematikát alkalmaznak, amellyel a hagyományos szorzókat nagyságrendekkel egyszerűbb összegzőkre cserélik. Ez kisebb helyet foglal a lapkán, kevesebb áramot fogyaszt, és több kapacitást hagy a nagysebességű memóriának, vagyis az SRAM-nak. A vállalat szerint ez jelentősen javítja a rackszintű infrastruktúra teljesítményét és energiahatékonyságát nagy, összetett MI-modellek futtatásánál.
Komplex rendszert, nem csupán chipet fejlesztenek
A Tensordyne nemcsak egy lapkát fejleszt, hanem komplett adatközponti rendszereket: a chiphez illeszkedő, skálázható, rackméretű architektúrát is kínál. Fontos, hogy ma már nem pusztán az MI-gyorsítók csúcsteljesítménye számít, hanem a memória, az összeköttetés, az energiafogyasztás és a hűtés is meghatározó tényezők. A cég szerint kiegyensúlyozott rackdizájnnal több szövegegységet (token) lehet generálni egy rackkel és egy megawattnyi árammal, mint a jelenlegi legdrágább alternatíváknál.
Egyetlen, 120 kW-os TDN72 rack akár 1300 token/másodperc/felhasználó sebességet kínálhat kétbillió paraméteres GPT MoE-modelleknél, miközben ehhez a Tensordyne vetélytársai – az NVIDIA, a Groq vagy az AWS – 9-14 rack és 800-1500 kW teljesítményt igényelnek. Más szóval, a Tensordyne jóval kompaktabb és gazdaságosabb megoldást ígér ugyanarra a feladatra.
Milyen vas lapul a csúcstechnológia alatt?
A Napier processzor a TSMC 3 nm-es gyártásán készül, 138 milliárd tranzisztorral, 2,1 petaflops teljesítménnyel, 1,33 GHz-es gyorsítómaggal, 1,5 GHz-es CPU-val, 256 MB SRAM-mal és 144 GB HBM3E memóriával. Összehasonlításképpen, a cég azt állítja, hogy az NVIDIA Blackwellhez képest ötször több gyorsítótárat építettek bele. Mindebből fakadóan ritkábban kell az adatokat távolra mozgatni, ami jelentősen gyorsíthatja a munkát.
Rackméretű MI-szörnyeteg
A TDN72 rendszer 72 processzorból, 68 petaflops összteljesítményből és 42 TB HBM memóriából áll. Egy rack négy podból, egy pod négy 1U-magas tálcából, egy tálca kilenc Napier-chipből épül fel. Az egész rendszert levegőhűtésre tervezték, ami szokatlan ekkora kategóriában, ahol a folyadékhűtés az iparági szabvány.
A rendszerek közötti adatáramlást a TDN Link nevű összeköttetés biztosítja, amely 1 TB/s sávszélességet kínál, és mikroszekundum alatti késleltetést ígér – elengedhetetlen a korszerű mixture-of-experts vagy ügynökalapú MI-alkalmazásokhoz, ahol rengeteg információt kell gyorsan megosztani az összes chip között.
Ami igazán döntő: a szoftver és az ökoszisztéma
A hardver önmagában nem ér semmit a szoftver támogatása nélkül. A Tensordyne SDK-t, PyTorch/Triton kompatibilitást, Hugging Face-modelltárat és egyedi Python-keretrendszert ígér. Az NVIDIA CUDA-hoz hasonló szoftveres és fejlesztői támogatás nélkül viszont nehéz lesz a vállalati ügyfeleket meggyőzni.
A cég olyan partnerekkel dolgozik együtt, mint a HPE vagy a Juniper, hogy az infrastruktúra teljes vertikuma legyen biztosított. Ez is fontos lépés, mert nem elég egy chipet megtervezni, egy komoly rendszerhez sokféle eszköz, támogatás és megbízhatóság kell.
A jövő és a realitás
Ha minden flottul halad, 2027 első negyedévében indul a bétaprogram, és a szállítások a második negyedév végére várhatók. Ezalatt azonban a többi nagy szereplő – NVIDIA, AMD, Groq, Cerebras – sem tétlenkedik, így hatalmas kérdés, mennyire bírja majd a Tensordyne technológiája a gyakorlati igénybevételt.
A Napier azért igazán érdekes, mert tényleg újat próbál a matematikában, nemcsak méretben vagy árban akar versenyezni. Ugyanakkor óriási a különbség a bemutató és az ipari siker között: a rackenkénti, illetve a megawattban mért teljesítmény biztosítása kulcsfontosságú. Ha a technológia valóban beválik, komoly alternatívát jelenthet majd az MI-infrastruktúra piacán, akár több milliárd dolláros üzletek is köttethetnek rá. Addig viszont ez még mindig csak egy izgalmas, de bizonyítandó elképzelés.
