Az MI-chipek titkos fegyvere: a TMU

A mesterséges intelligencia rendszerek processzorainak fejlődése eddig elsősorban a mátrixszámítások gyorsítására irányult, de a legalább ilyen fontos adatmozgatás eddig kevés figyelmet kapott. Erre kínál újszerű megoldást a Tensor Manipulációs Egység (Tensor Manipulation Unit, TMU), egy átkonfigurálható, memória-közeli hardverblokk, amely hatékonyan képes nagymennyiségű adat mozgatására minimális számítás mellett.

Memóriából memóriába, villámgyorsan

A TMU RISC-alapú futtatási modellt alkalmaz, amely egységes címzési rendszert kínál. Ez lehetővé teszi a különféle, akár durva, akár finom mátrix- és tenzor-átalakítások széles körű támogatását. A TMU-t kifejezetten úgy fejlesztették, hogy nagy áteresztőképességű MI-chipen (SoC), egy Tenzo Feldolgozó Egység (Tensor Processing Unit, TPU) mellett működjön, és dupla pufferelést, valamint kimeneti továbbítást is kínáljon, így javítva a feldolgozócső kihasználtságát.

Kicsi, de erős

A TMU mindössze 0,019 mm² helyet foglal az SMIC 40 nm-es technológiájában, mégis több mint tíz különböző adatmozgató műveletet támogat. Tesztek szerint a TMU akár 1413-szoros, illetve 8,54-szeres operátorszintű késleltetés-csökkenést eredményez az ARM A72-höz és az NVIDIA Jetson TX2-höz képest. Ha házon belüli TPU-val együtt használják, a teljes rendszer végponttól végpontig terjedő válaszideje 34,6%-kal csökken – vagyis elhozza az MI-architektúrák új, hatékony korszakát.

2025, adrienne, arxiv.org alapján

Share on Social Media