Mi is az az NPU valójában?
A telefonokban található csúcslapkákat, mint a Snapdragon vagy a Google Tensor, ma már rendszerchipeknek (SoC) hívjuk, mivel ezek egyszerre tartalmazzák a processzort, a grafikus egységet, sőt a képfeldolgozót is – és mostanra az NPU-t. Az NPU-hardver története a digitális jelfeldolgozókig (DSP) vezethető vissza, amelyek főként hang- és modemjelek párhuzamos feldolgozására születtek meg. Ahogy az MI-fejlesztések felgyorsultak, különösen a számítógépes látást lehetővé tévő konvolúciós neurális hálózatok (CNN-ek) miatt, a DSP-k képességeit kezdték kiterjeszteni – végül ezekből nőtt ki az új hardverosztály, az NPU.
Nem hagyható figyelmen kívül, hogy bár az NPU nagyon hatékony a párhuzamos számításokban, nem minden MI-feladathoz elengedhetetlen. Enyhe túlzás tehát azt gondolni, hogy minden MI-funkciót az NPU-nak kellene végezni; egyes könnyebb műveletek elvégezhetők a processzorral vagy a grafikus processzorral is, sőt bizonyos játékoknál kifejezetten a GPU-ra érdemes bízni az MI-munkát.
Miért unatkozik az NPU a telefonodban?
Az okostelefonon lévő MI-funkciók egy része valóban helyben fut – például képernyőkép-elemzés, hangasszisztens vagy naptárjavaslatok –, de a nagyreményű generatív MI-modellek továbbra is a felhőben, hatalmas szerverparkokban nyújtanak teljes körű szolgáltatást. Az olyan csúcsváltozatok, mint a Gemini vagy a ChatGPT, csak a felhőben működnek igazán hatékonyan, hiszen ott szinte korlátlan számítási teljesítmény és memória áll rendelkezésre.
Ebből arra lehet következtetni, hogy a helyi MI csak kompromisszumokkal működhet. Például a felhős Gemma akár egymillió tokent képes egyszerre kezelni, míg a telefon teljesítménye és memóriája miatt ez az ablak lényegesen szűkebb. Ha szeretnél egy hétmilliárd paraméteres MI-t helyben futtatni, legalább 13–14 GB memóriára van szükség – ami csak a legdrágább készülékeknél lehet adott. A fejlesztők ezért úgynevezett kvantált, sűrített modellekkel dolgoznak, amelyek kevesebb RAM-ot használnak, de némileg pontatlanabbak.
Nem meglepő, hogy emiatt néhány új, MI-vel felturbózott alkalmazás vagy funkció (például értesítés-összegző vagy beszédfelismerő) az olcsóbb vagy gyengébb NPU-val szerelt telefonokon inkább a felhőben fut – ráadásul a legtöbb gyártó nem mindig kommunikálja ezt átláthatóan a vásárlók felé.
Megbízhatsz-e a felhőben?
A történet itt még nem ér véget: az MI-funkciók felhőbe költöztetésének komoly adatvédelmi kockázatai vannak. Az olyan nagy szolgáltatók, mint a Google vagy a OnePlus, gyakran azzal érvelnek, hogy náluk a lehető legmagasabb szintű adatbiztonság érvényesül, ám az adatok kezelése jogi és technológiai szempontból is folyamatosan változik. Sok felhasználó az MI-asszisztenseket bizalmas beszélgetésre használja – ezek az adatok pedig egy-egy támadás vagy per esetén könnyen rossz kezekbe kerülhetnek.
Nem hagyható figyelmen kívül, hogy a helyi, eszközön futó MI-nek több előnye is van: adataink valóban ott maradnak, a válaszok gyorsabbak lennének, és a hálózati hiba vagy szolgáltatók kiesése esetén is működnek. Egy felhőalapú MI-modell a szolgáltató vagy internetes üzemzavar esetén gyakran használhatatlanná válik, míg a helyi NPU ekkor is menne tovább.
Miért marad le a telefonos MI?
Noha a gyártók, például a Samsung vagy a Google, mind több memóriát és nagyobb teljesítményt pakolnak a készülékekbe, az MI-újdonságok többségét még most is a felhőből élvezhetjük. Több telefongyártó, például a OnePlus vagy a Motorola, ugyan beépít helyi MI-funkciókat, de az igazán „varázslatos” szolgáltatások még mindig internetkapcsolatot és a gyártói szervereket igénylik. Egyes olcsóbb modellek egyszerűen nem képesek futtatni a karcsúsított modellt sem, ezért adatunk feldolgozásra a felhőbe kerül – még ha ezt a gyártó biztonságosnak is nevezi.
Nem hagyható figyelmen kívül, hogy az MI-jövő jelenleg a hibrid megoldásoké: az adatok egy részét helyben, az igazán nehéz műveleteket pedig továbbra is az óriási adatközpontokban elemzik. A hardvergyártók folyamatosan dolgoznak a még kisebb és okosabb helyi modelleken, de az igazi áttörésre még várni kell.
Marad a felhő? Vagy jöhet az áttörés?
A helyi MI-funkciók fejlődése lemarad a felhőbeli modellekhez képest, viszont a gyártók szerint már most is több tucat ilyen – az adatvédelmet szem előtt tartó – funkció fut a legújabb telefonokon. A Samsung például lehetőséget ad a felhasználóknak, hogy egy kapcsolóval letiltsák a felhős MI-t, és minden feldolgozást a készüléken tartsanak – így viszont több funkció nem érhető el.
A hardveres kapacitás növelése azonban mindenki érdeke: a több memória és a nagyobb teljesítmény a jövőben – ha egyszer eljön – lehetővé teszi az igazán személyre szabott és helyi MI-élményt. Ebből arra lehet következtetni, hogy a következő valódi MI-forradalom a zsebünkben bujkál, csak még idő kell hozzá.
