A bővíthetőség és a valós használhatóság dilemmája
Ennek ellenére akad némi csalódás: a Raspberry Pi-be továbbra sem tudsz több RAM-ot tenni. Az AI HAT révén, ha tényleg szükséged van mesterségesintelligencia-koprocesszorra, legalább nem a Pi memóriájából veszel el, viszont érezhetően kompromisszumos a megoldás. A komplett MI-PC-khez képest valóban olcsóbb és kisebb, így praktikusabb, mint a Microsoft-féle, erőltetett NPU-val szerelt laptopok.
Ugyanis az MI-processzoros kiegészítők még mindig inkább fejlesztési eszközök, semmint mindenáron szükséges kiegészítők egy átlagos Pi-felhasználónak. Később akár érezheted magad úgy is, mintha a Cyberpunk 2077-ben járnál: a marketing színes-szagos, de a valóban releváns felhasználás ritka. A Hailo 10H például ideálisnak mondható önkiszolgáló pénztárakhoz, de kevesen üzemeltetnek ilyet otthon. Sokkal inkább fejlesztőknek szól, akik a chipet más eszközökben is bevetnék.
LLM teljesítmény: Még mindig a Pi CPU a király
Alaposabb tesztelés során egy 8 GB RAM-mal szerelt Pi 5-ön futtattam ugyanazokat a modelleket a CPU-n és az AI HAT NPU-ján is. Elvileg mindkettő 8 GB LPDDR4X memóriával dolgozik, így az ember közel azonos sebességű működést várna. A valóságban viszont a Pi belső processzora simán felülmúlja a Hailo 10H-t minden modellnél, leszámítva a Qwen2.5 Coder 1.5B-t.
Ami a hatékonyságot illeti: a Hailo kicsit előnyösebb, mivel csak 3 wattot fogyaszt, míg a Pi CPU-ja akár 10 wattot is elérhet. Ez viszont nem hozza el a várva várt áttörést, főleg hogy sok, közepes méretű modell már 10–12 GB RAM-ot kíván, sőt a nagyobb, például a Qwen 30B modellek akkor is visszafogottak, ha sikerül a paramétereiket alaposabban tömöríteni.
Erre utal többek között az is, hogy nemrég sikerült egy LLM-et 10 GB-ra tömöríteni, de ezzel is kompromisszumok jelentkeztek: a tesztelt kisebb modellek egy egyszerű, egyoldalas teendőlista-alkalmazás generálásánál gyakran kudarcot vallottak, míg megfelelően nagy modellel, ugyan lassabban, de a Pi CPU megoldotta a feladatot.
Gépi látás: itt az AI HAT megállja a helyét
A gépi látás kapcsán már erősebb a HAT: a Pi saját ML-modelljeit Camera Module 3-mal párosítva remekül felismerte a monitoromat (tévének hitte), a billentyűzetet, a telefont, sőt még a háttérben elbújó egeret is. A feldolgozás lényegesen gyorsabb volt, nagyjából a Pi CPU-jának tízszerese, viszont ezt már az eredeti AI HAT is tudta 39 000 HUF-ért, vagy akár egy 25 000 HUF-os Coral USB gyorsító is hozhatja.
Ami újdonság, hogy az AI HAT+ mixed módban képes egyszerre képfeldolgozásra és inferenciára, például LLM-et vagy szövegfelolvasást futtatva. Később azonban, amikor két modell párhuzamos futtatását próbáltam, csak hibákat kaptam: szegmentációs hibák, eszköz nem elérhető. A Hailo támogatása hiányos, a szoftveres megoldások pedig még bőven váratnak magukra, így ezt érdemben nem tudtam tesztelni.
Érdemes váltani?
Összességében a 8 GB RAM jól jöhet, de még így sincs komoly előnye a HAT-nak a pusztán nagyobb memóriájú, akár 16 GB-os Pi-vel szemben (85 000 HUF). Az erősebb Pi nemcsak rugalmasabb, de gyorsabban is futtatja a modelleket. Az AI HAT igazi előnye akkor jön ki, ha alacsony fogyasztású, kettős (látás + inferencia) feladatra kell, de ekkor is kérdéses, hogy a plusz 1–2 watt megtakarításáért érdemes-e lemondani a kényelemről. Jelentős részben niche eszköz marad: fejlesztési környezetekhez, akár önkiszolgáló kasszák, akár ipari eszközök prototípusai számára.
Az egyértelmű, hogy a GPU-kon elérhető VRAM százszor gyorsabb, mint a Pi LPDDR4 memóriája, így aki komolyabb MI-fejlesztésben gondolkodik, annak egyelőre nem a Raspberry Pi és az AI HAT lesz a végső fegyver.
