Az AI nem haldoklik
Legyünk azzal tisztában: az AI nem haldoklik – ezt mindenki tudja. Csak vess egy pillantást arra, hogyan teljesít az Nvidia, és máris világosan látod, milyen téves ez az állítás. A lényeg az, hogy az AI címkével ellátott laptopok, telefonok vagy egyéb kütyük többsége nem azt jelenti, hogy a tényleges AI feldolgozás lényegi része az otthoni kis laptopodon történik. Egyszerűen nem.
Még a jelenleg legjobb, személyre szabottan épített gaming PC is alig képes a ChatGPT-t a teljes kapacitás 10%-ával futtatni. És ez akkor is érvényes, ha letölthetnéd a programot, hiszen az nem egy nyílt forráskódú szoftver, amit bárki letölthet.
Lokális és felhő alapú AI
Sajnos, túl sok adatot és számítási kapacitást igényel, hogy ilyen programot helyben, az asztalon szimuláljunk. Vannak kerülő megoldások és alternatív alkalmazások, de általában halványan teljesítenek a Gemini vagy a GPT tudásával és válaszidejével összehasonlítva. Nem meglepő, ha figyelembe vesszük, hogy több szerver penge egyidejű működéséről van szó. Sajnálom, de az RTX 4090-ed itt nem lesz elég, barátom.
Ez egy másik fontos pont is – még ha van egy testreszabott PC-d is, bárki, aki azt állítja, hogy egy beépített NPU-val rendelkező CPU felülmúlja egy öregedő RTX 3080-at AI munkaterhelések esetén, az magát téveszti meg. Használj egy olyan eszközt, mint az UL Procyon benchmark csomag az AI Computer Vision tesztjével, és meglátod, hogy az asztali RTX 4080 és az Intel Core Ultra 9 185H hajtotta laptop eredményei 700%-kal és 800%-kal magasabbak. Ez nem kis különbség, és ez az Intel chipnek ad némi előnyt, ahol a Zöld Csapat eredményei még jobbak lehetnek.
A jövő AI grafikuskártyái
Az AI ökoszisztémájában már jól megalapozott vállalatok, eszközök és technikák léteznek. Ha van RTX grafikuskártyád, valószínűleg már most is elég teljesítményed van a legtöbb modern ‘AI’ processzorra épített NPU-hoz. Másodsorban, szinte minden jelentős AI program szerver pengék kombinációit használja a teljesítményéhez – nagyon kevés működik helyben, vagy nincsen valamilyen felhőkapcsolata.
A Google mostanáig szinte minden Android rendszerű eszközén elérhetővé tette a Geminit, és a következő hónapokban érkező okoshangszórókhoz is. Egy bétaverzió technikailag már elérhető a Google Home Public Preview funkcióval. Fontos azonban megjegyezni, hogy ezek a termékek már négyévesek, így messze vannak a legmodernebb technikától.
Évekkel ezelőtt beszélgettem Roy Taylorral, aki akkoriban az AMD média és szórakozás területének alelnöke volt, különösen a VR és az e területen történő fejlesztések kapcsán.
Beszélgetésünk lényege, ha jól emlékszem, arról szólt, hogy a grafikus kártyák teljesítménye és a valódi, élethű VR élmény eléréséhez – amely magában foglalja a megfelelő pixeldüsséget és képfrissítést –, olyan GPU-kra lenne szükség, amelyek petaflops teljesítményt nyújtanak. A pontos szám körülbelül 90 PFLOPs – ennyit jelent a valósághű élmény biztosítása, és egy RTX 4090 több mint százszorta kevesebb kapacitással rendelkezik ennél.
Úgy gondolom, hogy a helyi AI is hasonló kategóriába esik. Ez egy olyan alkalmazások, eszközök és segédprogramok területe, amelyek vélhetően soha nem fognak megjelenni az otthoni gaming PC-ken, hanem kizárólag szerver pengéken és szuperszámítógépeken maradnak. Egy önálló számítógépes rendszer egyszerűen nem tud versenyezni – még akkor sem, ha az AI fejlesztéseket mostantól megállítanánk, évekbe telne, míg teljesítmény szempontjából utolérnénk. Ez nem feltétlenül rossz dolog vagy a világ vége.
A GPU-k szerepe az AI fejlődésében
Van egy pozitív oldal azok számára, akik a hálózatról szeretnének leválni, és ez a GPU-gyártók rendszereire épül. Természetesen az AI programozás, különösen a gépi tanulás nagyban épít a párhuzamos számítástechnikára. Ez pedig valami, amiben a GPU-k rendkívül jók, sokkal jobbak, mint a CPU-k – különösen az Nvidia GPU-k, amelyek Tensor magokat használnak. Ez az a technológia, amely a DLSS és FSR modelleket hajtja, amelyeket ismerünk és szeretünk, növelve a képfrissítéseket anélkül, hogy feláldoznánk a játék grafikai hűségét.
Viszont egy új GPU tervezése időbe telik – hosszú időbe. Egy teljesen új architektúra esetén évekig eltart. Ez azt jelenti, hogy az RTX 40 sorozat valószínűleg 2020/2021 körül kezdett formálódni, és hasonlóképpen az RTX 50 sorozat (amely várhatóan hamarosan megjelenik) valószínűleg 2022/2023 körül kezdett körvonalazódni, különböző csapatokkal, akik feladataik szerint csoportosítva dolgoztak. Mindez az AI ‘tél’ olvadása és a ChatGPT megjelenése előtt történt.
Ez arra enged következtetni, hogy hacsak az Nvidia nem tesz radikális változtatásokat a dizájnján gyorsan, valószínű, hogy az RTX 50 sorozat a Lovelace (RTX 40 sorozat) sikerét folytatja, biztosítva számunkra a jobb AI teljesítményt. Az RTX 60 sorozatnál azonban valóban láthatjuk majd az AI kapacitások és teljesítmény növekedését olyan módon, ahogy még nem láttuk ezeken a GPU-kon. Lehetséges, hogy ez az a generáció lesz, amely valósággá teszi a lokalizált LLM-eket, nem csupán ábrándként.
