Forradalmian új memóriamenedzsment
A technikai áttörés lényege, hogy az Apple az AFM 3 Core Advanced nevű modelljében a teljes súlykészletet, vagyis az MI minden belső paraméterét nem a gyors, de kis kapacitású DRAM-ban, hanem a sokkal nagyobb, de lassabb NAND flash-ben helyezte el. Míg a hagyományos megoldásoknál mindennek bele kellett férnie az aktív memóriába, most elegendő, ha csak az éppen szükséges részek kerülnek át ide – ráadásul mindössze egyszer, egy teljes feladatra vetítve – nem minden egyes generált szóra.
Egészen pontosan, amikor egy új lekérdezés érkezik – legyen az keresés, szöveggenerálás vagy parancs végrehajtása –, egy kisebb modell dönti el, hogy a NAND flash-ből melyik szakértői modulokat töltse be az aktív memóriába. Ezután végig ezzel a szakértői összeállítással dolgozik, jelentősen javítva a válaszidőt és csökkentve a memóriaforgalmat.
Rugalmas teljesítmény, igény szerint
Az elérhető 20 milliárd paraméterből nem mindig aktiválódik mindegyik – a rendszer feladattól függően 1 és 4 milliárd közötti paramétert aktivál. Így egy egyszerűbb lekérdezés esetén felesleges energia- és memóriafelhasználás nélkül dolgozik az MI, míg a bonyolultabb, összetett feladatok esetén nagyobb teljesítményt biztosít.
Az AFM 3 Core Advanced tehát sokkal rugalmasabban alkalmazkodik, mint a korábbi helyi MI-modellek, megszüntetve a DRAM-kapacitás jelentette szűk keresztmetszetet. A szerveres modellek, köztük az AFM 3 Cloud Pro, továbbra is a Google Cloud infrastruktúráján, Nvidia GPU-kon futnak, teljes adatvédelmi garanciával, az Apple Private Cloud Compute rendszerén keresztül.
Kockázatok és technikai részletek
Az ügy súlyát mutatja, hogy az Apple egyelőre nem árult el minden részletet a rendszer valódi energiafogyasztásáról, memóriahasználatáról és arról, pontosan mikor és hogyan dől el, hogy egy művelet helyben vagy a szervereken fut-e le. A vállalati ügyfelek számára ez jogi és megfelelőségi kérdéseket is felvet: a rendszer működésének transzparenciája létfontosságú.
Arra is várni kell még, hogy milyen valódi teljesítményt tud nyújtani a 20 milliárdos helyi modell a mindennapi használatban, különösen akkor, ha skálázásról vagy erőforrás-igényes feladatokról van szó. Egy átfogó technikai elemzés nyáron várható, amely választ ad a most nyitott kérdésekre.
Vállalati döntések új helyzete
A helyben futó MI-modellek eddigi legnagyobb korlátja a memóriafal volt, amely a 20 milliárd paraméteres modellel most látványosan eltűnt. A helyi és a felhőben dolgozó modellek közötti választás már tudatos, szervezeti döntés lett, nem technológiai kényszer. Az egyszerű lekérdezések maradhatnak az eszközön, a komplex, soklépcsős feladatok viszont átterelhetők a felhőalapú AFM 3 Cloud Pro-ra.
Az Apple és a Google Cloud közötti együttműködés teszi lehetővé, hogy a felhőoldali számítási kapacitás is maximálisan biztonságos maradjon. A végső kérdés, hogy az új helyi lehetőség mennyire lesz skálázható – a válaszokra a hivatalos teszteredmények megérkezéséig várni kell.
