A Bonsai 1 bites modellje kiszabadíthatja az MI-t a felhő fogságából

A Caltechről indult PrismML forradalmi, 1 bites nagy nyelvi modellt jelentett be, amely meglepő módon a sokkal nagyobb méretű vetélytársakkal is felveszi a versenyt. Ez a Bonsai 8B névre keresztelt modell mindössze 1,15 GB memóriát igényel, de teljesítményét tekintve bőven túlszárnyalja a hagyományos, teljes pontosságú rendszereket. A modell 14-szer kisebb, nyolcszor gyorsabb és ötször energiatakarékosabb edge-hardvereken, mint a kortársai – miközben nem marad el a versenytársaktól sem a paraméterszámban, sem a tudásban.

Egy bitnyi forradalom

A Transformer architektúrán alapuló MI-modellek hagyományosan rengeteg neuronkapcsolatot, azaz súlyt használnak, amelyek mérete a számábrázolás pontosságától függően rengeteg memóriát emészthet fel. A Bonsai 8B viszont minden egyes súlyt mindössze az előjelén (–1 vagy +1) ábrázol, csoportonként egy közös skálázó tényezővel – a sokkal többet foglaló 16- vagy 32-bites helyett. Ez várhatóan jelentősen csökkenti a szükséges tárhelyet anélkül, hogy elveszne a logikai következtetés vagy az összetett utasításvégrehajtás képessége.

Intelligencia-sűrűség, mint új mérce

A PrismML egy új metrikát vezetett be, az úgynevezett intelligencia-sűrűséget, amely a modell hibaarányának logaritmusát osztja el a modell méretével. A Bonsai 8B ezen a mutatón 1,06/GB eredményt ér el, míg a benchmarkokon néha jobban teljesítő Qwen3 8B csak 0,10/GB értéket produkál.

Az MI-függetlenség ajtaja nyílik

A vállalat célja, hogy az MI-modelljei ne szoruljanak óriási felhőadatközpontokra, hanem mobil eszközökön, robotikában és reziliens vállalati rendszerekben is működjenek, ahol a memória és az energia kulcskérdések. A Bonsai 8B közvetlenül futtatható Apple-eszközökön (Mac, iPhone, iPad) és Nvidia GPU-kon is, és teljes mértékben nyílt forráskódú. Elérhető két kisebb változat is: a Bonsai 4B és a Bonsai 1.7B modellek. Úgy tűnik, az MI-intelligencia sűrítése most hosszú időre meghatározhatja az iparági fejlesztési irányokat.

2026, adrienne, go.theregister.com alapján