Kódolás szinte azonnal: kompromisszumokkal
A Codex-Spark az OpenAI első olyan modellje, amelyet kifejezetten valós idejű kódolási együttműködéshez fejlesztettek. A fejlesztők több mint 1000 token/másodperc sebességet tapasztalhatnak, amit a Cerebras lapkáin ér el a rendszer. Egy 128 000 tokenes kontextusablakkal indul a modell, csak szöveges bemenetet kezel, kép- és multimodális adatok nélkül. Ezt jelenleg a Codex webes alkalmazásában, parancssori felületén és Visual Studio Code-bővítményként tesztelhetik a felhasználók, valamint néhány vállalati partner API-hozzáférést is kap.
Ezenfelül a felhasználók a gyors reakciókért cserébe tudomásul veszik, hogy a modell nem tud minden összetett szoftvermérnöki feladatot tökéletesen ellátni – például komplex, többlépéses programozási problémák megoldásában némileg alulmúlja a teljes Codexet. Az OpenAI szerint ez a kompromisszum elfogadható, mert a gyors válaszok fenntartják a kreatív lendületet.
Miért különleges a Cerebras hardver?
A Cerebras csúcslapkája – egy körülbelül 21 cm átmérőjű, vacsoratányér méretű komponens, 4 billió tranzisztorral – jelentősen csökkenti a kommunikációs torlódásokat, amelyek hagyományos GPU-klasztereknél gyakoriak. Míg hatalmas MI-modellek tanításához továbbra is elengedhetetlen a megszokott, elosztott Nvidia-rendszer, addig az úgynevezett inferencia – amikor az MI élő felhasználói lekérdezésekre generál választ – gyorsabb lehet az egyetlen, specializált lapkán futtatott rendszerrel.
Ez a jelenség jól illusztrálható azzal, hogy a Cerebras-chipeken futó Codex-Spark negyedakkora oda-vissza késleltetéssel reagál, mint a hagyományos szerverklaszterek. Az OpenAI fejlesztői a teljes inferenciafolyamatot optimalizálták: egyes műveleteknél 80%-kal csökkent az ügyfél–szerver oda-vissza késleltetés, 30%-kal a tokengenerálás költsége, 50%-kal pedig az első tokenig eltelt idő.
Az OpenAI és az Nvidia: kezd repedezni a szövetség
Az OpenAI és az Nvidia kapcsolata egy ideje már nem felhőtlen. Tavaly ősszel még egy mintegy 36 000 milliárd forintos (kb. 100 milliárd dollár) infrastruktúramegállapodást lebegtettek, de ezt időközben csendben visszavonták, ahogy az OpenAI alternatív chipbeszállítókkal kezdett tárgyalni. Az Nvidia számára aggasztó lehet, hogy az OpenAI saját példájával is hozzájárul ahhoz, hogy az MI-szuperszámításhoz ne csak a drága Nvidia-kártyákat, hanem olcsóbb, robusztusabb megoldásokat is válasszanak a piac szereplői.
A vállalat hangsúlyozza: a kezdeti, költségérzékeny vagy nagy mennyiségű tokent generáló feladatoknál továbbra is az Nvidia GPU-ira támaszkodik, de nem kíván kizárólag egyetlen chipgyártóra hagyatkozni.
Belső viharfelhők: távozások és feloszlatott biztonsági csapatok
Az MI-hardverek körüli feszültségek mellett az OpenAI belső élete sem felhőtlen. Nemrégiben feloszlatták a szeptemberben létrehozott biztonsági csapatot, és korábban a szuperigazítási csapatot is. Mindkét csoport azért jött létre, hogy az MI hosszú távú, az egész emberiségre nézve kockázatos hatásait vizsgálja. Feloszlatásuk után a csapatok vezetőit más pozícióba helyezték, s mindez azt a benyomást kelti, hogy a kereskedelmi siker most előrébb való, mint az etikai megfontolások.
Ezenfelül vitatott az is, hogy miközben a vállalat reklámokat vezet be a ChatGPT-be, egyes kutatók szerint ezzel veszélyes precedenst teremt. Ilyen körülmények között távozott a termékpolitikai igazgató, akinek távozása mögött munkahelyi diszkrimináció vádja áll, amelyet a vezetés tagad.
Mire készül a jövő Codexe?
Az OpenAI tervei túlmutatnak a villámgyors kódszerkesztőn. Egy olyan MI-asszisztenst képzelnek el, amely a gyors, iteratív utasításokat kombinálja a háttérben önállóan dolgozó almodellekkel és ügynökökkel. Így egyszerre valósítható meg az azonnali reakció és az összetett, hosszabb időt igénylő fejlesztési folyamatok kiszervezése az MI különböző összetevőinek.
Ez egyfajta rugalmasságot kíván a hardveroldalon: a Codex-Spark most a Cerebras-lapkák alacsony késleltetésére támaszkodik, de a következő generációk már a többügynökös, önálló problémamegoldás felé mozdulnak el.
Felhasználók, tempó, kérdőjelek
A Codex alkalmazást az indulástól számítva tíz nap alatt több mint egymillióan töltötték le, az aktív heti felhasználói bázis 60%-kal nőtt, és 325 000 fejlesztő dolgozik vele nap mint nap. A piacon közben az Amazon, a Google és a Microsoft is versenyez az MI-kódgeneráló fejlesztőeszközök területén.
Az igazi kérdés viszont továbbra is az: vajon a sebességnövekedés ténylegesen jobb, gyorsabb szoftvert eredményez-e, vagy csak kényelmesebbé teszi a fejlesztési folyamatot? Az első tapasztalatok szerint a gyors válaszok ösztönzik a kísérletezést, de hogy ez mindig minőségi ugrást hoz-e, az vitatott. Egy azonban biztos: az MI-fejlesztésben lassítani tilos. Az OpenAI tempót váltott, de most bizonyítania kell, hogy a szédítő sebesség nem vezet önpusztításhoz.
