Belső zavarok jelei az OpenAI-nál
Kétségtelen jelek utalnak arra, hogy nem minden a tervek szerint alakul az OpenAI háza táján. Sam Altman vezérigazgató még február 12-én is arról beszélt, hogy a vállalat termékpalettája meglehetősen zavaros képet mutat a felhasználók számára.
Az új GPT-4.5 rendkívül nagyméretű, és közel 10 milliárd dollárba kerülhet a betanítása a Microsoft számára, amely az OpenAI legnagyobb befektetője. Ez a becslés hihetetlennek tűnhet, de a Microsoft egyik alelnöke, Scott Guthrie azt nyilatkozta a Reuters hírügynökségnek, hogy a cég „több milliárd dollárt” költött az AI-infrastruktúrára.
Méretbeli korlátok
Altman nemrég a Bluesky közösségi platformon arról panaszkodott, hogy a GPT-4.5 tanításának befejezéséhez szükséges számítástechnikai kapacitás egyszerűen nem állt rendelkezésre. Ahogy fogalmazott: „komoly, kemény fal” áll előttünk, és néhány évig nem lesz elég számítási kapacitás ahhoz, hogy még nagyobb modelleket építsenek.
Szakértők rámutatnak, hogy a jelenlegi AI-modellek mérete nem tartható fenn gazdaságosan. Bár a nagy nyelvi modellek (LLM-ek) algoritmusai hatékonyabbá váltak, a szükséges számítási teljesítmény exponenciálisan növekszik a modell teljesítményével.
A méretezés problémája
A Stanford Egyetem kutatói, köztük Carlos Guestrin AI-professzor szerint a méretezés önmagában már nem elegendő a jelentős teljesítményjavuláshoz. Szerinte a modelleknek inkább “okosabbá”, nem pedig nagyobbá kellene válniuk – és ez nemcsak az OpenAI, hanem az egész iparág számára kihívást jelent.
Az AI-modellek méretezésével kapcsolatos aggodalmak nem újkeletűek. Neil Thompson, az MIT kutatója és kollégái már 2022-ben figyelmeztettek, hogy a mélytanulási modellek méretezése nem tartható fenn gazdaságilag. Thompson szerint az egyes teljesítményjavulásokhoz szükséges erőforrások olyan gyorsan növekednek, hogy a vállalatoknak hamarosan választaniuk kell, hogy csökkentik a célokat vagy teljesen új megközelítéseket fejlesztenek ki.
Az MI-láz lehűlésének jelei
Az AI-ágazatba egyelőre továbbra is özönlik a pénz. A startupok 2023-ban 50 milliárd dollárnyi befektetést vonzottak, míg a piaccal kapcsolatos általános várakozások 2030-ra 2 billió dolláros iparágat jósolnak. Azonban Thompson figyelmeztet: ha a befektetők rájönnek, hogy az AI-fejlesztések lelassultak, a pénz gyorsan elapadhat.
A helyzetet súlyosbítja, hogy a nagy nyelvi modellek kereskedelmi alkalmazása még mindig korlátozott, és gyakran túlzott várakozások előzik meg a tényleges képességeiket. Az egyik fő probléma, hogy ezek a modellek pontatlan információkat, azaz “hallucinációkat” generálhatnak, ami megakadályozza felhasználásukat például jogi kutatásban vagy adatelemzésben.
Új megközelítés szükséges
Az AI-kutatók már dolgoznak alternatív megoldásokon. Ahelyett, hogy egyszerűen növelnék a méreteket, olyan modellekre összpontosítanak, amelyek külső eszközöket használhatnak, például keresőmotorokat vagy kalkulátorokat. Ez sokat ígérő irány, de egyelőre még nem bizonyított, hogy helyettesítheti a méretezést mint a teljesítmény növelésének elsődleges eszközét.
Altman és az OpenAI optimista, hogy a számítási korlátok csak ideiglenesek. Az OpenAI és a Microsoft új adatközpontokat építenek, amelyek a tervek szerint 2026-ra már működőképesek lesznek. Ezen felül az AI-chipek következő generációja, beleértve a Nvidia H200-at is, jelentősen növelheti a számítási kapacitást.
Hosszú távon azonban az iparágnak új utakat kell találnia a fejlődéshez. Guestrin szerint ez az átmenet természetes része a technológiai fejlődésnek: “Minden technológiai fejlődés belefut ezekbe a falakba… Ez az a pillanat, amikor az innovatív gondolkodás valóban értékessé válik.”
