Csökkenő hozamok
Az LLM-ek fejlődése részben a mögöttes transzformer-architektúrának köszönhető, amelyet 2017-ben a Google tudósai hoztak létre. Ez az architektúra az emberi bevitelből származó tanítási adatok feldolgozásával fejlődik és tanul.
E modellek további skálázása azonban szédületes mennyiségű pénzt és energiát igényel. A generatív MI-ipar 2024-ben globálisan dollármilliárdokat gyűjtött kockázati tőkéből, és ennek nagy része hatalmas adatközpontok építésére ment el, amelyek szén-dioxid-kibocsátása jelentősen megnőtt.
Az előrejelzések szerint a további növekedéshez elengedhetetlen, ember által generált adatmennyiség valószínűleg kimerül. Ha ez bekövetkezik, a lehetőségek a felhasználói magánadatok gyűjtésére vagy az MI által generált “szintetikus” adatok visszacsatolására korlátozódnak.
Az MI-fejlesztés jövője
Ezek az akadályok nagy kihívásokat jelentenek az MI teljesítményének növelésére törekvő vállalatok számára, ami az értékelési teljesítménymérők stagnálásához vezetett, és az OpenAI GPT-5 modellje sem jelent meg.
A kínai DeepSeek vállalat idén azonban megcáfolta azt a feltételezést, hogy a fejlődés mindig skálázással érhető el, amikor a Szilícium-völgy drága modelljeivel megegyező teljesítményt ért el sokkal alacsonyabb költségekkel. Ezért a felmérés válaszadóinak 79%-a vélekedett úgy, hogy az MI-képességekről alkotott elképzelések nem felelnek meg a valóságnak.
“Sok szakértő gondolja, hogy ez egy buborék,” mondta Stuart Russell, a Kaliforniai Egyetem számítógéptudósa. “Különösen akkor, amikor viszonylag nagy teljesítményű modelleket ingyen adnak.”
Ez azonban nem jelenti azt, hogy az MI fejlődése megállt. A következtetési modellek – specializált modellek, amelyek több időt és számítási teljesítményt fordítanak a kérdések megválaszolására – jobb eredményeket mutattak hagyományos elődjeiknél.
Ezen modellek más gépi tanulórendszerekkel való párosítása, különösen miután specializált méretűre csökkentették őket, izgalmas jövőbeli lehetőségeket kínál, állítják a válaszadók. A DeepSeek sikere pedig az MI-rendszerek tervezésének új megközelítéseire is rámutat.
