Platón árnyékából az adatok barlangjába
A témában dolgozó kutatók évek óta vizsgálják, hogyan „látja” a világot az MI, vagyis milyen belső reprezentációkat alkot egy-egy jelenetről, mondatról vagy képről. Friss kutatások szerint, függetlenül attól, hogy a különböző modelleket milyen adatokkal – szöveggel, képpel – tanították, meglepően hasonló világképet alakítanak ki magukban. Sőt, a modellek fejlődésével ezek az elvont világleírások egyre inkább közelítenek egymáshoz. Az MIT négy kutatója ezt platóni reprezentációs hipotézisnek nevezte el, utalva az ókori gondolkodó híres barlanghasonlatára: az MI-modellek látszólag szűk rálátással, szinte csak árnyképeken keresztül következtetnek a valóságra, de még így is hasonló eredményre jutnak.
A számok univerzuma – hogyan hasonlítanak a modellek?
Az MI-modellek alapját különböző típusú neurális hálózatok adják, amelyek – Püthagorasz gondolata nyomán – végső soron mindent számsorokkal írnak le. Belső reprezentációik konkrétan számsorokként, vektorokként írhatók le, amelyek a neuronok aktivitását rögzítik. Ha két fogalom vektorai hasonlók, közel állnak egymáshoz az MI „térképén”. Egy adott MI-modellen belül például a „kutya” közelében találhatók a „háziállat”, „ugatás” vagy „szőrös” vektorok.
De mi történik, ha különböző modelleknek ugyanazokat a szavakat vagy képeket adjuk bemenetként? Ilyen esetben nem lehet a vektorokat közvetlenül összehasonlítani, de közvetett módon mérhető, hogy a modellek hasonló rendezettségű csoportokat alakítanak-e ki – vagyis például a „kutya”, „macska” és „farkas” egymás közelében koncentrálódnak mindkét modellben.
Ehhez a kutatók módszeresen sorra veszik a fogalmakat, beadják őket a modelleknek, majd megvizsgálják, mennyire egyeznek a keletkező vektorfelhők – ezt a tudomány „hasonlóság-hasonlóságának” is nevezi. Az eredmények szerint a nagyobb, erősebb modellek mindinkább hasonló belső világképet alkotnak, még akkor is, ha különböző forrásból származó adatokból tanulnak.
Konvergens fejlődés: közelítenek a megoldások
2023-ban, amikor berobbant a ChatGPT, különösen nagy lett az érdeklődés e kérdés iránt. A megfigyelések szerint, ahogy növelik a modellek méretét és a tanítóadatok mennyiségét, úgy lesznek egyre jobbak az MI-rendszerek különböző feladatokban – noha nem egyértelmű, hogy mi áll a háttérben. Egyes kutatók szerint ez egyszerűen csak azt jelzi, hogy az MI egyre jobban megtanulja a tanítóadatok speciális mintázatait. Ha viszont különböző forrásokból táplált modellek is ugyanarra kezdik „leképezni” a világot, az már inkább amellett szól, hogy létezhet valamilyen univerzális háttérstruktúra.
Az MIT kutatói, Huh és munkatársai egyetlen adatbázis – a Wikipédia képaláírással ellátott képei – segítségével öt képfeldolgozó és tizenegy nyelvi modellt teszteltek. Minden egyes kísérlettel nőtt az MI-modellek által létrehozott belső világképek hasonlósága. Ezáltal a platóni reprezentációs hipotézis tovább erősödött.
Nem minden arany, ami hasonlít – az ellentábor érvei
Azonban nem minden kutató osztja ezt a nézetet. A kritikák szerint nagymértékben függ a végeredmény attól, milyen adatokkal tesztelik a modelleket, a vektorok mely rétegeit hasonlítják, illetve mely matematikai módszert választják a csoportok összevetésére. Christopher Wolfram, a Chicagói Egyetem kutatója szerint egy kevésbé egységes vagy szokatlan adatkészlettel könnyen eltérő eredmények születhetnének. A Berkeley-i szakértő, Efros pedig úgy véli, az adathalmaz szerkezete eleve előre meghatározza a hasonlóságot – az életben azonban a képek és szövegek gyakran nem tükrözik egyértelműen ugyanazt a tartalmat.
Ennek ellenére – ha még korlátozott mértékben is – úgy tűnik, a különböző MI-modellek közötti fordítás, illetve a multimodális tanulás (például szöveg és kép egyszerre történő feldolgozása) az egyre hasonlóbb belső ábrázolásoknak köszönhetően fejlődhet.
Nincs egyszerű magyarázat – de előre tör az univerzalitás
Nem egyértelmű, de lehetséges, hogy soha nem születik egyetlen, mindent átfogó elmélet arról, hogyan dolgozza fel az MI a valóságot. Egy több százmilliárd paramétert tartalmazó modell nem szorítható egyszerű sémákba. Mégis, a közelmúlt eredményei azt sugallják, hogy az MI-modellek fejlődésével egyre tisztábban rajzolódik ki egyfajta univerzális, gépi „világtérkép”, amely egyszerre több nézőpontból is képes azonos struktúrát felismerni a valóságban.
