Az adat- és fejlesztési szűk keresztmetszet felszámolása
Nem hagyható figyelmen kívül, hogy a hagyományos fejlesztési ciklusokban a mérnökcsapatok csak a lehetséges megoldások kis részét tudják kipróbálni egy adott idő alatt, a kísérletek pedig szinte mindig sok emberi beavatkozást és energiaigényes számítási műveleteket követelnek. Ezek a lépések gyakran személyes megérzésekre hagyatkoznak, az így szerzett tudás pedig ritkán hasznosul más projektekben vagy csapatoknál. Ennek következtében az MI-innováció üteme drámaian elmarad a lehetséges maximumtól.
Az MI már számos tudományos felfedezésben bizonyította erejét, de a jelenlegi rendszerek jellemzően csak nagyon szűk, speciális problémákra kínálnak megoldást: a valóban nyílt, fejlesztőbarát MI-innovációk még váratnak magukra. Az MI fejlesztésének három pillére (adat, architektúra, algoritmus) egyszerre történő optimalizálása mindezidáig túl bonyolult volt az automatizáláshoz.
Így tanul önmagától az új MI
A fejlesztők által létrehozott ASI-EVOLVE keretrendszer lényege, hogy egy zárt ciklusban működik: előző tapasztalatokból és adatbázisokból tanul, megalkotja a következő hipotézisét, lefuttatja a szükséges kísérleteket, majd az eredményekből leszűrt tanulságokat visszatölti saját tudásbázisába. A rendszer egyik kulcseleme a Cognition Base – ebben tárolják az emberi szakértelmet, szabályokat, hibákat, ötleteket és intuitív ismereteket, amelyek beindítják a keresési folyamatot. Az Analyzer nevű modul elemzi a többdimenziós kísérleti eredményeket, az értékelésekből letisztult tanulságokat von le, és továbbadja a következő körnek.
További komponensek szintén nélkülözhetetlenek: a Researcher ellenőrzi a korábbi eredményeket, majd ezek alapján új modelleket, kódrészleteket vagy algoritmusokat javasol. Az Engineer felel az MI-betanítások futtatásáért, és spórol az erőforrásokkal – elutasítja a gyengén teljesítő elképzeléseket, mielőtt túl sok GPU-időt foglalnának. A Database tárol minden iteráció eredményét, kódot, indoklást és jelentést, lehetővé téve a folyamatos fejlődést és a tudás kumulálását.
Ennek következtében az ASI-EVOLVE képes arra, hogy emberi beavatkozás nélkül, valós kísérleti visszacsatolások alapján javítsa saját működését.
Gyakorlati eredmények: magát fejlesztő MI-modellek
Az új rendszer sikeresen optimalizálta a tanítóadatokat, a modellarchitektúrákat és a tanítási algoritmusokat. Nagyvállalati környezetben a jó adatminőség folyamatos kihívás: az ASI-EVOLVE képes volt önállóan olyan szabályokat alkotni a hatalmas szöveges adattömegek tisztítására, amelyek a formázási hibákat, HTML-maradványokat és egyéb zajt hatékonyan kiszűrték, miközben ügyeltek az értékes szövegrészek megőrzésére. Az így feldolgozott adathalmazzal betanított modellek közel négy ponttal jobb eredményt értek el a szokásos teszteken, míg az MMLU (Massive Multitask Language Understanding) teszten, amely különféle tudományterületeket fed le, az előrelépés a 18 pontot is meghaladta.
Az architektúratervezés terén a rendszer 1 773 önálló kísérleti menet után 105 új, lineáris figyelemmechanizmuson alapuló architektúrát alkotott, amelyek mindegyike legyőzte az addigi csúcsot jelentő, ember által tervezett DeltaNet modellt. Az automatikusan generált modellek képesek voltak dinamikusan, a bemenet tartalmához igazítva változtatni a számítási igényüket is.
Az algoritmusfejlesztésnél szintén új, eredeti optimalizációs eljárásokat alkotott az MI. Például kidolgozott egy „költségvetésfüggő dinamikus sugarat”, amely szabályozta a frissítések mértékét, így a tanulás stabilabbá vált – még akkor is, ha zajos, bizonytalan adatokon kellett tanulni.
Vállalati MI: amit ez a fejlesztés jelent
A vállalatok számára kulcsfontosságú, hogy a saját adataikat és belső MI-rendszereiket a lehető leghatékonyabban optimalizálják. Mostantól, a cég saját szakterületi tudását integrálva, az ASI-EVOLVE képes automatikusan iterálni, egyre jobb megoldásokat javasolva, folyamatosan beépítve a tanulságokat. Az így működő keretrendszer fejlesztői számára is elérhető, és a forráskód nyilvánossá tételével minden vállalkozás, fejlesztő és termékfejlesztő kihasználhatja ezt a forradalmi technológiát.
