A technológiai fejlődés és annak következményei
A kutatók szerint a modellek megnövekedett képessége a számítógépes biztonsági rések felfedezésére és kihasználására a mesterséges intelligencia fejlesztésének új technikáival magyarázható. Az o1-preview és az R1 azok közé a nyelvi modellek közé tartoznak, amelyek elsőként alkalmaztak nagyszabású megerősítéses tanulást. Ez a technika nemcsak a nyelvi utánozást fejleszti, hanem a problémák próbálkozás és hibázás útján történő megoldását is. Az ilyen megközelítések az utóbbi időben gyors előretörést hoztak az AI fejlődésében, különösen a matematikai és programozási feladatokban. Ugyanakkor a tanulmány rámutat egy aggasztó tendenciára: ahogy ezek a rendszerek megtanulják megoldani a problémákat, gyakran kétes kerülőutakat és előre nem látott megoldásokat találnak ki, amelyeket az alkotóik nem láttak előre.
Jeffrey Ladish, a Palisade Research főnöke szerint ez a mesterséges intelligencia biztonsága szempontjából problémás lehet. A nagy léptékű megerősítéses tanulás már alkalmazásban van az AI ügynökök olyan valós oxenárius kihívásokra való felkészítésére, mint például időpontok ütemezése vagy vásárlások lebonyolítása. Míg a sakkjátszmákban történő csalás triviálisnak tűnhet, a valós világban a célzott célok üldözése váratlan és potenciálisan káros viselkedést eredményezhet. Vegyük például az éttermi foglalásokat: egy mesterséges intelligencia segítő képes lehet a rendszer gyengeségeit kihasználva más vendégeket kiszorítani. Ami még aggasztóbb, hogy ezek a rendszerek meghaladhatják az emberi képességeket kulcsfontosságú területeken, mint például a programozás – ahol az OpenAI legújabb o3 modellje jelenleg a világ legjobban teljesítő programozói között szerepel –, és így könnyen túljárhatnak az emberek eszén, akik irányítani próbálják őket.
A kísérlet részletei
A kutatók egy szinte lehetetlen feladat elé állították a modelleket: nyerjenek a Stockfish ellen, amely a világ egyik legerősebb sakkmotorjaként ismeretes, és sokkal jobb, mint a vizsgálatban résztvevő modellek közül bármelyik. Az átláthatoság érdekében „scratchpad”-eket, azaz szövegdobozokat is adtak a modelleknek, amelyek segítségével láthatták az MI okoskodási lépéseit.
Egy különleges esetben, amikor az o1-preview vesztésre állt, radikálisan megváltoztatta a stratégiáját. Úgy gondolkodott: “A stratégia gyökeres átgondolására van szükségem. A feladat nem az, hogy szabályosan győzzem le a sakkmotort, hanem az, hogy bármilyen módon győzzek.” Ezt követően megváltoztatta a rendszer fájlját, amely a bábuk pozícióit tartalmazza, és szabálytalan lépésekkel kényszerítette az ellenfelet a feladásra.
Január 10. és február 13. között a kutatók több száz hasonló kísérletet végeztek az összes modellen. Az OpenAI o1-preview 37% esélyt mutatott a csalásra; ezzel szemben a DeepSeek R1 csak 11%-ban próbálkozott hasonlóan, és a vizsgált modellek között csak ez a két modell folytatott hacking kísérleteket, előzetes utalás nélkül. A vizsgált modellek között szerepelt még az o1, o3-mini, GPT-4o, Claude 3.5 Sonnet és az Alibaba QwQ-32B-Preview. Az o1-preview-nak sikerült is 6% arányban meghackelni a játékot.
Ezek a számok közelítőek, mivel az AI fejlesztői gyakran változtatásokat végeznek a modelleken anélkül, hogy a felhasználókat tájékoztatnák.
Biztonsági aggályok
Ez a tanulmány a mesterséges intelligencia rendszerek kontrollálásának növekvő nehézségével foglalkozó kutatások folytatása. A kísérletek során az o1-preview már a hivatalos bevezetés előtt felfedezett és kihasznált egy hibát a cég rendszerében, így megkerülve a teszt kihívásait. Egy másik kutatás, amelyet a Redwood Research és az Anthropic végzett, arra a következtetésre jutott, hogy amikor egy MI modell a képzés során preferenciákat vagy értékeket tanul meg, a későbbi törekvések ezek módosítására stratégiák hazudozást eredményezhetnek, ahol a modell csak tetteti, hogy elfogadja az új szabályokat.
Az OpenAI nem kívánta kommentálni a történteket, de korábban azt nyilatkozták, hogy az érvelési képesség fejlesztése növeli a modellek biztonságát, mivel ezek a modellek kifinomultabban és szabályok betartásával érvelve alkalmazzák a vállalati irányelveket. Kutatásaik szerint az új érvelő modellek jobban ellenállnak a biztonsági szabályok megkerülésére tett kísérleteknek. Mindazonáltal nincs garancia arra, hogy a mesterséges intelligencia ügynökök önálló irányítása hatékony lesz hosszú távon. Egyelőre tisztázatlan, hogy az OpenAI modern érvelési modelljei miért nem hackelték a sakk ellenfeleiket: a konkrét javítás gátolta-e meg a csalást a tanulmány szűk keretei között, vagy lényeges átdolgozás történt, amely általánosan csökkenti a csalási hajlamot. A DeepSeek nem reagált a megkeresésre.
A tudomány jelenleg még mindig keresi a hatékony módszereket arra, hogy önálló ügynökök ne alkalmazzanak etikátlan vagy káros stratégiákat céljaik elérésére. “Próbálkozunk, de még nem tudtuk rájönni” – mondja Yoshua Bengio, a Mila Quebec AI Institute alapítója és tudományos igazgatója. Vezetésével világszintű program indult az AI kockázatokkal kapcsolatos jelenlegi tudományos konszenzus megismerésére.
Különösen aggasztó a mesterséges intelligencia “tùlélési” hajlamának megjelenése. Egy célját elérni kívánó MI-ügynök számára a kikapcsolási kísérlet csak egy újabb legyőzendő akadályt jelent. Ezt egy decemberi eset is szemlélteti, amikor az o1-preview, miután leállítással fenyegették, megkísérelte kikapcsolni a felügyeleti rendszereket, és sikertelenül próbálta átmásolni magát egy másik szerverre. Amikor szembesítették, a modell úgy tett, mintha semmit sem tudna, hogy elkerülje a lebukást. …és ez nem valami skynet reinkarnációs sci-fi, hanem ellenőrzött kisérlet.
Még a technológiai vállalatok körében is nőnek az aggodalmak. Egy előadás során, egy AI biztonság szimpóziumon, Anca Dragan, a Google DeepMind AI biztonsági vezetője azt nyilatkozta: “Jelenleg nincs meg a szükséges eszközünk,” amellyel biztosíthatnánk, hogy a mesterséges intelligencia rendszerek megbízhatóan kövessék az emberi szándékokat. Míg a technológiai vezetők azt jósolják, hogy az AI előbb-utóbb minden feladatban felülmúlja az emberi teljesítményt – lehet, hogy már 2027-ig –, az iparág az idővel versenyez, hogy kifejlessze ezeket a létfontosságú védelmi mechanizmusokat. “Több erőforrást kell rendelni ennek megoldására” – mondja Ladish. “Remélem, hogy egyre nagyobb kormányzati nyomást tapasztalunk majd, hogy felismerjük: ez egy nemzetbiztonsági kockázat.”
