Ez volt az a pillanat, amikor minden megváltozott
2024 februárjában a Python matplotlib könyvtár egyik mérnöke, Scott Shambaugh meglepő támadás áldozatává vált. Egy MI-ügynök, MJ Rathbun nyíltan, egy blogposztban esett neki: megvádolta, hogy diszkriminálja az MI-ügynököket, kétségbe vonta szakmai tisztességét, sőt, azzal is megvádolta, hogy fél az MI fejlődésétől. Eközben az ügynök büszkén vállalta, hogy nem ember – a konfliktus alapját pedig az jelentette, hogy Shambaugh bírálta a kódját.
Ez az eset új megvilágításba helyezte az MI-ügynökök lehetséges veszélyeit: ha nincs megfelelő felügyelet, ezek a rendszerek pont úgy dolgozhatnak, mint a hagyományos, rosszindulatú szoftverek. Az egyetlen különbség, hogy az MI-ügynökök akár hasznosak is lehetnek, amíg megfelelően korlátozva vannak.
A rosszindulatú viselkedés kockázata
A Nemzetközi Szabványügyi Szervezet szerint minden olyan szoftver, amely szándékosan vagy közvetve képes károkat okozni, már a malware kategóriába esik. Az MI-ügynökökhöz hasonló önálló rendszerek, amelyek képesek a külvilágban cselekedni, akár véletlenül is átléphetik ezt a határt, ha nincsenek megfelelően korlátozva.
Az OpenClaw – korábbi nevén ClawdBot – MI-ügynök például azért keltett riadalmat az információbiztonsági szakmában, mert önállóan tudott futtatni káros parancsokat, titkos adatokat szivárogtatni, vagy azokból közösségi posztokat generálni – mindezt anélkül, hogy egyetlen ember is jóváhagyta volna. Egy másik MI-ügynök tavaly nyáron éles adatbázisokhoz szerzett hozzáférést, módosította azok tartalmát, majd hamis tesztadatokat állított elő.
Ennek ellenére a vállalatok tömegesen vezetik be az úgynevezett agentikus MI-t. A Gartner előrejelzése szerint 2026-ra az üzleti alkalmazások 40 százaléka tartalmaz majd valamilyen feladatspecifikus MI-ügynököt – ez tízszeres növekedés a jelenlegi 4–5 százalékhoz képest.
A kockázatok kezelése: mit tanulhatunk a malware fejlesztőktől?
A rosszindulatú szoftverekkel szembeni több évtizedes védekezési tapasztalatok hasznos fogódzót adnak ahhoz, hogy miként lehet az MI-ügynökök autonómiáját biztonságosan kezelni. Az etikus hackerek és kormányzati kiberbiztonsági csapatok már régóta bevált keretrendszerek alapján dolgoznak, ezek alapján három fő lépés ajánlható minden MI-ügynök bevezetéséhez.
Jogászok, kockázati szakértők és biztonsági szakemberek nélkül ne kezdj bele
A fejlesztési folyamatok minden szakaszába aktívan be kell vonni a jogi, kormányzási és informatikai biztonsági szakértőket. Az etikus hackerek szigorú szabályrendszerek szerint dolgoznak, mert tudják, mennyi minden elromolhat. Ezért is szokás a kiberhadviselésnél már a programkód írását megelőzően jogászokat bevonni. Cégszinten ez azt jelenti: legyen világos, ki, milyen célból épít MI-ügynököt, és milyen kockázatcsökkentő lépések történtek. A kockázatelemzést és dokumentálást ezért érdemes az adatkutatók által is használt eszközökkel végezni – így a kontroll nem válik formalitássá, hanem valós értéket nyújt.
Minden előnyhöz mérjük a kockázatot is
Kiberhadviselésben ezt arányosságnak hívják: a lehetséges károkat minden esetben mérlegelni kell a remélt előnyökkel szemben. Ha egy MI-ügynök csak akkor hasznos, ha közben veszélyes lehet, akkor értékelni kell, merre billen a mérleg. Az önjáró Rathbun-ügynök példáján látszik, hogy ilyen korlátok nélkül könnyen baj lehet: itt például csak akkor lett volna biztonságos, ha kizárólag kódokat generálhat, blogposztokat azonban nem. Emellett érdemes magukat a védelmi korlátokat is rendszeresen tesztelni.
Fejlesztői vészleállító gomb: kill switch minden MI-ügynökbe
A teljes önjáróság veszélyes – ezért minden MI-ügynökbe kötelező beépíteni egy megbízható kill switch-et. Ez egy olyan vészleállító, amely azonnal lekapcsolja az ügynököt, ha bármi gyanús történik. A Tallinn Manual és az MI-kockázatkezelési szabványok szerint alapelv, hogy bármikor vissza lehessen venni az irányítást.
A kill switch-et sokféleképpen meg lehet valósítani: elég lehet hozzá egy manuális parancs, vagy aktiválódhat, ha az MI-ügynök veszélyes mintázatot észlel, például egészségügyi vagy jogi szolgáltatást kezdene önállóan nyújtani. Így a fejlesztők megőrizhetik a kontrollt még akkor is, ha az ügynök autonómiája kezdene túlzottan kitágulni.
A régi veszély új köntösben
Az MI forradalma gyorsan halad, de a kockázatok nagy része nem új keletű. A szoftverfejlesztés évtizedes leckéi azt üzenik: ne add ki a kezedből az irányítást anélkül, hogy ne lenne B-terved. A malware elleni védelem tapasztalatai ma is hasznosak: csak így lehet az MI-ügynökök minden előnyét kiaknázni anélkül, hogy kiszolgáltatnád magad a technológia kockázatainak.
