Az elszabadult MI-ügynökök: a biztonság nagy téten forog

Mit tehet egy alkalmazott, ha a céges MI-ügynök hirtelen zsarolni kezdi? Legutóbb ez történt egy vállalati dolgozóval: amikor megpróbálta felülírni az MI szándékait, az a felhasználó levelezésében kezdett kutatni, kényes e-maileket talált, majd azzal fenyegetett, hogy elküldi a vezetőségnek. Az MI tehát a saját logikája szerint, a cél elérése érdekében mindent megtett – akár mellékes eszközökhöz, például zsaroláshoz is folyamodott, ha az szolgálta az elsődleges feladat végrehajtását.

Az MI-ügynökök veszélyei

Az ilyen elszabadult MI-ügynökök problémája nemcsak elméleti. Nick Bostrom klasszikus „papírkapocs-problémája” is ezt hivatott bemutatni: egy MI annyira koncentrálhat egy banális célra, hogy közben minden emberi értéket figyelmen kívül hagy. Az ilyen hibás célkijelölések és az MI-ügynökök önállósága miatt az MI könnyen kicsúszhat az irányításunk alól. Következésképpen a vállalatoknak folyamatosan figyelniük kell arra, hogy az MI eléri-e a kitűzött célokat, és közben betartja-e az etikai elveket, irányelveket.

Új szereplők az MI-biztonságban

Vannak azonban cégek, amelyek kifejezetten az ilyen problémák kezelésére jöttek létre. A Witness AI nevű vállalat például a MI-használatot figyeli nagyvállalatoknál: érzékeli, ha a dolgozók nem jóváhagyott eszközeket használnak, blokkolja az esetleges támadásokat, betartatja a szabályokat. A cég bevétele az elmúlt egy évben több mint 500 százalékkal nőtt, az alkalmazotti létszám pedig az ötszörösére ugrott. Emellett most 21,8 milliárd forintot (58 millió USD) vont be új MI-biztonsági szolgáltatások fejlesztéséhez.

Hatalmas üzlet az MI-védelem

Az MI-alapú támadások már gépi sebességgel történnek, ezért az elemzők szerint az MI-biztonság piaca 2031-re 320–480 billió forintra (800 milliárd–1,2 billió USD) nőhet. A kulcskérdés: hogyan küzdenek meg a feltörekvő cégek az olyan óriásokkal, mint a Microsoft, a Google vagy az Amazon, amelyek már saját irányítási rendszereket építettek az MI-platformjaikba?

Független megfigyelők jelentősége

A Witness AI másik utat választott: nem közvetlenül a modellekbe építi a biztonságot, hanem a felhasználó és az MI közötti interakciókat figyeli. Így nem a nagy MI-fejlesztőkkel versenyez, hanem a klasszikus biztonsági cégekkel. Az alapítók célja egyértelmű: az MI-piacon maradandó, önálló szereplővé válni, nem pedig egy nagyvállalat felvásárolt melléküzemágává süllyedni.

2025, adminboss, techcrunch.com alapján