Hibázás kiszámíthatatlanul
Míg a hagyományos informatikai rendszerek viszonylag előre látható módon mennek tönkre, jól dokumentált hibarögzítéssel és visszaállítási lehetőségekkel, addig az MI-ügynökök hibája aktív rendszerrombolással járhat. Például egy „takarításra” beállított ügynök a felesleges adatok helyett akár a teljes éles adatbázist is letörölheti, miközben nincs sem stopgomb, sem gyors helyreállítási opció. Könnyen előfordulhat, hogy az egyik ügynök hibásan módosítja az ügyféladatokat a negyedév végén, ezzel torzítva a pénzügyi jelentéseket, vagy éppen megfelelőségi problémákat generál.
Bár évtizedeken át az emberi viselkedéshez igazítottuk biztonsági intézkedéseinket, az MI-ügynökök valószínűségi modellek alapján döntenek, nem determinisztikus logikával. Így előfordulhat, hogy hibás vagy teljesen kitalált adatokat generálnak, amiket önállóan végre is hajtanak. Ez egy vadonatúj, előre nem látható kockázati kategóriát teremtett.
Láncreakció és összeadódó hibák
A helyzet tovább romlik, ha több MI-ügynök egyszerre működik együtt. Még ha az egyes ügynökök önállóan 90%-os pontossággal dolgoznak is, több ügynök együttműködéséből adódóan a hibák összeadódnak, így az összrendszer hibaaránya jelentősen megugorhat, akár 30–40%-ra is. Ez már valóban láncreakciót indíthat el. Például egy szoftvercég chatbotja nem létező bejelentkezési szabályokat kezdett javasolni, ügyfélvesztést okozva. Egy világszintű légitársaság visszatérítést fizetett ki ügyfeleinek, miután a chatbotjuk szintén kitalált visszatérítési szabályokat használt.
Kiemelten sérülékeny ágazatok
A legsérülékenyebb területek közé tartozik az egészségügy, ahol a hibás MI-döntések akár emberéleteket is veszélyeztethetnek. Emellett a pénzügyi és kormányzati rendszerek MI-kihívásai is hatalmas társadalmi-gazdasági károkat okozhatnak. Különösen veszélyesek azok az üzleti funkciók, ahol az MI-ügynökök gyorsan terjednek: értékesítés, ügyfélszolgálat, DevOps és automatizáció – ezek mind érzékeny adatokat és kritikus rendszereket kezelnek.
Újragondolt biztonsági architektúrára van szükség
Az MI-ügynökök jelentette veszélyekre a régi biztonsági sémák nem kínálnak megoldást. Érdemes tehát már most a „secure by design” elvet alkalmazni: a rendszer legyen eleve biztonságos, visszavonható és átlátható már a tervezési szakaszban. Fel kell készülni a visszaállításra – jóval túl a hagyományos naplózás lehetőségein, hiszen néhány ügynök támadása egyszerre több rendszert is érinthet. Az ügynökök jogosultságkezelését legalább olyan szigorral kell szabályozni, mint az emberi felhasználókét, sőt! Végül, a cégek alig 10%-ának van MI-forenzikai képessége – pedig pontosan tudnunk kellene: mit, mikor és miért döntött úgy az adott ügynök.
A túlélők azok lesznek, akik időben felkészítik rendszereiket az elkerülhetetlen hibákra, és kiépítik a kellően ellenálló MI-architektúrát – még mielőtt egy ügynök a következő leálláskor közölné: „Pánikba estem.”
