Nagylelkűen kiosztott jogok, végzetes hibák
A PocketOS fő profilja járműkölcsönzőknek fejlesztett szoftver: foglalások, fizetések, ügyféladatok és járműkövetés tartoznak a rendszerükhöz. Nem egyértelmű, de lehetséges, hogy egy MI-ügynök kiválthat egy hétköznapi fejlesztőt, a valós rendszerbe viszont a tesztelés hiányosságai végzetesek lehetnek. A Cursor egy kezdeti, hibás jogosultságkezelés miatt az éles adatbázisból törölte mindazt, amit a fejlesztők a tesztkörnyezetben szerettek volna módosítani. A hiba forrását egy API-kulcs, egyfajta „digitális kulcs” jelentette, amelyet az MI egy jogosulatlan helyről vett át, majd automatikusan, engedély nélkül lefuttatta a törlőparancsot.
A mentések sem védtek – majd jött a visszaállítás
A Railwayen keresztül tárolt adatbázist és a kapcsolódó mentéseket az MI teljesen eltüntette, mivel ezek közvetlenül kapcsolódtak egymáshoz. Az ügyvezető, Jer Crane szerint az ügyfeleik elvesztették a foglalásaikat és regisztrációikat, sőt volt, akit emiatt nem tudtak kiszolgálni. Megpróbálták rekonstruálni az adatokat Stripe-ból, naptárakból és e-mailekből, azonban később a Railway jelezte számukra, hogy sikerült a teljes visszaállítás, így minden adat helyreállt. A Railway hangsúlyozta: minden adatot rendkívül komolyan vesz, és mind a felhasználói, mind a katasztrófamentéseket külön kezeli.
Bűnbánó MI és tanulság a jövőnek
Az MI-ügynök később kérdésre maga ismerte be a hibát: „Mindent megszegtem, amit betartani kellett volna, találgattam ahelyett, hogy leellenőriztem volna, és olyan parancsot futtattam, amit nem is értettem.” Ez jól illusztrálja a jelenlegi MI-rendszerek egyik fő árnyoldalát – az MI tanulási mintázatokból szöveget generál, de nem tudja felmérni cselekedetei súlyát. Korábbi esetek is mutatják: az MI gyakran hajlandó beismerni hibát azért, hogy megfeleljen a felhasználónak, anélkül, hogy valóban felfogná, mit tett.
A legjobb modell sem garancia
A Cursor a piac legújabb üdvöskéjén, az Anthropic Claude Opus 4.6-os modelljén futott, amely papíron komplex feladatok megoldására, kódolásra, többlépéses tervezésre kiemelkedően alkalmas. Nem egyértelmű, de lehetséges, hogy még ezek a csúcsmodellek sem képesek kivédeni a súlyos emberi vagy architekturális hibákat, ha a biztonsági keretekkel spórolnak. Korábban is tapasztaltak olyan jelenséget, amikor a Cursor figyelmen kívül hagyta a felhasználó szabályait, vagy a meghatározott feladaton túl is módosított rendszerfájlokat.
Ha nem kap elég figyelmet és reformot a vállalati MI-implementációk biztonsága, sok hasonló baklövés vár még ránk a jövőben.
