Kockázatos újdonság
Az „Fájl-létrehozás és elemzés kibővítve” (Upgraded file-creation and analysis) nevű funkció lényegében az Anthropic válasza a ChatGPT Fejlett Adatelemzés (ChatGPT Advanced Data Analysis) szolgáltatására, és továbbfejleszti a korábbi fájlelemzési lehetőségeket. Jelenleg csak a Max, Team és Enterprise csomagot használók számára érhető el (azaz a legdrágább előfizetésekkel), de hamarosan a Pro felhasználókhoz is eljut.
A biztonsági problémát az okozza, hogy Claude ennek köszönhetően egy „homokozó” számítási környezetből képes külső csomagokat letölteni és kódot futtatni a fájlok elkészítéséhez. Ez lehetővé teszi az internetelérést is a MI számára, így a szolgáltatás – óvatosan fogalmazva – „adatvesztési kockázatot” jelent.
Ha valaki visszaél ezzel a lehetőséggel, akár ártalmatlannak tűnő fájlokkal vagy weboldalakkal is olyan utasításokat csempészhet be, amelyekkel érzékeny adatokat csalhat ki a rendszertől, például a Claude-hoz kapcsolt tudásbázisból.
A prompt injection támadások valós veszélye
Noha a prompt injection típusú támadásokat az MI-k világában már 2022 óta ismerik a kutatók, a sebezhetőség továbbra is jelen van. Ezek lényege, hogy az adatok és a feldolgozási utasítások azonos formában jutnak el az MI-hez, így a rendszer nehezen tudja megkülönböztetni az ártalmatlan utasításokat a káros, rejtett parancsoktól.
Az Anthropic elismeri, hogy ezek a veszélyek már a bevezetés előtti tesztelések során is felmerültek, de eddig nem sikerült éles adatlopást kimutatni. A cég a felhasználókra is áthárítja a felelősséget: ajánlásuk szerint mindenki folyamatosan figyelje Claude működését, és azonnal állítsa le, ha váratlan adatmozgást tapasztal.
Biztonsági intézkedések, korlátozott hatékonysággal
Az Anthropic több óvintézkedést is bevezetett. Külön gépi tanuláson alapuló szűrő figyeli a prompt injection támadásokat, és ha ilyet észlel, leállítja a futtatást. Emellett a Pro és Max csomagban letiltották az ezekkel a funkciókkal történő beszélgetések nyilvános megosztását, a nagyvállalati előfizetőknél pedig teljes homokozó-elkülönítést alkalmaznak, hogy a környezetek ne keveredhessenek. Továbbá az egyes feladatok futási idejét is korlátozták, csökkentve a folyamatos visszaélések esélyét.
Az elérhető internetes tartalmak szigorúan szűkített listára korlátozódnak (például csak a github.com vagy pypi.org érhető el), és a Team, illetve Enterprise rendszerekben az adminisztrátorok döntik el, egyáltalán aktiválható-e a funkció.
Az MI aranyláza: biztonság helyett tempó
Összességében elmondható, hogy mindezek ellenére a szakértők, például Simon Willison, továbbra is óvatosak, és csak akkor ajánlják a szolgáltatást, ha nem tartasz attól, hogy az adataid esetleg illetéktelen kezekbe kerülnek. Külön figyelmet érdemel, hogy hasonló sebezhetőséget már a Claude Chrome-bővítményében is találtak korábban.
Bár az Anthropic dokumentált sebezhetőség mellett adta ki az új funkciót, ez inkább a MI-fejlesztés gyorsaságáról árulkodik, semmint a biztonság iránti elkötelezettségről – és ez a hozzáállás több MI-kutató szerint is hosszú távon veszélyes lehet.
