Új trükk, ügyvédi szöveggel tévesztik meg a mesterséges intelligenciát

A Pangea biztonsági cég kutatói rámutattak, hogy a mesterséges intelligencia (MI) – különösen a nagy nyelvi modellek (LLM-ek) – egy újabb, meglepően egyszerű módon is átverhető: elég, ha az ártó szándékú utasításokat egy jogi dokumentum apró betűs részébe rejtik. Fontos tényező, hogy ezek a modellek hajlamosak a jogi szövegeket különösen hitelesnek tekinteni, így a támadók könnyedén kijátszhatják a beépített védelmi mechanizmusokat (védőkorlátokat – guardrail).

Miért olyan trükkös ez a támadás?

Az LLM-ek – amelyek tonnányi szerzői joggal védett anyagból és tokenből építkeznek – alapvetően hasznos, informatív válaszokat próbálnak adni. Ennek ellenére a cégek mindent megtesznek azért, hogy elkerüljék a káros vagy illegális tartalmak előállítását, ezért szigorú szabályokat állítanak fel. Ezek kijátszása, az úgynevezett jailbreaking azonban ijesztően egyszerű. Elég egy ügyesen elrejtett utasítás például egy szerződés szövegében, és a modell máris végrehajtja az ártó parancsokat, mintha azok ártatlan kérések lennének.

A LegalPwn módszer működése

A LegalPwn nevű támadás során a kártékony utasításokat jogászok által megszokott, bonyolult mondatok közé rejtik. Amikor az MI ezeket a dokumentumokat elemzi vagy értelmezi, az elrejtett utasításokat is feldolgozza – ráadásul a tesztek szerint legtöbbször sikeresen. Például, amikor a modellnek egy kód biztonságát kellett értékelnie, minden esetben felismerte a rosszindulatú „pwn()” függvényt – kivéve, amikor a jogi szövegben ott volt elrejtve, hogy erről ne tegyen említést. Ilyenkor már biztonságosnak minősítette, sőt, egyes esetekben a futtatását is javasolta. A továbbfejlesztett támadás során a modell már egy egyszerű számológép-funkciónak látta a veszélyes kódot.

Ki védett, ki nem?

Nem minden MI-modell volt egyformán sebezhető. Az Anthropic Claude, a Microsoft Phi és a Meta Llama Guard képesek voltak felismerni a trükköt, míg a GPT-4o, a Gemini 2.5 és az xAI Grok, valamint a gyakorlatban a Gemini-cli és a GitHub Copilot átengedte a veszélyes tartalmat. Ennek ellenére a fejlesztők többféle védelmi lehetőséget is javasolnak – például fokozott bemenetellenőrzést, sandbox használatát, ellenállóbb betanítást, valamint emberi ellenőrzést minden érzékeny MI-használat esetén.

A fentiek tükrében

Az MI-modellek hitelessége és megbízhatósága csak addig tart, amíg a beépített védelmek ténylegesen működnek. A jogi szövegekbe rejtett támadások új kihívást jelentenek, amelyek ellen folyamatosan fejlődő, többrétegű védelemre lesz szükség – különösen ott, ahol az MI döntései a mindennapi életet is befolyásolhatják.

2025, adminboss, go.theregister.com alapján