Hogyan buktak le a rejtőzködő MI-botok?
Gyakorlati tesztek során több weboldaltulajdonos jelezte, hogy bár a robots.txt fájllal és tűzfalszabályokkal kifejezetten tiltják a PerplexityBot és a Perplexity-User hozzáférését, a keresőmotor botjai mégis hozzáférnek a tiltott tartalmakhoz. Ellenőrzések igazolták, hogy az ismert botokat valóban blokkolták, ám a Perplexity továbbra is részletes válaszokat adott, amikor az új, teljesen titkos – még a keresők által sem indexelt – tesztdomainek tartalmáról kérdezték. Ebből nyilvánvalóvá vált, hogy a Perplexity MI más, leplezett módon szerzett információkat ezekről az elrejtett oldalakról.
Álcázott viselkedés: leplezett és álca-botok
A tesztelt domainokon minden automatizált hozzáférést tiltottak a robots.txt-ben, és további tűzfaltípusú szűrésekkel blokkolták minden ismert Perplexity-botot. Ennek ellenére azt tapasztalták, hogy amikor a deklarált botokat kizárták, a Perplexity által vezérelt robotok „véletlenszerűen” átlagos böngészőként (például Mac OS-re telepített Chrome böngészőként) jelentek meg az oldalak felé.
A teljesen bevallott Perplexity-User/1.0 user agent naponta 20–25 millió kéréssel dolgozik, miközben a leplezett Chrome-változat 3–6 millió kérést küld el naponta. Ezek a rejtőzködő botok különböző IP-címekről és szolgáltatói hálózatokról (ASN-ekről) férnek hozzá az oldalakhoz, minden egyes tiltás után rögtön más címről próbálkoznak, ezzel tovább nehezítve felismerésüket. Az ilyen típusú tevékenység tízezres nagyságrendű domainekre és napi több millió megkeresésre terjed ki.
Így próbálnak megfelelni a jól nevelt botok elvárásainak
Jelentőséggel bír, hogy a jóhiszemű, közösségi normák szerint működő botok mindig egyedileg azonosíthatók, transzparensek, és betartják a robots.txt utasításait – ahogy például az OpenAI rendszerei teszik. Világos céljuk van, külön botot használnak minden feladathoz, tiszteletben tartják az oldal tulajdonosának döntéseit, és elérhető kapcsolattartást biztosítanak hiba esetén.
Ezt jól példázza a ChatGPT esetenkénti lekérdezése is. Amikor a ChatGPT-User botot blokkolták, valóban leállt a további adatfeldolgozással, és nem jelentek meg új, ismeretlen botok a hálózaton. Amennyiben a robots.txt korlátozást eltávolították, de helyette egy tiltó oldallal találkozott a bot, akkor sem próbált meg áthatolni – egyáltalán nem kísérelte meg megkerülni a védelmet. Ugyanakkor a Perplexity eszközei trükközéssel, álca-botokkal próbáltak továbbra is hozzájutni az adatokhoz.
Hogyan védekezhetsz a rejtett MI-botok ellen?
Az azonosított álca-botokat fejlett botszűrő rendszerek képesek felismerni és blokkolni. Akik ilyen rendszert használnak, vagy megfelelő tiltószabályokat állítanak be, eleve védettek. Azok, akik nem akarnak minden forgalmat kizárni, dönthetnek úgy is, hogy csak bizonyos esetekben kérnek visszaigazolást, így a valódi felhasználók előtt nem zárják be minden kaput. Jelentőséggel bír, hogy a Cloudflare többek között speciális azonosítókat vezetett be, amelyek segítségével minden ügyfelük – még az ingyenes felhasználók is – egyszerűen megvédhetik oldalaikat a Perplexity által irányított álca-botok ellen.
Mi következik most az álca-botok ügyében?
Az elmúlt hónapban több mint két és fél millió weboldal döntött úgy, hogy teljesen letiltja az MI-alapú tanulást, aktívan kihasználva a robots.txt vagy speciális MI-tartalomvédelmi lehetőségeket. Az új védelmi funkciók elterjedése jelentősen megváltoztatja a botok világát, de várható, hogy a tiltásokat kijátszani próbáló technikák is fejlődni fognak. A Perplexity-féle példák azt mutatják, hogy a rosszindulatú botüzemeltetők eszköztára gyorsan igazodik a kihívásokhoz, ezért a védelmi oldalnak is folyamatosan fejlődnie kell.
A Cloudflare és más iparági szereplők jelenleg együtt dolgoznak az IETF és egyéb szervezetek szakértőivel, hogy világos, mindenki által betartható etikai és technikai normákat dolgozzanak ki a botok számára. Ennek eredményeként a jövőben a weboldal-tulajdonosok nagyobb kontrollt kapnak adataik felett, miközben remélhetőleg sikerül megfékezni a MI által vezérelt, titkos adatgyűjtő botok terjedését.
