A Cloudflare labirintusba vezeti az adatgyűjtő MI-robotokat

A Cloudflare egy új funkciót jelentett be, amely MI által generált hamis tartalmakkal veszi fel a harcot a jogosulatlan adatgyűjtő botok ellen. Ez az eszköz azokat az MI-cégeket célozza, amelyek engedély nélkül böngészik a weboldalakat, hogy adatokat gyűjtsenek a nagy nyelvi modellek betanításához. A Cloudflare a weboldal-infrastruktúra és biztonsági szolgáltatásairól ismert, különösen a DDoS-támadások elleni védelem terén. Ahelyett, hogy egyszerűen blokkolná a botokat, az új rendszer realisztikus, de irreleváns oldalakból álló “labirintusba” vezeti őket, ezzel kimerítve erőforrásaikat. Amikor jogosulatlan adatgyűjtést észlel, a Cloudflare MI által generált oldalakra irányítja a botokat, így pazarolva el azok idejét és erőforrásait.

Láthatatlan csapdák

A csapdaoldalak láthatatlanok a normál felhasználók számára. Az “MI Labirintus” fejlett megtévesztést alkalmaz, mivel a modern botok könnyen felismerik az egyszerű csapdákat. A hamis linkek meta-utasításokat tartalmaznak, amelyek megakadályozzák a keresőmotorok indexelését, miközben vonzzák az adatgyűjtő botokat.

Növekvő probléma

A Cloudflare adatai szerint az MI-crawlerek naponta több mint 50 milliárd kérést generálnak a hálózatukon, ami a teljes webes forgalom közel 1%-át teszi ki. Sok crawler engedély nélkül gyűjt adatokat, ami aggasztja a tartalomkészítőket és a kiadókat. Ez a stratégia az MI védekező célú felhasználását jelenti, bár az MI-crawlerek gyorsan alkalmazkodhatnak az ilyen csapdák elkerüléséhez, ami egy folyamatos macska-egér játékot eredményez a weboldalak és az adatgyűjtők között.

2025, adrienne, arstechnica.com alapján