Az MI-botok letarolják a sávszélességet, az embereknek nem jut hozzáférés

Xe Iaso szoftverfejlesztő idén tavasszal az Amazon agresszív MI-keresőrobotjaival szembesült, amelyek túlterhelték a Git szolgáltatását, instabilitást és leállásokat okozva. A hagyományos védekezési módszerek hatástalanok voltak, mivel az MI-botok a felhasználói ügynökök (browser user agent) meghamisításával és az IP-címek váltogatásával kerülték ki azokat. Iaso végül VPN-t használt, és létrehozta az “Anubis” rendszert, amely feladványok megoldására kényszeríti a böngészőket a webhely elérése előtt. A LibreNews jelentése szerint egyes nyílt forráskódú projektek forgalmának akár 97%-a MI-botoktól származik, ami növeli a sávszélesség költségeit és szolgáltatási zavarokat okoz. Kevin Fenzi a Fedora Pagure esetében kénytelen volt letiltani a brazil forgalmat. A KDE GitLabját ideiglenesen leállította az Alibaba-alapú keresőrobotok forgalma. A GNOME GitLab bevezette az Anubist, ahol a kérések mindössze 3,2%-a teljesítette a kihívást, vagyis ennyi bizonyult valódi emberi látogatónak.

Védekezési stratégiák

Bár az Anubis hatékony, késlelteti a legitim felhasználók hozzáférését. Dennis Schubert a Diasporától “az egész internet elleni DDoS-támadáshoz” hasonlította a helyzetet, jelezve, hogy a webes kérések 70%-a MI-alapú. A Read the Docs 75%-os forgalomcsökkenést tapasztalt az MI-robotok letiltása után, havi 525 000 forintot megtakarítva.

Az MI-keresőrobotok figyelmen kívül hagyják a robots.txt fájlokat, meghamisítják az ügynököket, és váltogatják az IP-címeket, túlterhelve a nyílt forráskódú projekteket. Martin Owens az Inkscape-től nehézségekről számolt be, nemcsak a kínai DDoS-támadások, hanem a böngészőadatokat meghamisító cégek miatt is.

Növekvő terhek és etikai kérdések

A Hacker News hozzászólói és Drew DeVault a SourceHuttól bírálták az MI-cégeket, amiért sávszélesség-költségekkel terhelik a nyílt forráskódú fejlesztőket. Az MI által generált hibajelentések tovább növelik a terheket, amit Daniel Stenberg Curl projektje is példáz.

Korábban az MI-vállalatok hozzájárulás nélkül gyűjtöttek adatokat. Az OpenAI, az Amazon és az Anthropic szerepel a forgalmi naplókban, agresszív keresőrobotjaik vélhetően képzési adatokat gyűjtenek. Schubert megjegyezte, hogy a robotok ismételten látogatják az oldalakat, ami folyamatos adatfrissítésre utal.

A védekezésül olyan eszközöket fejlesztettek, mint a “Nepenthes” és a Cloudflare “AI Labyrinth”, amelyek az MI-robotok erőforrásait pazarolják vagy csapdába ejtik őket. A növekvő MI-kérések aláhúzzák az etikusabb adatgyűjtési gyakorlatok szükségességét, és együttműködés nélkül a digitális infrastruktúra fenntarthatósága veszélyben marad.

2025, adrienne, arstechnica.com alapján