Az agresszív MI-botok támadása
Ezek az MI-vezérelt keresőrobotok teljesen másképp működnek, mint az évtizedek óta ismert webes keresőrobotok. Míg a hagyományos crawlerek viszonylag visszafogottan, előzékenyen viselkedtek, a mai MI-alapú robotok szinte letarolják a szervereket: másodpercek alatt tízszeres-hússzoros forgalmat képesek generálni. Ez az elképesztő nyomás teljesítményproblémákat, szolgáltatás-kiesést és jelentősen növekvő üzemeltetési költségeket eredményez.
Különösen veszélyeztetettek a megosztott szervereken futó, kevésbé népszerű weboldalak. Ha egy ilyen szerveren akár csak egyetlen oldal célkeresztbe kerül, az a teljes gép erőforrásait kiaknázza, így más felhasználók oldalai is belassulhatnak vagy akár elérhetetlenné válhatnak. Az olyan szolgáltatók, mint a Fastly, azt tapasztalják, hogy a teljes oldalszöveget letöltő MI-botok gyakran olyan linkeket és szkripteket is végigjárnak, amelyeket eredetileg nem is nekik szántak a fejlesztők. Bár a védekezésre bevetett DDoS-védelem vagy a szofisztikált anti-bot megoldások rendelkezésre állnak, az MI ezek ellen meglehetősen ügyesen manőverezik.
Az érintettek és az elveszett bevétel
Az egész iparágra kihat, hogy a nagy MI-botok – Meta (52%), Google (23%), OpenAI (20%) – gyakran akár 30 terabites adatmennyiséget is képesek percek alatt letölteni egy oldalról. Ha ezzel párhuzamosan a látogatóknak várniuk kell, sokan néhány másodperc után elnavigálnak, vagyis drasztikusan megnő a lepattanási arány, miközben a weboldal-tulajdonos ebből az MI-forgalomból semmilyen bevételt nem lát: az MI-botok nem hoznak új látogatókat, nem kattintanak hirdetésekre, és semmiféle direkt forgalmat vagy üzletet nem generálnak.
Reménytelen küzdelem?
Védekezni nem könnyű: a klasszikus robots.txt-t a legtöbb MI-bot egyszerűen figyelmen kívül hagyja. Jelenleg olyan új szabványokkal (például llm.txt fájlokkal) kísérleteznek, amelyek célzottan az MI számára kínálnának optimalizált tartalmat, miközben nem terhelik túl a weboldalt. Ezek a törekvések azonban még nagyon kezdeti szakaszban vannak. Időközben egyre több szolgáltató kínál kifejezetten MI-blokkolókat, vagy szoftveres megoldásokkal lassítják a botokat.
Az internet jövője veszélyben
Összességében elmondható, hogy az MI-alapú robotok és a weboldalak közötti versengés egyre inkább egy fegyverkezési versennyé válik. Bár előbb-utóbb valamiféle egyensúly kialakulhat, az internet világa közben fragmentálódik, a minőségi, pontos információk egyre inkább fizetős falak mögé vagy zárt rendszerekbe szorulnak vissza. Ennek következtében lassan eltűnik a szabad, nyílt internet, helyét pedig egy széttagolt, pénzalapú rendszer veszi át.
