Tömeges blokkolás szerveroldalon
Sok weboldalon jelentősen megszaporodtak azok a tiltások, amelyek azokat a MI-botokat célozzák, amelyek betanításhoz gyűjtenek adatot saját modelljeikhez. Július eleje óta közel 70 százalékkal nőtt azoknak a webhelyeknek a száma, amelyek letiltották az OpenAI GPTBotját – már több mint 5,6 millió oldal tiltja ezt a robots.txt fájlban. Nem elhanyagolható tényező, hogy bár ezek a tiltások hivatalosan önkéntesek, akár jogi következményekkel is járhatnak, ha egy cég folyamatosan megszegi őket.
Emellett a ClaudeBot, az Anthropic MI-jének botja sem túl népszerű: 5,5 millió oldalról tiltották le, szemben a júliusi 3,2 millióval. Hasonló a helyzet a Perplexity és más MI-botok esetében is: egyre több helyről szorulnak ki, miközben a Googlebotot is már 18 millió oldal blokkolja, részben azért, mert a keresési találatok élére kerülnek a MI-generált tartalmak.
Növekvő ellenállás az MI-crawlerekkel szemben
Megfigyelhető, hogy főként a hírportálok és tartalomszolgáltatók lépnek fel a legnagyobb erővel az MI-alapú adatgyűjtés ellen. Emellett a kisebb szervezetek is panaszkodnak: például októberben a Bear blogszolgáltató gyakorlatilag leállt a túlterhelés miatt, amelyet MI-botok generáltak. Több egyéni blog, mint például a RationalWiki, szintén arról számolt be, hogy rengeteg energiát emészt fel a botok távoltartása.
Nem elhanyagolható tényező, hogy a MI-cégek, köztük az OpenAI vagy a Perplexity, már olyan böngészőket és fejlesztői eszközöket használnak, amelyek viselkedésük alapján gyakorlatilag embernek tűnnek az oldalakon. Ez megnehezíti a kiszűrésüket anélkül, hogy a valódi látogatókat is kizárnák.
Új üzleti modellek a láthatáron
A botforgalom visszaszorítása mellett egyre többen keresnek gazdasági megoldásokat is. A Cloudflare például elindította a Pay per crawl nevű szolgáltatását, amely lehetővé teszi, hogy a tartalomtulajdonosok díjat számoljanak fel az automatizált adatgyűjtésért. Úgy tűnik, erre nagy szükség is van, mivel egy év alatt 336 százalékkal nőtt a MI-botok blokkolása, a botok pedig egyre gyakrabban szegik meg a tiltásokat – 2025 második negyedévében már a kérések 13,26 százaléka figyelmen kívül hagyta a robots.txt szabályokat.
Miközben egyre többen kísérleteznek új üzleti modellekkel, továbbra is éles a harc az online kontrollért: egyszerre zajlik az adatgyűjtők és a tartalomgyártók közötti verseny, a tartalomért fizetni hajlandó MI-robotok azonban még ritkák.
