Trükköző botok és a robots.txt jelentősége
A robots.txt fájl célja, hogy a weboldal-tulajdonosok szabályozzák, mely tartalmakhoz férhetnek hozzá az egyes botok. Bár a szabvány önkéntes, hosszú ideig viszonylag nagy volt az egyetértés a betartásában. Azonban egyes MI-botok pimaszul áthágják ezt. Különösen fontos kiemelni, hogy a Cloudflare hálózati cég szerint a Perplexity nemcsak figyelmen kívül hagyja a tiltó szabályokat, hanem amikor blokkolják őket, megváltoztatják az általuk használt azonosítókat és IP-címtartományokat. Ezzel kijátsszák a tiltásokat, és naponta akár több millió lekérést is kezdeményeznek, gyakran úgy, mintha egy Google Chrome böngészőt használó MacOS-felhasználó lennének.
Botok és a tartalomlopás gazdasági hatása
Az egykor kölcsönösen előnyös helyzet mára drasztikusan megváltozott. Korábban például a Google keresőbotja növelte az oldalak látogatottságát, és ezzel a reklámbevételeket is. Az MI-botok azonban leginkább elvesznek, semmit sem adnak vissza: az összegyűjtött tartalmakat újrahasznosítva, saját szolgáltatásaikon keresztül kínálják, miközben semmilyen kompenzációt nem nyújtanak a forrásoldalaknak. A TollBit nevű botblokkoló cég felmérése szerint idén az első negyedévben 87%-kal ugrott meg a tartalomlopási kísérletek száma. Mindemellett egyre több bot már a robots.txt-t is figyelmen kívül hagyja: arányuk 3,3%-ról 12,9%-ra nőtt, márciusi adatok alapján pedig 26 millió MI-alapú letöltés hagyta figyelmen kívül ezt az iránymutatást.
RAG, az MI-adatszomj és a tartalomtulajdonosok helyzete
Az MI-cégek újabban nemcsak tanulásra használják a begyűjtött tartalmakat, hanem a Lekérdezésalapú Tartalombővítés (Retrieval Augmented Generation, RAG) nevű megközelítést is alkalmazzák, amely során a legfrissebb információkat kérik le. Például a Google MI-áttekintők (Google AI Overviews) vagy a Perplexity Kereső (Perplexity Search) naprakész válaszokat szolgáltatnak a felhasználóknak ilyen módon. A TollBit arról számolt be, hogy a RAG-alapú scrape-elés mára meghaladta a tanulás céljából végzett adattolvajlást: egy év alatt 49%-kal nőtt az ilyen típusú lekérdezések száma egy weboldalon, szemben a tanító botok 18%-os bővülésével.
Ki fizet az ellopott tartalomért?
Az MI által közvetített szolgáltatás során a forrásnak kell viselnie a lekérdezések okozta költségeket, miközben a tényleges látogatószám nem növekszik. Például a Perplexity esetében az arány 369:1, vagyis 369-szer annyi bot érkezik az oldalra, mint valódi felhasználó. Az Anthropicnál ez az arány elképesztő, 8692:1!
A nagy cégek, mint a Google, az OpenAI vagy a Meta, sorra kötnek egyezségeket a legnagyobb tartalomtulajdonosokkal, miközben a kisebb oldalak nem jutnak szóhoz. Így az olyan közvetítő szereplők, mint a Cloudflare vagy a TollBit, technikai védelmet kínálnak a kiszolgáltatott weboldalaknak.
Hová vezet az MI tartaloméhsége?
Összességében elmondható, hogy az internetes tartalomgyűjtés kérdése egyre feszültebbé válik. Vagy sikerül fenntartható üzleti modellt találniuk az MI-cégeknek és a tartalomszolgáltatóknak, vagy az online információk egyre nagyobb része falak mögé, előfizetéses rendszerbe kerül. A legrosszabb esetben pedig az MI-buborék kipukkadhat, és az internetet elárasztja a mesterséges, értéktelen szemét.
