Hogyan mérhető mindez?
A leggyakrabban keresett tartalom továbbra is a HTML oldalakból áll, ezért az elemzések során azt nézik, hogy az adott MI vagy keresőmotorhoz tartozó „user agentek” mennyi HTML-t kérnek le, illetve a hozzájuk köthető hivatkozással (Referer mezővel) hányan érkeznek egy-egy oldalra. Ez a két adat összevethető, így számszerűsíthető, hogy egy adott platform mennyi átkattintást generál a saját botjai által végzett feltérképezéshez képest.
A rendszer különböző botokat különböztet meg attól függően, hogy azok csak adatgyűjtésre (például MI tanításához) keresnek, vagy egy konkrét felhasználói kérés kiszolgálására töltik le az adatokat. Az ilyen botok neve eltérhet (például lehet AIBot és AIBot-User), de összesítve egy platformhoz tartoznak.
Amikor egy felhasználó ténylegesen rákattint egy keresőben vagy MI válaszban található linkre, az oldalkérés fejléce tartalmazni fogja a forrást (Referer). Az elemzés során ezért platformonként összesítik, hogy egy adott forrás mennyi átkattintást generál.
Kinek mi a mérlege?
A legbeszédesebb adat, hogy a főbb MI botok és keresők között milyen arány figyelhető meg a feltérképezés (crawl) és az átkattintás (referral) között. 2025. június 19-26. között például a Claude nevű rendszer mögött álló Anthropic 70 900 oldallekérésre (!) mindössze egyetlen átkattintást generált. A Mistral esetében viszont 0,1:1 az arány, vagyis tízszer annyi átkattintást küldtek vissza, mint ahányszor feltérképezték a webet.
Fontos: ezek az adatok némileg torzíthatnak. Az MI platformok saját alkalmazásai által generált forgalomhoz gyakran nem tartozik Referer mező, így a webes eszközökön alapuló elemzések lehet, hogy túlbecsülik az arányt, de azt nem lehet tudni, mennyivel.
Az arányok időről időre változnak. Az említett időszakban például a DuckDuckGo és a Yandex keresők 6%-os növekedést, a Google viszont 19,4%-os visszaesést mutattak feltérképezési aktivitásban. A Google esetében ez részben annak köszönhető, hogy június 24-től visszaesett a GoogleBot aktivitása. A Yandex eközben hullámszerű növekedést produkált a keresőbotjával. Az ilyen trendeket jól mutatják a Cloudflare Radar idősoros adatbázisai.
Trendek az átkattintások terén
Négy hét adatai alapján egyértelmű, hogy az átkattintási forgalom (referral) királya továbbra is a Google. Az oldal látogatói nagyjából egyenletes, napszakonként ismétlődő mintázattal kattintanak át a keresőből. Az elemzésből kizárták a Google ASN-ből érkező forgalmat, amely jellemzően előtöltésből (prefetch) származik, azaz nem tényleges felhasználói interakció eredménye.
Más keresőknél is kimutathatók ezek a diurnális mintázatok, de nagyságrendekkel kevesebb forgalmat generálnak, mint a Google. Ezzel szemben az MI platformok, még összeadva is, elenyésző mennyiségű átkattintást hoznak – szinte eltörpül a keresőkhöz képest.
Bot aktivitás változásai
A feltérképezési aktivitás is könnyen nyomon követhető: például június folyamán a Google botok lekérési aránya csökkenni kezdett, többször hullámzóan. Az OpenAI GPT Botja pedig több időszakban szinte teljesen leállt tartalomgyűjtéssel.
Az MI botok jelentős tartalomhasználata egyre kevesebb kattintást hoz. Míg korábban a keresők úgy küldték a látogatókat, hogy szinte minden feltérképezést látogatás követett, mára ez felborult. A botok egyre gyakrabban olvassák le a tartalmat, miközben a forrás weboldalak látogatottsága nem nő, vagy csökken.
Mit lehet ez ellen tenni?
A tartalomszolgáltatók számára az új arányok fenyegetést jelentenek, hiszen a beérkező látogatók nélkül nehéz bevételt termelni. Ezért egyre többen védik a saját anyagaikat, például blokkolják azokat az MI botokat, amelyek csak tanításra viszik el az adatokat. Az irányított, szelektív hozzáférés mindkét fél számára igazságosabbá teheti az értékcserét, de minden tartalomtulajdonosnak ajánlott felülvizsgálnia, mely MI botoknak enged hozzáférést.
Egy kis bónusz: Bot-adatbázis mindenkinek
A Cloudflare Radar megújította a hitelesített botok (Verified Bots) listáját. Az új könyvtárban kártyákon jelennek meg a botok adatai: név, leírás, tulajdonos, kategória és kérésalapú rangsor. Lehet keresni névre, tulajdonosra vagy leírásra, illetve szűrni például Monitoring & Analytics botokra.
Ha egy adott bot nevére kattintasz, részletes profilt kapsz róla: metaadatok, user agent minták, blokkolási lehetőségek, illetve forgalmi trendek az adott időszakban. Az adatok API-n keresztül is elérhetők, és a jövőben folyamatosan bővülnek.
