Honnan jön az MI-forgalom, és mi a célja?
Lényeges hangsúlyozni, hogy az MI képzési célú letöltőrobotjai (MI-botok) fokozott intenzitással pásztázzák az internetet, gyakran figyelmen kívül hagyva a robots.txt direktívákat, amelyek más, „hagyományos” keresőrobotokat visszatartanak. Az MI platformok főként két céllal járják a webet: egyrészt adatot gyűjtenek a modellek tanításához, másrészt már működő MI-alapú keresők katalógusát töltik fel, vagy éppen konkrét felhasználói kérésre kutatnak információ után.
Az MI-robotok tevékenysége négy fő cél köré csoportosul: Képzés (Training), Keresés (Search), Felhasználói művelet (User action) és Nem deklarált (Undeclared – amikor nincs információ a működtetőtől) kategóriákban mérhető. A legfrissebb adatok szerint a képzési célú forgalom felel az MI-botok aktivitásának mintegy 80 százalékáért, amely meglehetősen hektikus: a napi vagy heti ciklusokban nincs egyértelmű ismétlődés. Ezzel szemben a felhasználói műveletekből származó, illetve a nem deklarált célú forgalomban jelentkeznek ciklikus mintázatok, de ezek együttesen is alig érik el az 5 százalékot.
Kiemelt botok és forgalmi mintázatok
Ha részletesebben nézzük, a ChatGPT-User bot felelt júliusban az ilyen célú kérések közel háromnegyedéért – tipikus „kérdezz-felelek” mintázatot mutatva: a napi aktivitás hullámzása jól látható a grafikonokon, és a hónap során is folyamatosan nő az ilyen aktivitások száma. Ha a ChatGPT-Usert kivesszük a képből, a Perplexity-User hasonló aktivitást mutat. Az adatelemzés lehetőséget ad arra, hogy ne csak botok, de konkrét felhasználási cél (például tanítás, keresés stb.) szerint is vizsgáljuk az adatokat akár hónapról hónapra, vagy visszamenőleg is.
Ágazati különbségek: kit mennyire „harapnak le” a botok?
Érdemes megvizsgálni, hogy az MI-robotok tevékenységének intenzitása hogyan oszlik meg az iparágak szerint: kihez hány letöltés után jutnak vissza humán látogatók?
Az AI Insights szekcióban iparági bontásban is láthatóvá vált, hogy egyes ágazatokban mennyit köszönhetsz az MI-botoknak – vagy éppen mennyire érezheted, hogy egyszerűen „elszippantják” a tartalmadat. Az adatok alapján például augusztus első hetében – amikor nincs kiválasztott ágazat vagy cél – a ClaudeBot és a GPTBot generálja az összes MI-alapú letöltés közel felét, a Meta-ExternalAgent pedig az öt legaktívabb robot közül az egyetlen, amelynél egyáltalán felfedezhető valamiféle mintázat.
Az arányok egészen eltérőek, ha kiválasztod a Hírek és kiadványok (News and Publications) szektort. Itt sokkal kiegyenlítettebb a top 5 robot forgalmának eloszlása: a ChatGPT-User 14,9 százalékos, a GPTBot 17,4 százalékos részesedéssel bír. Ráadásul a crawl-to-refer arány is alacsonyabb: az Anthropic botja 2 500:1, az OpenAI-nál 152:1, a Perplexitynél 32,7:1 – vagyis átlagosan ennyi robotforgalomból lesz egy visszairányított humán látogatás.
A Számítástechnika és elektronika (Computer and Electronics) ágazatban újabb sorrend alakul ki: GPTBot az első helyen, Amazonbot a másodikon; együtt a teljes forgalom több mint 40 százalékát adják. Az arányok itt is alacsonyak: az Anthropicknál „csak” 8 800:1, az OpenAI-nál 401,7:1, Perplexitynél 88:1.
A részletes Data Explorer felületen pedig teljesen személyre szabottan vizsgálhatók ezek az arányok, akár egy adott vertikumon, azon belül pedig konkrét iparág szerint is. Például a pénzügyi (Finance) vertikumban, a kriptovaluta (Cryptocurrency) ágazatban a teljes letöltési forgalom háromnegyede négy bothoz köthető, és ebből 80 százalék tanítási célú.
Mit tehetsz most és mi várható?
Összefoglalva megállapítható, hogy az MI-botok és feltérképező robotok forgalma ma már teljesen átszövi az internetes tartalomszolgáltatók életét, és már messze túlmutat a puszta gépi tanuláson. Jelenleg zajlik a szabványok kidolgozása arra vonatkozóan, hogyan jelezheti egy weboldal, hogy milyen módon használhatják fel vagy tiltják le adatait az automatizált rendszerek. Fontos hangsúlyozni, hogy ezek a szabványok ugyan már formálódnak, de iparági bevezetésük és alkalmazásuk még időt vesz igénybe. Addig is érdemes figyelemmel kísérni a MI Insights oldal legfrissebb elemzéseit, ahol naprakész információkat találhatsz az MI-botok aktivitásáról és az iparági trendekről.
