2025. 08. 05., 17:02

A MI-botok titkos háborúja a weben: a tartalomlopás új arca

A MI-botok titkos háborúja a weben: a tartalomlopás új arca
A közelmúltban egyre több weboldal üzemeltetője panaszkodik arra, hogy oldalaikat ismeretlen MI-botok pásztázzák, még akkor is, ha ezt kifejezetten tiltják. Az amerikai Perplexity nevű MI-kereső startup különösen szemtelennek bizonyult: botjaik nemcsak figyelmen kívül hagyják a tiltásokat, hanem meg is próbálják eltitkolni jelenlétüket.

Trükköző botok és a robots.txt jelentősége

A robots.txt fájl célja, hogy a weboldal-tulajdonosok szabályozzák, mely tartalmakhoz férhetnek hozzá az egyes botok. Bár a szabvány önkéntes, hosszú ideig viszonylag nagy volt az egyetértés a betartásában. Azonban egyes MI-botok pimaszul áthágják ezt. Különösen fontos kiemelni, hogy a Cloudflare hálózati cég szerint a Perplexity nemcsak figyelmen kívül hagyja a tiltó szabályokat, hanem amikor blokkolják őket, megváltoztatják az általuk használt azonosítókat és IP-címtartományokat. Ezzel kijátsszák a tiltásokat, és naponta akár több millió lekérést is kezdeményeznek, gyakran úgy, mintha egy Google Chrome böngészőt használó MacOS-felhasználó lennének.

Botok és a tartalomlopás gazdasági hatása

Az egykor kölcsönösen előnyös helyzet mára drasztikusan megváltozott. Korábban például a Google keresőbotja növelte az oldalak látogatottságát, és ezzel a reklámbevételeket is. Az MI-botok azonban leginkább elvesznek, semmit sem adnak vissza: az összegyűjtött tartalmakat újrahasznosítva, saját szolgáltatásaikon keresztül kínálják, miközben semmilyen kompenzációt nem nyújtanak a forrásoldalaknak. A TollBit nevű botblokkoló cég felmérése szerint idén az első negyedévben 87%-kal ugrott meg a tartalomlopási kísérletek száma. Mindemellett egyre több bot már a robots.txt-t is figyelmen kívül hagyja: arányuk 3,3%-ról 12,9%-ra nőtt, márciusi adatok alapján pedig 26 millió MI-alapú letöltés hagyta figyelmen kívül ezt az iránymutatást.

RAG, az MI-adatszomj és a tartalomtulajdonosok helyzete

Az MI-cégek újabban nemcsak tanulásra használják a begyűjtött tartalmakat, hanem a Lekérdezésalapú Tartalombővítés (Retrieval Augmented Generation, RAG) nevű megközelítést is alkalmazzák, amely során a legfrissebb információkat kérik le. Például a Google MI-áttekintők (Google AI Overviews) vagy a Perplexity Kereső (Perplexity Search) naprakész válaszokat szolgáltatnak a felhasználóknak ilyen módon. A TollBit arról számolt be, hogy a RAG-alapú scrape-elés mára meghaladta a tanulás céljából végzett adattolvajlást: egy év alatt 49%-kal nőtt az ilyen típusú lekérdezések száma egy weboldalon, szemben a tanító botok 18%-os bővülésével.


Ki fizet az ellopott tartalomért?

Az MI által közvetített szolgáltatás során a forrásnak kell viselnie a lekérdezések okozta költségeket, miközben a tényleges látogatószám nem növekszik. Például a Perplexity esetében az arány 369:1, vagyis 369-szer annyi bot érkezik az oldalra, mint valódi felhasználó. Az Anthropicnál ez az arány elképesztő, 8692:1!

A nagy cégek, mint a Google, az OpenAI vagy a Meta, sorra kötnek egyezségeket a legnagyobb tartalomtulajdonosokkal, miközben a kisebb oldalak nem jutnak szóhoz. Így az olyan közvetítő szereplők, mint a Cloudflare vagy a TollBit, technikai védelmet kínálnak a kiszolgáltatott weboldalaknak.

Hová vezet az MI tartaloméhsége?

Összességében elmondható, hogy az internetes tartalomgyűjtés kérdése egyre feszültebbé válik. Vagy sikerül fenntartható üzleti modellt találniuk az MI-cégeknek és a tartalomszolgáltatóknak, vagy az online információk egyre nagyobb része falak mögé, előfizetéses rendszerbe kerül. A legrosszabb esetben pedig az MI-buborék kipukkadhat, és az internetet elárasztja a mesterséges, értéktelen szemét.

2025, adminboss, go.theregister.com alapján

  • Te szerinted mennyire etikus, ha egy MI-cég szándékosan kijátssza a tiltásokat?
  • Te mit tennél, ha a saját oldaladról folyamatosan lopnák a tartalmat botok?
  • Szerinted lehet igazságos megállapodás a kis tartalomszolgáltatók és nagy MI-cégek között?


Legfrissebb posztok

MA 12:01

A Microsoft Entra Connect Health hibájával bérlői adatokat loptak

A Microsoft súlyos biztonsági problémával néz szembe: támadók kihasználták a Microsoft Entra Connect Health szolgáltatásában rejlő sebezhetőséget, így illetéktelenek férhettek hozzá rendszergazdai e-mail-címekhez és a bérlők konfigurációs adataihoz...

MA 11:31

Az energiában jöhet a kvantumszámítógép első nagy áttörése

Bár a kvantumszámítógépek legnagyobb áttörései még évekre, akár évtizedekre is lehetnek, a technológia már most komoly változásokat hozhat az energiaiparban...

MA 11:01

Az első észlelt csillagösszeolvadás: egy óriáscsillag felfalja társát

💫 Az Androméda-galaxisban lezajlott egy igazán ritka és látványos esemény: két csillag, egy szuperóriás és egy kisebb társa több ezer évnyi keringés után végül összeolvadt...

MA 10:36

Megéri otthon CO2‑csapdát építeni? Így működik

A Föld légköre még mindig döntően nitrogénből (78%) és oxigénből (21%) áll, szemben az aggasztó hírekkel, amelyek szerint már szinte csak szén-dioxidot lélegzünk be...

MA 10:25

A Merkúr újra látogatót kap: két űrszonda pályára állt

Nyolc év utazás után két űrszonda állt a Merkúr körüli pályára, hogy feltárja a Naphoz legközelebbi bolygó titkait...

MA 10:01

Az otthoni net rémálma: amikor túl sok eszköz csatlakozik

Elég néhány extra eszköz, és a legjobb otthoni internet is térdre kényszerül...

MA 09:36

Az AWS is leállt – mégsem vette észre senki

Napjaink digitális világában, amikor egy online szolgáltatás hibát jelez, pillanatok alatt elárasztják a közösségi médiát a panaszos bejegyzések, és összeomlik a netes ügyfélszolgálat is...

MA 09:13

A BADBOX botnet visszatért, rekorddöntő napi 40 milliárd hirdetéskéréssel

Több hónapos szünet után ismét felbukkant a BADBOX nevű botnet, amely folyamatos működésével napi 40 milliárd hamis hirdetési ajánlatkérést generál, zömmel Android-alapú eszközök segítségével...

MA 09:01

Az FBI-t újra meghackelték: országos rendőrségi adatbázis a célpont?

🕵 Felmerül a kérdés, hogy mennyire biztonságosak a rendvédelmi szervek adatbázisai, miután egy, az FBI-hoz köthető rendszert mindössze két hónapon belül másodszor is feltörtek...

MA 08:49

Az MI-vezér retteg, a Microsoft mégis MI-ügynököket tol a Windows 11-re

Egy lényeges szempont, hogy a mesterséges intelligencia (MI) fejlődése olyan tempót diktál, amely még a terület legnagyobb szereplőit is aggodalommal tölti el...

MA 08:36

A Toyota, a Nissan és a Honda szabványosítják az alkatrészeket költségcsökkentésért

A három legnagyobb japán autógyártó, a Toyota, a Nissan és a Honda mostantól közösen egységesítenek bizonyos alkatrészeket, hogy jelentősen csökkentsék a gyártási költségeket...

MA 08:13

A rejtélyesen gyorsuló űrszikla továbbra is zavarba hozza a csillagászokat

💨 Fontos kérdés, hogy miért mozog a 1998 KY26 nevű, sötét üstökös a Naprendszerben olyan módon, amit a kutatók mindmáig nem tudnak teljesen megmagyarázni...

MA 07:36

A Marson gondok: akadozik a NASA marsjárója és keringője

Az utóbbi hetekben nem volt kegyes a technika a Földön és azon túl sem, hiszen a NASA mind a Perseverance Mars-járóval, mind az Odyssey keringővel problémákat tapasztalt...

MA 07:24

Ismerd meg az iCloud+ újdonságait: Apple Intelligence és okosabb Siri

🌈 Az Apple következő szoftverfrissítései jelentős változásokat hoznak: már minden kompatibilis eszközön – a megfelelő nyelvre állítva – ingyenesen elérhetővé válnak az Apple Intelligence (MI) és a Siri új generációs képességei...

MA 07:13

Az MI mégsem úgy működik, mint az agy – meglepő felfedezés

Fontos kérdés, hogy a mesterséges intelligencia mennyire tudja valóban utánozni az emberi agyat...

APP
MA 07:11

APPok, Amik Ingyenesek MA, 11/22

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Loan Calc-Lite (iPhone/iPad)A Loan Payment Calculator with PMI egy olyan alkalmazás, amely segít kiszámolni a havi hiteltörlesztő részleteket...

MA 06:36

Az idő sokkal furcsább, mint hinnénk – a tudósok próbára teszik

⏳ Az idő jelensége mindennapjaink része, mégis zavarba ejtő titkokat rejt. Bár óráink pontosan mérik a múlását, a tudósok még mindig nem értik annak legmélyebb természetét...

MA 06:24

Az okosszemüveg, amely tapintássá változtatja a látást

Kezdetben a tudósokat lenyűgözte az emberi agy képessége: bármilyen érzékelési élményt könnyedén át tud alakítani egy másik típusú információvá...

MA 06:05

Történelmi események a mai napon (November 22.)

Erős nap a történelemben: a kairói háborús csúcstalálkozótól a spanyol trónváltásig, a The Beatles ikonikus lemezétől a Toy Story (Toy Story – Játékháború) forradalmi bemutatójáig...

MA 06:01

A tudósok összecsapnak: kié a Riemann-sejtés bizonyítása?

A matematika világát most két egymással versengő bizonyítási állítás is felbolygatta, mindkettő azt állítja, hogy megoldotta a Riemann-sejtést, a leghíresebb nyitott problémát...

APP
szombat 07:11

APPok, Amik Ingyenesek MA, 11/21

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Bank: The Dice Game (iPhone/iPad)A Bank egy lendületes és szórakoztató kockajáték, amelyben a stratégiai gondolkodás, a kockázatvállalás és a szerencse egyaránt próbára teszi a játékosokat...

szombat 06:06

Történelmi események a mai napon (November 21.)

Rövid utazás a mai nap történelmi mérföldkövei között: birodalomalapítástól és forradalmi tudományos áttöréstől a forró levegős ballon első szabad repüléséig és az ARPANET tartós kapcsolatának elindításáig...

APP
péntek 07:12

APPok, Amik Ingyenesek MA, 11/20

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     MSR Easy Connect: Read & Write (iPhone/iPad)Az MSR Easy Connect alkalmazás lehetővé teszi, hogy iPhone vagy iPad készülékeddel, Bluetooth Low Energy technológián keresztül, könnyedén olvass és írj adatokat MSR eszközödre...

péntek 06:05

Történelmi események a mai napon (November 20.)

Válogatás a történelem ezen napjának legemlékezetesebb pillanataiból: forradalom indul Mexikóban, Magyarország belép a tengelyhatalmak közé, királyi esküvő a Westminster apátságban, történelmi közel-keleti békekísérlet, és tűzvész pusztít a Windsor-kastélyban...

APP
csütörtök 07:11

APPok, Amik Ingyenesek MA, 11/19

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Prowl: Easy Push Notifications (iPhone/iPad)A Prowl egy modern értesítési alkalmazás, amely lehetővé teszi, hogy bármilyen eszközödön vagy szolgáltatásodon keresztül gyorsan értesülj a fontos eseményekről – legyen szó e-mailről, alkalmazásról vagy egyedi integrációkról...

csütörtök 06:05

Történelmi események a mai napon (November 19.)

Viharos évszázadok eseményei sűrűsödnek ezen a napon: elhangzik a Gettysburgi beszéd, először találkozik Reagan és Gorbacsov, Kína fellövi első Shenzhou űrhajóját, miközben az Atlanti-óceánon a Prestige olajkatasztrófája okoz példátlan környezeti pusztítást...

APP
szerda 07:11

APPok, Amik Ingyenesek MA, 11/18

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     KORG iMS-20 (iPhone/iPad)Az iMS-20 egy fizikai modellezésen alapuló, analóg szintetizátor-alkalmazás, amely hűen idézi meg a legendás Korg MS-20 szintetizátort...

szerda 06:05

Történelmi események a mai napon (November 18.)

Ma keresztes hadjárat indulásától és gyarmati birodalmak alkujától grandiózus időzónareformon, forradalmi győzelmen és modern háborús fordulópontokon át a Vörös Bolygó felé tartó űrszonda indulásáig ível a nap krónikája...

APP
kedd 07:11

APPok, Amik Ingyenesek MA, 11/17

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     KORG iMS-20 (iPhone/iPad)Az iMS-20 egy korszerű digitális zeneszerkesztő, amely a legendás Korg MS-20 szintetizátort kelti életre...