Versengés a megbízhatatlanságban
A tesztelt platformok teljesítménye jelentősen eltért egymástól. A Perplexity a lekérdezések 37 százalékában közölt téves információt, míg a hivatkozott cikkek 67 százalékát helytelenül azonosította. A negatív csúcstartó a Grok 3, amely döbbenetes 94 százalékos hibaaránnyal “büszkélkedhet”. Veszélyes tendencia, hogy amikor az MI modellek nem rendelkeznek megbízható információval, gyakran hihetően hangzó, de valótlan vagy spekulatív válaszokat generálnak.
Ironikus módon a fizetős verziók bizonyos szempontból még rosszabbul teljesítettek. A Perplexity Pro (havi 20 dollár) és prémium szolgáltatása (havi 40 dollár) magabiztosabban terjesztett téves információkat, mint ingyenes változataik. Bár több kérdésre adtak helyes választ, a bizonytalan területeken mutatott túlzott magabiztosságuk miatt összességében magasabb hibaarányt produkáltak.
Etikai és forráskezelési problémák
A kutatók feltárták, hogy egyes MI eszközök figyelmen kívül hagyták a robot.txt beállításokat, amelyekkel a kiadók az illetéktelen hozzáférést próbálják megakadályozni. A Perplexity például helyesen azonosította mind a 10 fizetőfalas National Geographic tartalmat, annak ellenére, hogy a magazin kifejezetten megtiltotta webcrawlereinek a hozzáférést.
Még amikor forrásokat idéztek, gyakran a Yahoo News-hoz hasonló aggregátor oldalakhoz irányították a felhasználókat az eredeti kiadói oldalak helyett. Ez olyan esetekben is előfordult, amikor a kiadóknak hivatalos licencszerződéseik voltak MI cégekkel.
Az URL-hamisítás különösen súlyos problémaként jelentkezett. A Google Gemini és a Grok 3 hivatkozásainak több mint fele kitalált vagy hibás URL-ekhez vezetett. A Grok 3 esetében a tesztelt 200 hivatkozásból 154 hibás linkre mutatott.
Döntéskényszerben a kiadók
A kiadók válaszút előtt állnak: ha blokkolják az MI webcrawlereket, elveszíthetik a hivatkozásokat, ha engedélyezik őket, tartalmaikat széles körben újrahasznosíthatják anélkül, hogy ez látogatottságot generálna saját oldalaikra.
Mark Howard, a Time operatív igazgatója aggódik az átláthatóság hiánya miatt, ugyanakkor bizakodó: “A termék most van a legrosszabb állapotban, ennél csak jobb lesz.” Howard ugyanakkor a felhasználókat is bírálta: “Ha bárki úgy gondolja, hogy ezek az ingyenes termékek 100 százalékosan pontosak lesznek, akkor szégyellnie kellene magát.”
Az OpenAI és a Microsoft reagáltak a megállapításokra, de közvetlenül nem foglalkoztak a konkrét problémákkal. Az OpenAI ígéretet tett a kiadók támogatására, míg a Microsoft közölte, hogy betartja a Robot Exclusion Protocols előírásait.
