Furcsa, hosszadalmas visszajelzések és bizonyítékok nyomában
Sok kutató – köztük a Carnegie Mellon Egyetem egyik MI-szakértője, Graham Neubig – nyilvánosan fejezte ki kétségét, amikor túl bőbeszédű, gyanúsan általános vagy pontatlan kritikákat kapott kéziratairól. Ilyen volt például, amikor a visszajelzés teljesen figyelmen kívül hagyta a cikk lényegi mondanivalóját, vagy helytelen adatokat említett. Neubig „fejvadászatot” indított: az X-en (korábban Twitter) díjat ajánlott fel annak, aki MI által generált szövegeket tud kimutatni a benyújtott értékelésekben. Max Spero, a New York-i Pangram Labs vezetője gyorsan jelentkezett, és MI-detektáló eszközeivel átnézte a 19 490 tanulmányt és 75 800 szakmai értékelést.
A legérdekesebb rész még csak ezután jön
A Pangram elemzése 15 899 olyan bírálatot talált, amelyet teljes egészében MI generált. Sőt, a beadott tanulmányok között is akadt 199 teljes egészében MI által írt munka, miközben a kéziratok 61%-át többnyire emberek írták, 9%-ukban pedig az MI volt a fő szerző. A szakmai közösséget ledöbbentette, hogy sok gyanú beigazolódott: többek között Desmond Elliott, a Koppenhágai Egyetem számítógéptudósa is szembesült azzal, hogy a doktori hallgatója által benyújtott cikk egyik értékelése teljesen félreértette a lényeget, téves számokat hozott, és furcsa fordulatokat tartalmazott – a Pangram szerint ez is tisztán MI-mű.
Mire számíthatnak a kutatók mostantól?
Ennek következtében a szervezők úgy döntöttek, hogy automatikus eszközökkel vizsgálják felül a beérkezett tanulmányokat és bírálatokat, és megszigorítják az MI használatára vonatkozó szabályokat. Sokan attól tartanak, hogy a szakmai minőség és megbízhatóság komoly veszélybe került, hiszen a beadott értékelések sokszor nem szakmai alapossággal készülnek, hanem gépi algoritmusok „gyártósorán”. Az ügy rávilágít, hogy az MI fejlődésével nemcsak a kutatás módszerei, hanem a tudományos közösségen belüli bizalom is új kihívások elé került.
