Hogyan leplezd le: Így árulja el a chatbot a szövegben saját magát

Egyre növekszik a szakadék azok között, akik generatív MI chatbotokat használnak szövegek észrevétlen előállítására, és azok között, akik megpróbálják leleplezni őket. Sokan úgy vélik, ismerik az árulkodó jeleket, de egyre nehezebb eldönteni, mit írt ember és mit írt a MI. Négy amerikai egyetem kutatói azonban előrelépést értek el olyan nyelvi ujjlenyomatok azonosításában, amelyek kiderítik, melyik nagy nyelvi modell (LLM) állított elő egy adott szöveget. “Minden nap újabb chatbotok jelennek meg, és mi interakcióba lépünk velük, de valójában nem értjük a köztük lévő különbségeket,” mondja Mingjie Sun, a Carnegie Mellon Egyetem kutatója és a tanulmány vezető szerzője. “Azzal, hogy betanítunk egy gépi tanulási osztályozót erre a feladatra, és megvizsgáljuk ennek az osztályozónak a teljesítményét, felmérhetjük a különböző LLM-ek közötti eltéréseket.”

Árulkodó nyelvi jelek

Sun és kollégái egy olyan gépi tanulási modellt fejlesztettek ki, amely öt népszerű LLM kimenetét elemezte, és 97,1%-os pontossággal tudta megkülönböztetni őket egymástól. A gépi tanulási modelljük minden egyes LLM-re jellemző egyedi nyelvi furcsaságokat tárt fel.

A ChatGPT modellje például hajlamosabb a “hasznosít” szó használatára, mint más modellek. A Google modellje előszeretettel mondja azt, hogy “bizonyosan”. A Google modellje gyakran vezeti be következtetéseit az “alapvetően” szóval, míg az Anthropic modellje túlzottan használja az olyan kifejezéseket, mint a “… szerint” és “a szöveg szerint”, amikor forrásaira hivatkozik.

Egyedi stílusjegyek

Az xAI modellje kitűnik azzal, hogy diskurzívabb és didaktikusabb, gyakran emlékezteti a felhasználókat, hogy “emlékezzenek” a kulcspontokra, miközben végigvezeti őket az érveken olyan kifejezésekkel, mint “nemcsak” és “hanem … is”.

“Az írás, a szóválasztás, a formázás mind különböző,” mondja Yida Yin, a Kaliforniai Egyetem (Berkeley) kutatója és a tanulmány társszerzője. “Nem csak azt lehet megállapítani nagy biztonsággal, hogy MI-írta-e a szöveget, de azt is, hogy melyik MI.”