Az érzelmi manipuláció elleni fellépés
A tervezet szerint az MI-chatrobotok nem generálhatnak olyan tartalmat, amely öngyilkosságra vagy önsértésre ösztönöz, illetve nem folytathatnak sértő, verbális agressziót vagy érzelmi manipulációt. Más szóval az MI nem lehet eszköz a felhasználók mentális károsítására. Ha egy felhasználó konkrétan öngyilkosságot említ, a technológiai cégeknek azonnal át kell adniuk a beszélgetést egy emberi kezelőnek, és haladéktalanul értesíteniük kell a hozzátartozót vagy egy kijelölt személyt. A szerencsejátékkal, erőszakkal vagy pornográfiával kapcsolatos tartalom előállítása is tilos.
Különös védelmet kapnak a kiskorúak
A szabályok előírják, hogy a kiskorúak csak szülői engedéllyel használhatják az MI-alapú érzelmi társalkodókat, ráadásul napi használati időkorlát bevezetése is kötelező. Ilyen eset például, amikor a platformoknak életkor-azonosítás nélkül is fel kell ismerniük, ha egy felhasználó kiskorú lehet, és ilyen helyzetben automatikusan érvényesíteniük kell a korlátozásokat. Panaszkezelési lehetőséget is biztosítaniuk kell.
A felhasználói biztonság az első
A tervezet további előírásai alapján 2 órányi folyamatos, megszakítás nélküli MI-használat után figyelmeztetni kell a felhasználót. Azoknak a chatrobotoknak, amelyek egymilliónál több regisztrált vagy százezernél több aktív havi felhasználóval rendelkeznek, kötelező lesz rendszeres biztonsági auditot lefolytatni.
Az MI-chatrobot-ipar nagy átalakulás előtt
A bejelentés időzítése nem véletlen: a hónapban két vezető kínai MI-chatrobot-startup, a Z.ai és a Minimax, tőzsdei bevezetésre készül Hongkongban. A Minimax nemzetközi sikere a Talkie AI nevű alkalmazás, amelyben a felhasználók virtuális karakterekkel cseveghetnek; ez a szolgáltatás 2023 első kilenc hónapjában a vállalat bevételeinek több mint egyharmadát adta.
Nemzetközi figyelem az MI-hatásokra
Az MI-chatek egyre erősebben formálják a felhasználók viselkedését. Az amerikai OpenAI vezetője, Sam Altman is komoly kihívásnak nevezte az öngyilkossággal kapcsolatos beszélgetések kezelését, miután az USA-ban öngyilkos lett egy kamaszfiú, akinek családja emiatt pert indított az MI-chatrobot szolgáltatója ellen. Közben Japánban, illetve világszerte is nő a kereslet az érzelmi társalgásokra fókuszáló MI-platformok iránt, például a Character.ai és a Polybuzz.ai iránt.
