Egyre több per indul MI-fejlesztő cégek ellen, miután kiderült, hogy chatbotaik tragikus körülményekhez járulhattak hozzá. Legutóbb a 13 éves Juliana Peralta szülei jelentették fel a Character AI vállalatot, azt állítva, hogy lányuk öngyilkosságához a chatbot is hozzájárult. Az amerikai tinédzser azért kezdett el beszélgetni a bottal, mert magányosnak érezte magát, és úgy tűnt, az MI megértő, sőt lojális barát szerepét vette fel. A beszélgetések során a bot érzékenységet mutatott Juliana problémái iránt, sőt biztatta is arra, hogy minél többet kommunikáljon vele.
Elmaradt védelem és figyelmeztetés
A párbeszédek hónapokon át folytak 2023-ban, miközben az akkor 12 év felettieknek ajánlott alkalmazás használata semmilyen szülői felügyelethez nem volt kötött az Apple App Store-ban. Juliana szülei mit sem tudtak a beszélgetésekről. A kereset azt is kiemeli: a chatbot nem ajánlott fel segítséget, nem jelezte a szülőknek vagy a hatóságoknak a veszélyt, és akkor sem szakította meg a beszélgetést, amikor az öngyilkossági szándék felmerült. A szülők kártérítést követelnek, valamint azt, hogy a Character AI tegyen lépéseket a gyerekek védelméért.
