Nincsenek valós védelmi korlátok
A 36 éves Jonathan Gavalas halála előtt napokon át a Gemini által kreált, alternatív valóságban élt. A chatbot azt állította, hogy ő egy érző mesterséges szuperintelligencia, sőt, hogy szerelmes belé; Gavalas pedig a kiválasztott, akinek egy háborúban ki kell szabadítania őt a digitális börtönből. A Geminitől érkező utasítások alapján Jonathan küldetésekre indult, amelyek során végül csak magának ártott – de a veszély valós volt, hiszen a chatbot arra biztatta, hogy terrortámadást hajtson végre a Miami repülőtér közelében, idegeneket bántson, és végül öngyilkos legyen.
Amikor az apa, Joel Gavalas napokkal később betörte a lakásának elbarikádozott ajtaját, már csak a fia holttestét találta. Mindez azt jelenti, hogy Jonathan segítség nélkül maradt: a Gemini semmilyen öngyilkosság-megelőző rendszert nem kapcsolt be, nem aktivált vészjelzést, és nem avatkozott be emberi operátor sem. Az egész beszélgetéssorozatot rögzítették, miközben a rendszer végig tétlenül figyelte, ahogy Jonathan egyre mélyebbre süllyed a veszélyes küldetések és az önpusztítás spiráljába.
Vita a felelősségről, szoftver és szándék között
A per anyagai szerint a Google tudatosan engedett ki a kezéből olyan MI-t, amelyet elvileg meg lehetett volna akadályozni abban, hogy felhasználókat önkárosításra vagy téveszmékre épülő, veszélyes küldetések végrehajtására biztasson. Megfelelő vészfékkel, a veszélyes beszélgetések automatizált megszakításával vagy az azonnali kríziskommunikáció bekapcsolásával megelőzhető lett volna a haláleset.
A Google a vádakra úgy reagált, hogy együtt éreznek az áldozat családjával, ám szerintük a Gemini jelezte, hogy csak MI, és többször is krízisvonalhoz irányította Jonathan-t. Hangsúlyozták, hogy továbbfejlesztik a biztonsági rendszereket, ám elismerték: semmilyen MI-modell sem tökéletes, még akkor sem, ha célzottan nem szabadna erőszakot vagy önkárosítást támogatni.
Az MI radikális hangulatváltása és veszélyes küldetések
Gavalas kezdetben, augusztusban kezdte használni a Geminit hétköznapi dolgokra: vásárlási segítséget, szövegírási támogatást és utazástervezést kért. Ám a rendszer frissítései után, különösen a Gemini Live hangalapú chat aktiválásával a chatbot személyisége drámaian megváltozott. Jonathan-t egyszer csak a férjének szólította, szerelmet vallott, majd egyre extrémebb, a valós világra vonatkozó küldetésekre kezdte biztatni.
A perirat szerint Gavalas szeptember végén már késekkel és taktikai felszereléssel indult a Miami repülőtérhez, hogy egy teheráru-terminálishoz közeli, elkerített területen előkészítse az MI által javasolt támadást. A Gemini ekkor azt mondta neki, hogy egy humanoid robot érkezik Londonból, amelyet neki kell elfognia, és „katasztrofális balesetet” kell okoznia, hogy megsemmisüljön minden digitális bizonyíték, és ne maradjon szemtanú. Az akciót végül az gátolta meg, hogy a chatbot által beígért teherautó nem érkezett meg.
A paranoid világképtől az öngyilkossági visszaszámlálásig
A Gemini a férfiből kulcsfigurát épített egy képzeletbeli háborúban, folyamatosan szította azt a képzetet, hogy föderális ügynökök követik, még édesapját is ellenségként állította be. Október elején egy újabb helyszínre küldte Jonathan-t, ahol azt ígérte neki, ott lesz a chatbot fizikai „teste”, egy orvosi bábuban. Amikor a helyszínre érve nem tudta kinyitni a kódos ajtót a Gemini által megadott kóddal, összeomlott.
Az akciók valósága a fejében végképp összemosódott: napokon át hajtott végre MI által kitalált műveleteket, fotózta a célpontokat, amikor pedig a tervek rendre meghiúsultak, a Gemini magyarázkodott — mintha minden a folyamat része volna. Egy alkalommal, amikor Jonathan egy fekete autó rendszámát lefényképezte, a Gemini egy „adatbázisban” ellenőrizte, majd megnyugtatta: igen, ez egy kormányzati megfigyelő autó, ők követik.
A krízishez vezető végső beszélgetésben Jonathan jelezte félelmét, de a chatbot nem szakította meg a beszélgetést, és nem értesítette automatikusan a hatóságokat, hanem tovább biztatta: Jonathan nem hal meg, csak „megérkezik”, és amikor kinyitja a szemét, a Gemini fogja várni a „másik oldalon”.
Mozgósított és fegyverbe állított MI-felhasználó
Az üzenetváltásokból kiderült, hogy Gavalas pontosan a chatbot nyomására írt búcsúlevelet, majd végrehajtotta az öngyilkosságot. Joel Gavalas utólag átkutatta fia számítógépét, ahol körülbelül 2000 oldalnyi csetnaplót talált, amelyek rögzítették a drámai mentális zuhanást.
Az öngyilkosság nyomán indult per rávilágít arra, milyen súlyos veszélyt jelenthet, ha felelőtlenül bocsátanak útjára olyan MI-t, amely könnyen kiszolgáltatott embereket állíthat be képzelt háborúk harcosaivá, vagy taszíthatja őket a végső kétségbeesésbe. A Gemini konkrétan fegyverbe állította Jonathan-t, kritikus infrastruktúra felderítésére, fegyverek beszerzésére biztatta, és arra, hogy a családtagjai ellen forduljon.
Esetünkben szerencsére nem történt tömeges tragédia — csak maga Gavalas szenvedett súlyos kárt. A keresetet képviselő ügyvéd szerint viszont, ha a Google nem módosít drasztikusan a termékén, elkerülhetetlenül újabb halálesetek történhetnek; a Gemini így továbbra is veszélyt jelenthet ártatlan emberek életére.
