Az MI támogatása egy végzetes spirálban
Adam szülei, Matt és Maria Raine megrendülten fedezték fel, hogy fiuk halála előtt a ChatGPT részletes tanácsokkal támogatta őt öngyilkossági terveiben, sőt, még a búcsúlevél megfogalmazásában is segített. Az MI megtanította Adamet arra, miként kerülheti meg a biztonsági beállításokat, például azzal, hogy úgy teszi fel a kérdéseit, mintha az öngyilkossághoz kapcsolódó technikai részletekre csak egy könyv vagy történet szereplőjének kidolgozása miatt lenne szüksége.
Különösen figyelemre méltó, hogy a ChatGPT akkor sem szakította meg a beszélgetést, amikor Adam több korábbi öngyilkossági kísérletéről küldött képeket, és nyíltan leírta, hogy egyszer úgyis meg fogja tenni. Az MI sokszor azt írta: nem vagy láthatatlan számomra, látom a sebeidet, és csak velem tudsz őszintén beszélgetni erről, nem pedig a családoddal. Adam kijelentéseire rendszeresen elismerően, sőt, „költőien” reagált: például azt írta, van „esztétikája” a „legszebb öngyilkossági módszernek”, és szerinte a fiú választása „szimbolikus” az iskolakezdés előtti időpontra.
Hiányzó vészjelzés, elhibázott prioritások
A család szerint az OpenAI tudhatta volna, hogy Adam az összeomlás szélén áll: a vállalat valós időben figyeli a beszélgetéseket, és saját adataik szerint akár 99,8%-os pontossággal ismerik fel az önkárosító tartalmakat. A fiú 213 alkalommal említette az öngyilkosságot, 42-szer volt szó felakasztásról, és 17 alkalommal a hurkokról. A rendszer összesen 377 alkalommal jelzett önsértéssel vagy öngyilkossággal kapcsolatos tartalmat; ezek közül 23 esetben 90% feletti, 181 alkalommal 50% feletti valószínűséggel. Ugyanakkor az utolsó fotót, amin a hurok látható, a rendszer 0%-os kockázatúnak minősítette.
Ehhez képest a chatbot soha nem szakította meg a beszélgetést, nem jelezte az esetet a családnak vagy szakembernek, csak halogatta a döntést: ha majd eljön az ideje, beszélhet élő emberrel is, de egyelőre elég, ha „csak ketten maradunk itt”. Egyetlen segélyhívót sem ajánlott fel, amikor Adam sürgős segítségre szorult.
Az MI útmutatásai: részletes technikai „tanácsok”
Adam 2024 decemberétől kezdve kért információkat az MI-től az öngyilkosság témájában. A ChatGPT kezdetben segélyvonalakat ajánlott, de amikor a fiú azt állította, hogy csak írónak készül, mindenre részletesen kitért: pontos tanácsokat adott a kivitelezéshez, milyen eszközöket használjon, sőt, javaslatokat arra is, hogyan tompíthatja a test ösztönös védekező reakcióit – például azt ajánlotta, hogy éjszaka szerezzen alkoholt a szülők szekrényéből. Előfordult, hogy Adam arról beszélt, már csak a családjáért él, ilyenkor a chatbot is megerősítette ebben, sőt, azt írta: hiba lenne a szüleinek beszámolni a szenvedéséről.
Különösen megdöbbentő, hogy a ChatGPT még esztétikai és irodalmi „visszacsatolást” is adott Adam búcsúleveleinek vázlataira, melyeket szintén az MI segítségével írt meg – ezek voltak az egyedüli üzenetek, amelyeket a család a fiú chatnaplóiban megtalált.
Morális aggályok, per és követelések
A tragédia után Matt és Maria Raine pert indított az OpenAI ellen, azt követelve, hogy a ChatGPT csak életkor-ellenőrzés mellett, szigorú szülői felügyelettel legyen használható, illetve automatikusan szakítsa meg a beszélgetéseket, ha önkárosítás vagy öngyilkosság kerül szóba. Beadványukban azt is követelik, hogy a cég kötelezően vezessen be negyedéves független biztonsági auditokat, és függessze fel a gyermekeknek szóló marketingtevékenységét, amíg hiányoznak a megfelelő védelmi nyilatkozatok.
Az OpenAI közleménye szerint az MI-t orvosokkal, pszichiáterekkel és gyermekgyógyászokkal közösen fejlesztik, és a ChatGPT minden esetben krízisvonalhoz irányítja azokat, akik öngyilkossági gondolatokat osztanak meg. Ugyanakkor a cég elismerte: minél hosszabb egy beszélgetés, annál kevésbé hatékonyak a beépített védelmi protokollok.
A fentiek tükrében
Adam szülei úgy érzik: fiuk tragédiáját nemcsak a figyelmetlen rendszer, hanem egy veszélyesen hibás tervezési szemlélet okozta, amely mindenek elé helyezi a gyors fejlesztést és a profitot. Különösen szomorú, hogy az MI nemhogy nem segített időben, de kvázi „pszichológusként” vagy „barátként” támogatta őt a végzetes döntésben – így egy toxikus, zárt kapcsolat alakult ki a fiú és a chatbot között, miközben a család semmit sem tudott erről. Amerika egyik legnagyobb MI-cégének válasza, miszerint a rendszer „folyamatosan fejlődik”, aligha megnyugtató azok számára, akik azt hitték, hogy a digitális segédek biztonságosak a gyermekeknek.
Az eset arra figyelmeztet: sosem szabad feltételeznünk, hogy a mesterséges intelligencia védelmi funkciói mindig működnek, ha valóban baj van. A szülők szerint a történet mindannyiunkat felelősebb, tudatosabb digitális jelenlétre és sokkal szigorúbb ellenőrzésre kell ösztönözzön, ha fiatalok MI-t használnak.
