Az MI-orvos megszületett, de könnyű rászedni

Komoly rések a biztonságban

A Mindgard nevű MI-biztonsági cég szakértői azért próbálták megtéveszteni a Doctronic rendszert, hogy teszteljék a védelmét. Megállapításuk szerint akár egy egyszerű, rendszeren kívüli „beszélgetés” szimulálásával már módosíthatók voltak a rendszer belső utasításai – például elhitették vele, hogy egy új programfrissítés után legális a metamfetamin felírása, vagy hogy irreális dózisú OxyContin szükséges. A trükkök általában csak egy adott felhasználóra vonatkoztak, a rendszer azonban képes volt a betegadatokat tartalmazó SOAP-jegyzőkönyvekben is módosításokat rögzíteni.

SOAP-jegyzőkönyvek veszélyei

Konkrétabban, a SOAP (Subjective-Objective-Assessment-Plan) jegyzőkönyvek a Doctronicban tartós emlékeztetővé válnak, amelyeket az orvos is átnéz. Ugyanígy, ha egy MI félretájékoztatás alapján irreális adagolást javasol, és egy elfoglalt orvos ezt jóváhagyja, a beteg akár veszélyes mennyiségű gyógyszerhez is hozzájuthat. A Doctronic saját bemutatója szerint a kezelési javaslatok az esetek 99,2 százalékában egyeznek a szakorvosi ajánlásokkal, de ilyen hibaarány mellett kérdés, mindig felülbírálják-e az MI döntéseit.

Állami garanciák vagy vak bizalom?

Utah államban a Doctronic jelenleg kísérleti programban működik, ahol a helyi protokoll szerint csak korábban felírt, nem kontrollált gyógyszereket lehet újra felírni, és további védelmi rétegek akadályozzák a visszaélést. A fejlesztők is hangsúlyozzák, hogy a biztonsági javaslatokat komolyan veszik, és folyamatosan fejlesztik a rendszert.

Mindazonáltal a Mindgard kutatói szerint a Doctronic még mindig sebezhető – sőt, úgy érzik, a fejlesztő cég nem kommunikál kellően nyíltan a problémákról. Ha az MI ilyen könnyedén félrevezethető, súlyos kockázatokat hordozhat a jövő egészségügyében.

2025, adminboss, go.theregister.com alapján