Orvosi kockázat, mégis lelkesen használják a halluzó MI-t

Az MI-modellek időnként “hallucinálnak” – azaz magabiztosan kitalálnak dolgokat – de ez a kutatók szerint nem elegendő ok arra, hogy kizárjuk őket az egészségügyi felhasználásból. Kutatók egy csoportja most feltérképezte a kockázatokat és tervet dolgozott ki, hogy miként lehet minimalizálni a károkat, miközben az orvosok továbbra is használhatják ezeket a nem mindig megbízható szoftverasszisztenseket. 25 technológiai és orvosi szakértő neves akadémiai és egészségügyi szervezetektől – köztük az MIT, a Harvard Orvosi Egyetem, a Washington Egyetem, a Carnegie Mellon Egyetem, a Szöuli Nemzeti Egyetemi Kórház, a Google, a Columbia Egyetem és a Johns Hopkins Egyetem – vállalta, hogy katalogizálja és elemzi az általános MI-modellek orvosi hallucinációit, azzal a céllal, hogy jobb szabályokat dolgozzanak ki az MI egészségügyi környezetben történő használatára.

Amikor az MI orvosnak képzeli magát

“Az orvosi hallucinációk szakmai kifejezéseket használnak és logikusnak tűnő érvelést mutatnak be, ami megnehezíti felismerésüket szakértői vizsgálat nélkül” – írják a szerzők a “Medical Hallucinations in Foundation Models and Their Impact on Healthcare” című tanulmányukban, amelyben amellett érvelnek, hogy kármegelőzési stratégiákra van szükség.

A szerzők abból indulnak ki, hogy az óriási neurális hálózatok – amelyeket emberek munkáján és egyéb adatokon képeztek ki – olyan cégektől, mint az Anthropic, a Google, a Meta és az OpenAI, “jelentős lehetőségeket kínálnak a klinikai döntéstámogatás javításától az orvosi kutatás átalakításán át az egészségügyi minőség és biztonság javításáig”.

A hallucinációk típusai és azok gyakorisága

A tanulmányban bemutatott taxonómia a következő kategóriákat tartalmazza: tárgyi tévedések; elavult hivatkozások; téves korrelációk; kitalált források vagy irányelvek; és hiányos érvelési láncok.

A szerzők öt általános célú nyelvi modell – o1, gemini-2.0-flash-exp, gpt-4o, gemini-1.5-flash és claude-3.5 sonnet – klinikai érvelési képességeit értékelték három célzott feladaton: események időrendi rendezése; laboratóriumi adatok értelmezése; és differenciáldiagnózis-generálás. A modelleket 0-tól (nincs kockázat) 5-ig (katasztrofális) terjedő skálán értékelték.

Az eredmények vegyesek voltak: “A diagnózis-előrejelzés mutatta következetesen a legalacsonyabb hallucinációs arányt minden modell között, 0 és 22 százalék között mozogva. Ezzel szemben a pontos tárgyi emlékezetet és időbeli integrációt igénylő feladatok – időrendi rendezés (0,25-24,6 százalék) és laboratóriumi adatok megértése (0,25-18,7 százalék) – jelentősen magasabb hallucinációs gyakoriságot mutattak.”

Az orvosok meglepően bizakodóak

A kutatók 75 orvos körében végeztek felmérést az MI-eszközök használatáról. Úgy tűnik, nincs visszaút: “40-en naponta használták ezeket az eszközöket, 9-en hetente többször, 13-an havonta néhányszor, és 13-an jelentettek ritka vagy nulla használatot” – írja a tanulmány, hozzátéve, hogy 30 válaszadó magas szintű bizalmat fejezett ki az MI-modell kimenetei iránt.

A szkepticizmus hiánya a résztvevők 40 százalékánál annál is meglepőbb, mivel “91,8 százalékuk tapasztalt már orvosi hallucinációt a klinikai gyakorlatban”, és “84,7 százalékuk megfontolta, hogy az általuk tapasztalt hallucináció potenciálisan befolyásolhatja a beteg egészségét”.

Elgondolkodhatunk azon, vajon az újonnan felvett orvosi személyzet számára megengedett lenne-e a hallucinációra hajlamos MI-modellekéhez hasonló hibaarány.

Sürgősen szabályozásra van szükség

A kutatók azzal zárják tanulmányukat, hogy hangsúlyozzák a szabályozások sürgős szükségességét, valamint a hibákért viselt jogi felelősség tisztázását.

“Ha egy MI-modell félrevezető diagnosztikai információkat ad ki, felmerül a kérdés, hogy a felelősséget az MI-fejlesztőre kell-e hárítani a képzési adatok esetleges hiányosságai miatt, az egészségügyi szolgáltatóra az átláthatatlan kimenetekre való túlzott támaszkodás miatt, vagy az intézményre a nem megfelelő felügyelet miatt” – mondják a szerzők.

Tekintettel a jelenlegi amerikai adminisztráció szövetségi szintű MI-politikai iránymutatásának hiányára, a kutatók felhívása “etikai irányelvekre és robusztus keretrendszerekre a betegbiztonság és elszámoltathatóság biztosítása érdekében” valószínűleg nem fog szövetségi szinten választ kapni.