Amikor az MI orvosnak képzeli magát
“Az orvosi hallucinációk szakmai kifejezéseket használnak és logikusnak tűnő érvelést mutatnak be, ami megnehezíti felismerésüket szakértői vizsgálat nélkül” – írják a szerzők a “Medical Hallucinations in Foundation Models and Their Impact on Healthcare” című tanulmányukban, amelyben amellett érvelnek, hogy kármegelőzési stratégiákra van szükség.
A szerzők abból indulnak ki, hogy az óriási neurális hálózatok – amelyeket emberek munkáján és egyéb adatokon képeztek ki – olyan cégektől, mint az Anthropic, a Google, a Meta és az OpenAI, “jelentős lehetőségeket kínálnak a klinikai döntéstámogatás javításától az orvosi kutatás átalakításán át az egészségügyi minőség és biztonság javításáig”.
A hallucinációk típusai és azok gyakorisága
A tanulmányban bemutatott taxonómia a következő kategóriákat tartalmazza: tárgyi tévedések; elavult hivatkozások; téves korrelációk; kitalált források vagy irányelvek; és hiányos érvelési láncok.
A szerzők öt általános célú nyelvi modell – o1, gemini-2.0-flash-exp, gpt-4o, gemini-1.5-flash és claude-3.5 sonnet – klinikai érvelési képességeit értékelték három célzott feladaton: események időrendi rendezése; laboratóriumi adatok értelmezése; és differenciáldiagnózis-generálás. A modelleket 0-tól (nincs kockázat) 5-ig (katasztrofális) terjedő skálán értékelték.
Az eredmények vegyesek voltak: “A diagnózis-előrejelzés mutatta következetesen a legalacsonyabb hallucinációs arányt minden modell között, 0 és 22 százalék között mozogva. Ezzel szemben a pontos tárgyi emlékezetet és időbeli integrációt igénylő feladatok – időrendi rendezés (0,25-24,6 százalék) és laboratóriumi adatok megértése (0,25-18,7 százalék) – jelentősen magasabb hallucinációs gyakoriságot mutattak.”
Az orvosok meglepően bizakodóak
A kutatók 75 orvos körében végeztek felmérést az MI-eszközök használatáról. Úgy tűnik, nincs visszaút: “40-en naponta használták ezeket az eszközöket, 9-en hetente többször, 13-an havonta néhányszor, és 13-an jelentettek ritka vagy nulla használatot” – írja a tanulmány, hozzátéve, hogy 30 válaszadó magas szintű bizalmat fejezett ki az MI-modell kimenetei iránt.
A szkepticizmus hiánya a résztvevők 40 százalékánál annál is meglepőbb, mivel “91,8 százalékuk tapasztalt már orvosi hallucinációt a klinikai gyakorlatban”, és “84,7 százalékuk megfontolta, hogy az általuk tapasztalt hallucináció potenciálisan befolyásolhatja a beteg egészségét”.
Elgondolkodhatunk azon, vajon az újonnan felvett orvosi személyzet számára megengedett lenne-e a hallucinációra hajlamos MI-modellekéhez hasonló hibaarány.
Sürgősen szabályozásra van szükség
A kutatók azzal zárják tanulmányukat, hogy hangsúlyozzák a szabályozások sürgős szükségességét, valamint a hibákért viselt jogi felelősség tisztázását.
“Ha egy MI-modell félrevezető diagnosztikai információkat ad ki, felmerül a kérdés, hogy a felelősséget az MI-fejlesztőre kell-e hárítani a képzési adatok esetleges hiányosságai miatt, az egészségügyi szolgáltatóra az átláthatatlan kimenetekre való túlzott támaszkodás miatt, vagy az intézményre a nem megfelelő felügyelet miatt” – mondják a szerzők.
Tekintettel a jelenlegi amerikai adminisztráció szövetségi szintű MI-politikai iránymutatásának hiányára, a kutatók felhívása “etikai irányelvekre és robusztus keretrendszerekre a betegbiztonság és elszámoltathatóság biztosítása érdekében” valószínűleg nem fog szövetségi szinten választ kapni.
