Délibáb a diagnózisban – amikor az MI látni vél valamit
Az MI-rendszereknél ismert jelenség, hogy egyes modellek hajlamosak „hallucinálni”: akár valótlan forrásokra is hivatkozhatnak esszéírás közben. Ez az új tanulmány viszont bemutatta, hogy a különféle szakterületeken alkalmazott modellek nem egyszerűen pontatlanok, hanem gyakran egészen új, létezőnek tűnő képi világot teremtenek. A kutatók ezt a hatást „délibábnak” (mirage) nevezték el.
A kísérlet során tizenkét MI-modellnek adtak fel feladatokat, például azt a szöveges utasítást, hogy azonosítsa a hisztológiai metszetben látható szövettípust. Volt, amikor ténylegesen elküldték a képet, máskor nem. Ilyenkor a modellek egy része jelezte a kép hiányát, viszont a legtöbbször úgy tettek, mintha látták volna a képet: részletes leírást és diagnózist is adtak – nem létező információ alapján.
Mindenütt jelen lévő hiba, főleg az orvosi döntésekben veszélyes
A kutatás húsz szakterületet vizsgált – madárhatározástól műholdképeken át az orvosi leletekig –, a „délibábhatás” mindenhol megjelent, de leginkább az egészségügyben volt kirívó. Amikor például agyi MRI-felvételről, mellkasi röntgenről vagy patológiai metszetről kérdezték az MI-modellt, de tényleges képet nem kapott, rendkívül magabiztos, részletes „diagnózist” közölt. Ezek a válaszok sokszor olyan betegségekre utaltak, amelyek azonnali orvosi beavatkozást indokolnának. Bár az MI gyakran pontosan dolgozik, ebben az „álommódban” túldiagnosztizál és felesleges aggodalmat kelt.
Miért lát az MI olyat is, ami nincs?
Az MI-modellek hatalmas szöveges és képes adatbázisokon tanulnak, és úgy tervezik, hogy a legrövidebb úton válaszoljanak bármilyen kérdésre. Néha azonban túlzottan is támaszkodnak a kérdés szövegkörnyezetére, kép nélkül is. Az is előfordul, hogy a tesztekhez vagy feladatlapokhoz ugyanazokon az adatokon tanulnak, amelyeken aztán dolgozniuk kell. Így lehet, hogy nem igazi képelemzésből, hanem tanult szövegek alapján adnak választ.
Ez azért is gond, mert még a kiemelkedő teszteredmények mellett sem lehet tudni, hogy valóban képalapú elemzéssel jutottak-e a válaszhoz. Sőt, ha egy adott kép hiányzik vagy sérült, az MI-modell erről nem szól, mégis gyárt egy valósághű magyarázatot. Ez a meggyőző, magabiztos stílus tovább növeli annak veszélyét, hogy laikusok és szakemberek egyaránt vakon bíznak a gép válaszaiban.
Hol a határ? – Szükség van új értékelési módszerekre
Az MI-vel dolgozó vállalatok igyekeznek szabályokat bevezetni az „álleletek” ellen, de az eddigi védőhálók sem képesek teljesen megelőzni a délibábhatást. A kutatók szerint elengedhetetlen, hogy a jövőben olyan tesztrendszereket fejlesszünk ki, amelyek képesek megkülönböztetni a valódi, képalapú elemzést a puszta szövegkiegészítéstől.
Mindezt figyelembe véve az MI orvosi alkalmazása izgalmas lehetőségeket rejt, ám jelenleg még mindig fontos, hogy emberi szakértelemmel ellenőrizzük a „gép” válaszait. Az MI valóban felfedezhet olyan részleteket, amelyeket az emberi szem nem vesz észre – de a teljes bizalom még várat magára.
