Lényeges szempont, hogy van-e elég tárgyi tudás
A Würzburgi Egyetem Fizikai Kémiai Tanszékének kutatói egy speciális eszközt, az UTQA-t (Alapszintű Termodinamika Kérdés-válasz – Undergraduate Thermodynamics Question Answering) fejlesztették ki, amely ingyenesen elérhető. Az UTQA ötven, gondosan összeállított, feleletválasztós termodinamikai feladattal vizsgálja, mennyire képesek az MI-alapú modellek nemcsak adatokat visszamondani, hanem összefüggéseket felismerni, illetve összetett folyamatokat megérteni. A cél: fair, átlátható mérési lehetőség biztosítása tanárok és kutatók számára.
Mégis látványos a fejlődés, de akadnak buktatók
A kutatók 2023 óta hetente tesztelik a modelleket (például ChatGPT-3.5, GPT-4) több száz hallgatón. Az eredmények vegyesek: bár vannak területek, ahol az MI erős, a kritikus kérdésekben rendre elbukik. A modellek átlagosan 82%-os pontosságot értek el az UTQA-val, miközben a kutatók szerint legalább 95%-ra lenne szükség ahhoz, hogy önállóan, felügyelet nélkül is használhatók legyenek MI-tanárként.
Két fő gyenge pont van: az MI modellek leginkább az irreverzibilis folyamatok (ahol a folyamat sebessége számít) kérdéseiben bizonytalanodnak el, illetve abban, amikor ábrákat kellene értelmezniük. Ez utóbbi nem meglepő, hiszen a képértelmezés az emberi gondolkodás egyik legnehezebben automatizálható területe.
Ebből kifolyólag még várni kell a robottanárra
A modellek felügyelettel akár már most is hasznosak lehetnek az oktatásban, de önálló MI-tanárként még nem megbízhatóak. Ugyanakkor gyors az előrelépés: ha a fejlődés nem torpan meg, hamarosan elérhetik az elvárt szintet. Kiemelendő, hogy a projektben két tanárszakos diák is fontos szerepet kapott: Luca-Sophie Bien állította össze a német feladatsort, Anna Geiler pedig nemzetközi felhasználásra fordította és bővítette azt.
Miért pont a termodinamika?
Ez a terület ideális, mert alapvető törvényei vannak, ugyanakkor igazi gondolkodást igényel, nem csupán memorizálást. Nehézségét jól mutatja, hogy már száz évvel ezelőtt is Pierre Duhem kiemelte az irreverzibilitás problémáját. Egyelőre még az emberi tanítási érzék viszi a prímet, de egyre közelebb kerülünk ahhoz, hogy az MI multimodális módon – szöveget és képet is összekapcsolva – megbízhatóan segíthessen.
