Emberi minőség kontra MI-megoldás
A kísérlet során 2023 decembere és 2024 decembere között hetente legfeljebb két, kifejezetten nehéz tudományos közleményt választottak ki, hogy azokat három, különböző részletességű MI-prompt segítségével foglaltassák össze a ChatGPT-vel. Ezek között voltak úttörő felfedezések, vitatott témák, technikai zsargonnal teli írások és embereken végzett kutatások is. A kivonatokat a szokásos, tapasztalt SciPak szerzők értékelték — kvantitatív és kvalitatív módszerekkel is.
Fontos szempont, hogy a mérések szerint az MI-vel készült összefoglalók gyakran feláldozták a pontosságot az egyszerűségért, és számos ténybeli hibát, valamint téves következtetést tartalmaztak. Bár a stílus néha hasonlított a szerkesztőségi írásokéhoz, a tartalom megbízhatósága messze elmaradt a kívánalmaktól. Ezzel szemben az emberi szerzők összefoglalói jóval kiegyensúlyozottabbak és alaposabbak voltak.
Az MI hiányosságai
A kísérlet során összesen 64 szakcikk rövid összefoglalóját hasonlították össze a szerkesztők. A leggyakoribb hibák közé tartozott, hogy a ChatGPT gyakran összekeverte az ok-okozati összefüggéseket a véletlenszerű egybeesésekkel, nem adott elég kontextust, vagy túlértékelte az eredmények jelentőségét — például túl gyakran nevezett valamit világviszonylatban újnak vagy áttörőnek. Ráadásul a tényszerű pontatlanságok javítása ugyanannyi, ha nem több emberi munkát igényelt, mint egy teljesen új összefoglaló megírása.
A pontszámok sem voltak meggyőzőek: átlagosan 2,26-ot és 2,14-et kaptak az 5 pontos skálán, ahol az 1 jelentette a teljesen alkalmatlant, míg az 5 a tökéletességet. Mindössze egy összefoglaló kapott maximális értékelést; ezzel szemben harmincszor is a legutolsó helyre sorolták az MI munkáit.
Még nincs MI-forradalom a tudományos újságírásban
Összességében kijelenthető, hogy a ChatGPT jelenlegi változatai nem érik el azt a szakmai színvonalat, amelyet akár egy szerkesztett SciPak hírszemlétől elvárnánk. Bár ígéretes segédeszközök lehetnek egyszerűbb feladatokhoz vagy vázlatíráshoz, tényleges szerkesztett tartalom létrehozásához a súlyos tényellenőrzési igény miatt továbbra is nélkülözhetetlen az emberi szakértelem. Az AAAS szakértői szerint csak akkor érdemes újra próbálkozni ezzel, ha a ChatGPT egy jelentős, minőségi frissítésen esik át.
