Még mindig gyengén teljesít az MI, ha tudományos cikkeket kell összefoglalni
A tudományos újságírás egyik legnagyobb kihívása, hogy a bonyolult kutatási eredményeket közérthetően, mégis pontosan adja át a nagyközönség számára. Bár az utóbbi évek MI-fejlesztései, például a ChatGPT, ígéretes lehetőségeket kínálnak az ilyen összefoglalók készítésében, a valóságban ezek a rendszerek még messze elmaradnak az elvárható szinttől. Az Amerikai Tudományos Fejlesztési Szövetség (AAAS) ezért egy éven át vizsgálta, hogyan teljesít a ChatGPT a Science magazinban gyakran megjelenő tömörített hírszemlék írásában.
Emberi minőség kontra MI-megoldás
A kísérlet során 2023 decembere és 2024 decembere között hetente legfeljebb két, kifejezetten nehéz tudományos közleményt választottak ki, hogy azokat három, különböző részletességű MI-prompt segítségével foglaltassák össze a ChatGPT-vel. Ezek között voltak úttörő felfedezések, vitatott témák, technikai zsargonnal teli írások és embereken végzett kutatások is. A kivonatokat a szokásos, tapasztalt SciPak szerzők értékelték — kvantitatív és kvalitatív módszerekkel is.
Fontos szempont, hogy a mérések szerint az MI-vel készült összefoglalók gyakran feláldozták a pontosságot az egyszerűségért, és számos ténybeli hibát, valamint téves következtetést tartalmaztak. Bár a stílus néha hasonlított a szerkesztőségi írásokéhoz, a tartalom megbízhatósága messze elmaradt a kívánalmaktól. Ezzel szemben az emberi szerzők összefoglalói jóval kiegyensúlyozottabbak és alaposabbak voltak.
Az MI hiányosságai
A kísérlet során összesen 64 szakcikk rövid összefoglalóját hasonlították össze a szerkesztők. A leggyakoribb hibák közé tartozott, hogy a ChatGPT gyakran összekeverte az ok-okozati összefüggéseket a véletlenszerű egybeesésekkel, nem adott elég kontextust, vagy túlértékelte az eredmények jelentőségét — például túl gyakran nevezett valamit világviszonylatban újnak vagy áttörőnek. Ráadásul a tényszerű pontatlanságok javítása ugyanannyi, ha nem több emberi munkát igényelt, mint egy teljesen új összefoglaló megírása.
A pontszámok sem voltak meggyőzőek: átlagosan 2,26-ot és 2,14-et kaptak az 5 pontos skálán, ahol az 1 jelentette a teljesen alkalmatlant, míg az 5 a tökéletességet. Mindössze egy összefoglaló kapott maximális értékelést; ezzel szemben harmincszor is a legutolsó helyre sorolták az MI munkáit.
Összességében kijelenthető, hogy a ChatGPT jelenlegi változatai nem érik el azt a szakmai színvonalat, amelyet akár egy szerkesztett SciPak hírszemlétől elvárnánk. Bár ígéretes segédeszközök lehetnek egyszerűbb feladatokhoz vagy vázlatíráshoz, tényleges szerkesztett tartalom létrehozásához a súlyos tényellenőrzési igény miatt továbbra is nélkülözhetetlen az emberi szakértelem. Az AAAS szakértői szerint csak akkor érdemes újra próbálkozni ezzel, ha a ChatGPT egy jelentős, minőségi frissítésen esik át.
2025, adminboss, arstechnica.com alapján
filózó
Te miért tartod fontosnak, hogy az információk pontosak legyenek?
Mit tennél, ha egy félrevezető összefoglalót olvasnál egy tudományos témáról?
Szerinted mikor lehet majd egy gép annyira megbízható, mint egy ember ilyen feladatban?
🧠 Erre utal többek között az, hogy azok a cukorbeteg páciensek, akik elsősorban azért esznek túl, mert csábító az étel látványa vagy illata, sokkal eredményesebben fogynak, és javítják vércukorszintjüket Ozempic (vagy ahhoz hasonló GLP-1-gyógyszer) szedése esetén, mint azok, akik inkább stressz vagy rossz hangulat miatt esznek...
📈 A PC-építés világa megrendült, az alaplapgyártók eladásai évtizedes mélyponton vannak. Nem elég, hogy folyamatosan drágul a memória, a közel-keleti háborús helyzet is árfelhajtó hatást gyakorol, így a saját gépet építők egyre kevésbé érzik érdemesnek új gépbe fektetni...
Egy új, vizes alapú akkumulátor minden eddiginél hosszabb élettartamot ígér, miközben teljesen biztonságosan kidobható a környezetbe: semmilyen mérgező anyagot nem tartalmaz...
🤖 A metaverzumról alkotott kép radikálisan átalakul. Yat Siu, az Animoca Brands elnöke szerint a jövő már nem az emberek VR-sisakos álomvilágába vezet, hanem a digitális háttérben dolgozó, önjáró MI-ügynököké...
🌐 Fontos kérdés, hogy a gyorsan változó világban mennyire számít még a hagyományos piackutatás, ha egyetlen TikTok-videó már világszerte trenddé emelhet egy márkát néhány óra alatt...
💳 Bitcoinnal foglalkozó nagyvállalatok ma már nem elsősorban az úttörő decentralizált pénzügyi megoldásokért lelkesednek, hanem az átláthatóságot, az egyértelmű szabályokat és a jól értelmezhető kockázatkezelést keresik...
Jellemző példa erre, hogy egy több mint 15 000 oldalból álló, kiterjedt hálózat hirdeti hamis MI-befektetési ajánlatait, és mindehhez népszerű hirdetéskövető szolgáltatásokat használ fel...
☕ Érdemes megvizsgálni, mennyire változtatja meg a reggeli kávéélményt a KitchenAid legújabb félautomata eszpresszógépe, amely egyszerre ötvözi a klasszikus dizájnt és a modern, letisztult kezelőfelületet...
💸 Az American Bitcoin, amely a Trump fivérekhez köthető, az első negyedévben jelentősen csökkentette a bitcoinbányászati költségeit: 23%-kal kevesebbet, mintegy 13,1 millió forintot (kb...
🎮 Érdemes megvizsgálni, milyen hatással lehet a klasszikus szerepjátékok világára, ha egy olyan ikonikus sorozat, mint a Wizardry, visszatér a piacra...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. DualShot Recorder (iPhone/iPad)A DualShot Recorder alkalmazás lehetővé teszi, hogy egyszerre függőleges és vízszintes videófelvételeket készíts...
Az egykori bányaváros, Cumberland, egykor szinte teljes egészében a szénbányászatra épült: generációkon át ez határozta meg a mindennapokat, több ezer embernek adott munkát, és évente millió tonna szenet küldtek innen a világ különböző pontjaira...
🤖 A technológia világát hosszú időn át a mobilalkalmazások uralták, ám most új korszak kezdődik: nemcsak a telefonodra, hanem a robotodra is letölthetsz programokat...
😱 Az interneten egyre jelentősebbé válnak az MI-ügynökök, és bizonyos jelek arra utalnak, hogy 2035-re már többen lesznek, mint a tényleges internethasználók...
Kezdetben az éjszakai égbolt viszonylagos sötétsége lehetővé tette, hogy a földi csillagászati műszerek soha nem látott részletességgel térképezhessék fel az univerzumot...
