2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 06:19

A Steam kimondta: a Vampire Survivors műfaja hivatalosan Bullet Heaven

A Steam végre hivatalosan is nevet adott annak a játékműfajnak, amely a Vampire Survivors elsöprő sikerével az utóbbi évek egyik legnépszerűbb PC-irányzata lett...

MA 06:06

Történelmi események a mai napon (Május 19.)

Mai időutazás: VIII. Henrik felesége, Anne Boleyn kivégzése, Atatürk partraszállása Samsunban és a Mars 2 indítása egyszerre rajzolja ki a hatalom, a függetlenség és az űrkorszak ívét...

hétfő 21:12

A Discord nagy dobása a Steam Decken, de jön a korellenőrzés?

🚀 Ez a jelenség jól illusztrálható azzal, hogy a Discord Linuxra kiadott legújabb frissítése radikális változásokat hozott a játékosok számára...

hétfő 20:56

A szülésbe majdnem belehalt – Hayden Panettiere megrázó vallomása

Hayden Panettiere új memoárjában őszintén beszél élete egyik legnehezebb időszakáról, amikor kislánya, Kaya születése életveszélyes szövődményekhez vezetett...

hétfő 20:12

A gyilkossági ítéletek eltörlése után Alex Murdaugh beperli a bírósági jegyzőt

Első pillantásra úgy tűnt, hogy Alex Murdaugh számára végre megcsillant a remény, amikor a Legfelsőbb Bíróság hatályon kívül helyezte a kettős gyilkosság miatti elítélését...

hétfő 19:34

A Bitcoin ATM-óriás bedőlt: a szabályozás tette padlóra

💸 Kezdetben a 2016-ban alapított Bitcoin Depot volt Észak-Amerika legnagyobb bitcoin-ATM-hálózatának üzemeltetője, de most a georgiai székhelyű vállalat önkéntes csődeljárást indított...

hétfő 19:02

Az új Fekete Zászló-jelenetek súlyt adnak Edward Kenway belső harcának

Matt Ryan, Edward Kenway megformálója, majdnem tizennégy év elteltével visszatér az Assassin’s Creed IV: Fekete Zászló – Újraszinkronizálva (Assassin’s Creed IV: Black Flag – Resynced) felújított változatához, amelyben nemcsak a technikai újítások, hanem bővített történeti tartalom is várja a játékosokat...

hétfő 18:56

A történelem legnagyobb rakétáját elszabadítja Elon Musk, űrbeli hazárdjáték

🚀 Elon Musk minden korábbinál nagyobb űrrakétával készül új fejezetet nyitni az űrutazás történetében...

hétfő 18:34

Az okostávcső, amely 10 ezer madárfajt ismer fel, 4K videóval, 30x zoommal

Kezdetben a távcsövek világa szinte változatlan maradt: megszokhattuk a súlyos, de nagy nagyítást kínáló készülékeket, amelyekhez, ha fényképezni is akartunk, bonyolult adapterre és külön kamerára volt szükség...

hétfő 18:02

A néhány napja felfedezett aszteroida hajszál híján elkerüli a Földet

Április 13-án egy nagyjából 15–30 méter átmérőjű aszteroida száguld el a Föld mellett, alig 91 593 kilométeres távolságra...

hétfő 17:56

A kullancscsípések berobbantak: megteltek a sürgősségi osztályok – térképen a gócpontok

Az idei tavasz szokatlanul meleg időjárása miatt soha nem látott mértékben ugrott meg a kullancscsípések száma, főként az USA északkeleti és középnyugati régióiban...

hétfő 17:23

Az egész ország egy évig ingyen kapja a ChatGPT Plust

Ez azt jelenti, hogy a Földközi-tenger közepén fekvő máltai sziget minden lakója egy évig ingyen használhatja a ChatGPT Plus-t...

hétfő 16:56

A kimchi segíthet kiüríteni a mikroműanyagokat a szervezetből

🥒 Jellemző példa erre, hogy a mindennapi étrend részeként fogyasztott fermentált ételek meglepő szerephez juthatnak a mikroműanyagok szervezetből való eltávolításában...

hétfő 16:34

A GTA V elsöprő sikerének titka: a közösségi élmény ereje

🔥 Több mint egy évtized telt el a Grand Theft Auto V (Grand Theft Auto V) megjelenése óta, de a játék népszerűsége továbbra is töretlen...

hétfő 16:23

A Standard Chartered felvásárolja a Zodia Custody megmaradt részesedését

💰 A Standard Chartered döntése értelmében teljes egészében megszerzi kriptovaluta-megőrzéssel foglalkozó leányvállalatát, a Zodia Custody-t...

hétfő 16:12

Az Ebola visszatért: világméretű versenyfutás, az USA hazatelepít néhány állampolgárt

😷 Ekkor derült fény arra, ami addig rejtve maradt: az Ebola-járvány ismét felütötte a fejét a Kongói Demokratikus Köztársaságban (KDK) és Ugandában, ahol már több száz embert fertőzött meg, és száznál is több gyanús halálesethez vezetett...

hétfő 15:45

Az álörökösnő visszatér: Anna Delvey memoárt és dokumentumfilmet forgat

Anna Delvey, polgári nevén Anna Sorokin, most először saját szemszögéből meséli el életét, hiszen memoárt és a hozzá kapcsolódó dokumentumfilmet készít...

hétfő 15:24

A Keychron K2 HE Concrete Edition: látványos dizájn, prémium ár – megéri?

💪 Különösen említést érdemel, hogy a Keychron K2 HE Concrete Edition egyszerre impozáns, extravagáns és erőteljes gaming billentyűzet, amely azonnal magára vonja a figyelmet...

hétfő 15:12

A Lego Batman: A Sötét Lovag öröksége legókockák közt

👑 A Lego Batman: Legacy of the Dark Knight a DC-univerzum rajongóit igyekszik elcsábítani egy olyan kalanddal, amely egyszerre nosztalgikus és friss...

hétfő 15:02

A Windows 11 Start menüje, tálcája végre fejlődik, de nem erre vágyom

😐 A Windows 11 mostantól régóta várt funkciókkal bővül, amelyek jelentősen javítják a felhasználói élményt...

hétfő 14:56

Az ex-Google-vezért kifütyülték: stadionnyi diák az MI-beszéd ellen

Több ezer diák gyűlt össze a Casino Del Sol Stadionban, ahol Eric Schmidt, a Google egykori vezérigazgatója tartott beszédet a technológia világhódításáról...

hétfő 14:34

Az AMD technológiája eltünteti az első indítási akadásokat – csak néhány játékban

Érdemes megvizsgálni, mennyit változott a játékélmény azzal, hogy az Advanced Shader Delivery technológia megérkezett az AMD legújabb videokártyáira...

hétfő 14:23

A Schrödinger-óra: az idő egyszerre gyorsul és lassul?

Kevés fogalom olyan rejtélyes és sokat vitatott, mint maga az idő...

hétfő 14:01

A dauniai kyathos: pancsolás, mámor és egy kigúvadt szemű fickó

Dél-Olaszországban, évszázadokkal a római hódítás előtt, a daunok különleges kerámiákat és sírköveket alkottak, melyek máig őrzik misztikus kultúrájuk emlékét...

hétfő 13:56

A tudósok szerint végre megfejtették az emberi jobbkezesség rejtélyét

Az emberiség egyik legizgalmasabb evolúciós rejtélye kapott új magyarázatot: miért használják az emberek ilyen elsöprő többségben a jobb kezüket?..

hétfő 13:45

Az audiofil álom: egyedi, kilenc meghajtós, karbon fülmonitorok hárommillióért

🎧 Felmerül a kérdés, hogy mennyi pénzt hajlandó fizetni valaki a lehető legjobb zenei élményért...

hétfő 13:34

A Google I/O előtt a Wear OS 7-nek öt ütős újítás kell

👍 Az okosórák világa folyamatosan fejlődik, és a Google nem dőlhet hátra: a Wear OS 7 már a küszöbön áll, miközben a Garmin és az Apple Watch is minden eddiginél erősebb versenytársak...

hétfő 13:01

A hatvan éve kihaltnak hitt ausztrál növény váratlanul visszatért

Egy véletlen, a vadonban készült fotó egészen új fejezetet nyitott a természetkutatásban: Ausztrália eldugott északi részén újra előkerült egy olyan növény, amelyet 1967 óta mindenki kihaltnak hitt...

hétfő 12:57

Az igazi Disco Elysium-utód, amely magasra teszi a lécet

Zero Parades: For Dead Spies képes arra, amire nagyon kevés kortárs szerepjáték mer vállalkozni: finom részletességgel vizsgálja az emberi természetet és a politikai filozófiát, miközben bátran feszegeti a klasszikus CRPG-formulát...