2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 13:12

Az inkognitó nem elég: ezt látja az internetszolgáltatód, ez véd meg

Sokan hiszik, hogy a böngésző inkognitó módja valóban elrejti a netes szokásaikat mindenki elől...

MA 12:56

A Moody’s csúcsra értékelte a Fidelity és a BlackRock tokenizált pénzpiaci alapjait

💰 A Fidelity és a BlackRock tokenizált pénzpiaci alapjai mostantól a Moody’s legmagasabb, AAA-mf minősítésével büszkélkedhetnek...

MA 12:45

A tudósok ilyet még nem láttak: az 1945-ös atomrobbantás különleges kristályt szült

A második világháború végének hajnalán, 1945 júliusában az amerikai hadsereg és a tudósok felrobbantották a világ első atombombáját Új-Mexikó sivatagában...

MA 12:33

A jövő heti Trump-mobil rajtja sem állítja meg a zuhanó mémcoint

Senki sem várta volna, hogy Donald Trump hivatalos mémcoinja, a TRUMP-token, nagyot ugrik a népszerűsége attól, hogy végre elindul a Trump Mobile telefonjának, a T1-nek a kiszállítása...

MA 12:23

Az OpenAI lecserélte a GPT-4o-t, a rajongók óriáskijelzőn ünnepelnek a Times Square-ön

🎉 A mesterséges intelligencia világában ritkán tapasztalható olyan lelkesedés, mint amilyet a GPT-4o váltott ki...

MA 11:45

A Wrexham első Championship-idénye: hol nézhető online az 5. évad?

🏀 Május 14-én, amerikai idő szerint 21 órakor indul az ötödik évad, amelyet az Egyesült Államokban az FXX, a világ többi részén pedig a Disney+ sugározza...

MA 11:34

A kínai pénzlevelű növény leveleinek megdöbbentő matematikai titka

A kínai szerencsepálma (Pilea peperomioides) hosszú ideje népszerű szobanövény, de most újabb izgalmas titokra derült fény: a növény levelei magukban hordoznak egy rendkívül kifinomult, természetes geometriai rendszert, amellyel eddig főleg az informatikában, hálózatok tervezésében vagy a várostervezésben találkozhattunk...

MA 11:12

A légkör meglepő titka: a CO2 lehűti a felső rétegeket

🌓 Felmerül a kérdés, hogy miközben a Föld felszíne folyamatosan melegszik, bolygónk felsőbb légkörei éppen ellenkező irányba változnak: gyorsan hűlnek...

MA 10:55

Az ETF-ekből rekord 635 millió dollár távozott: mi lesz a bitcoin árával?

Az amerikai spot bitcoin ETF-ekből egyetlen nap alatt 226 milliárd forintnyi, azaz 635 millió dollár értékű tőkét vontak ki a befektetők – ez a legnagyobb egynapos kiáramlás január vége óta...

MA 10:47

Az új Dutton Ranch: Beth és Rip felszántják Texast

Beth Dutton és Rip Wheeler elszakadnak a megszokott világtól, és egy egészen új fejezetet nyitnak Texasban – messze az eddig jól ismert Yellowstone-tól...

MA 10:38

A halálos „vörös ég” napviharát ősi fák árulták el

Több mint nyolcszáz évvel ezelőtti óriási napvihar nyomaira bukkantak japán kutatók eltemetett fák gyűrűiben és középkori krónikákban...

MA 10:20

A Bungie feltolja a zsákmányt az első wipe előtt, Cryo Archive 24/7

📚 Sok játékos ismeri az érzést, amikor a lelkesedés alábbhagy: a kihívások egyre nehezebbek, a jutalmak pedig túl ritkán érkeznek...

MA 10:03

A Kongresszus forró májusa: adatbotránytól botránylavináig

Külön említést érdemel, hogy ismét súlyos adatvédelmi botrány borzolja a kedélyeket az Egyesült Államok Kongresszusában...

MA 09:55

Az Anthropic lehagyta az OpenAI-t – de három veszély fenyegeti

Az MI-versenyben drámai fordulat történt: az amerikai vállalatok többet költenek most az Anthropic termékére, a Claude-ra, mint a piacot eddig uraló OpenAI ChatGPT-jére...

MA 09:37

Az Amazon dolgozói mesterségesen pörgetik az MI-használatot a kvótákért

📈 Az Amazonnál egyre nagyobb a nyomás a dolgozókon, hogy minden héten használják az MI-t, akár akarják, akár nem...

MA 09:27

A japánok valódi eredete: óriási DNS-felfedezés átírja a történelmet

Évszázadokon át általános volt a nézet, hogy a japán lakosság elsősorban két ősi népcsoport, a szigetcsoportban évezredek óta élő Jomon vadászó-gyűjtögetők és a később keletről bevándorló, rizstermesztést és új technológiákat meghonosító közösségek leszármazottai...

MA 09:19

A Stardew Valley-ben nem lesz hűtlenség – Nagypapa nem örülne

🌾 A Stardew Valley rajongói között komoly hullámokat kavart, hogy vajon megjelenhet-e valaha a hűtlenség vagy a válás lehetősége a játékban...

APP
MA 09:12

APPok, Amik Ingyenesek MA, 5/14

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     War Mongrels (iPhone/iPad)A War Mongrels (röviden WM) egy izometrikus nézetű valós idejű taktikai játék, amely a második világháború keleti frontján játszódik...

MA 09:10

A Tejútrendszer felfalta a Loki nevű galaxist – megvannak a maradványai

💫 Több mint tízmilliárd évvel ezelőtt a Tejútrendszer nem arra az égre hasonlított, amit ma ismerünk...

MA 09:02

A Föld ősi szupernóvatörmeléken száguld – bizonyíték az antarktiszi jégben

Földünk egy évezredek óta porladó csillagrobbanás anyagfelhőjén halad keresztül, amelynek radioaktív vasnyomait most mélyen az antarktiszi jégben találták meg a kutatók...

MA 08:56

Az Anthropic visszahozza az OpenClaw-t és a külső ügynököket – de komoly kikötésekkel

🔔 Többek között izgalmas bejelentés rázta meg az MI-fejlesztők világát: ismét lehetőség van az OpenClaw és más, harmadik féltől származó autonóm MI-ügynökök használatára az Anthropic népszerű Claude-előfizetéseinek keretében...

MA 08:46

A 395 ezer dollárnyi bitcoin visszatér: Claude kiszabadítja a gép fogságából

🔑 Majdnem 140 millió forint értékű bitcoin ragadt egy régi számítógépen, de egy váratlan fordulat mindent megváltoztatott...

MA 08:37

A legfejlettebb MI nemcsak töröl, át is ír – és észrevétlenül hibázik

💡 Ahogy a nagy nyelvi modellek egyre okosabbá válnak, egyre többen bízzák rájuk tudásalapú feladatok elvégzését: a gép átnézi, rendszerezi, szerkeszti a dokumentumokat, majd leteszi elénk a kész eredményt...

MA 08:29

A mindennapi kávé 35%-kal csökkentheti a demencia esélyét

Amerikai kutatók több mint 130 000 egészségügyi dolgozót követtek 43 éven át, hogy felmérjék a kávé és tea hosszú távú hatásait az agy egészségére...

MA 08:19

A Warhammer 40,000: Mechanicus 2 jövő héten, a leleplezésekkel teli Skullson debütál

🥂 Erre utal többek között az, hogy a legendás Warhammer Skulls rendezvény idén nemcsak visszahozza a már megszokott izgalmakat, hanem váratlan meglepetéssel is szolgál: a nagy sikerű, körökre osztott taktikai játék, a Warhammer 40,000: Mechanicus 2 már május 21-én, a Skulls eseményén megjelenik...

MA 08:02

Az eddigi legnagyobb és legerősebb Starship indítására készül a SpaceX

🚀 Az űrhajózás történetében ritkán születik akkora izgalom, mint amikor egy vadonatúj, gigászi rakéta készül elhagyni a Földet...

MA 07:46

A Metaplanet halasztja az elsőbbségi részvények tőzsdei debütálását Japánban

A Metaplanet, amely Japán legnagyobb vállalati bitcoin-tulajdonosa és világviszonylatban is a harmadik legnagyobb bitcoin-vagyonkezelő, kénytelen elhalasztani a tervezett Mars és Mercury nevű örökjáradékos preferált részvényeinek tőzsdei bevezetését...

MA 07:38

Az óriás Sony 200–600 G OSS: csoda vagy kompromisszum?

📷 Különösen említést érdemel, hogy a Sony FE 200–600mm f/5.6–6.3 G OSS objektív új szintre emeli a természetfotózást: ha korábban akadály volt a nagy távolság vagy a váratlan mozgás, ezzel az objektívvel minden esélyed megnő az akció tökéletes elkapására...

MA 07:29

A Homo erectus genetikai anyagát először szekvenálták: mély genetikai kapcsolat velünk

🔬 Lényeges, hogy a 400 ezer éves Homo erectus-maradványok elemzése forradalmi áttörést hozott – most először sikerült genetikai anyagot szekvenálni ebből a fajból...