2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 06:49

Az Nvidia-részvények történelmi hozamot hozhatnak a mostani árakon

Kevesen mondanák azt, hogy az Nvidia részvénye olcsó, pedig valójában ez a helyzet...

MA 06:41

A pókselyem titka: így lesz erősebb az acélnál

🕷 A tudósok feltárták azt a molekuláris titkot, amely a pókselymet acélnál erősebbé teszi, és új utakat nyit a jövő anyagai, valamint az agybetegségek megértése felé...

MA 06:32

A nagy techcégek atomenergia-üzletei mindent megváltoztathatnak

A Fortune szerint az atomenergia újjászületése folyamatban van, ezúttal a mesterséges intelligencia energiaigényének kielégítésére...

MA 06:25

Ingatlanpiaci elemzés: hol kerülnek egyre jobb helyzetbe a vevők?

🏘️ Az ingatlanárak alakulásának megértéséhez kulcsfontosságú az aktív kínálat és a készlet hónapjainak figyelemmel kísérése...

MA 06:16

A bitcoin-befektetők visszatértek: széles körű felvásárlási hullám indult

📈 A Glassnode adatai szerint február elején, amikor a bitcoin 29 millió forint körül forgott, a nagy befektetők elkezdtek pozíciót építeni...

MA 06:05

Történelmi események a mai napon (Február 8.)

Mi történt ezen a napon a történelemben? Ezen a napon kivégzik Mary, Queen of Scots-ot (Skóciai Mária királynőt), Japán megszállja Szingapúrt, és elindul a NASDAQ tőzsdeindex...

MA 06:02

A mesterséges intelligencia több mellrákot szúr ki, mint a radiológusok

🔬 Egy úttörő klinikai vizsgálat kimutatta, hogy az MI-támogatott mammográfia több rákos megbetegedést képes felismerni, és korábban, mint a hagyományos vizsgálat...

szombat 20:37

A COVID és a H1N1 két hét alatt söpört végig Amerikán

🦠 Egy új kutatás megdöbbentő sebességet tárt fel, amivel a H1N1 és a COVID-19 elterjedt az amerikai városokban...

szombat 20:01

A NASA február 11-én indítja útnak a Crew-12 legénységét a Nemzetközi Űrállomásra

🚀 A Crew-12 űrhajósai február 11-én indulnak a Nemzetközi Űrállomásra, csatlakozva a fedélzeten maradt három űrutazóhoz, miután az előző missziót egészségügyi okokból lerövidítették...

szombat 19:55

A BridgePay elleni zsarolóvírus-támadás országos fizetési káoszt okozott

Az egyik legnagyobb amerikai fizetésiátjáró-szolgáltató, a BridgePay ransomware-támadás áldozata lett, ami kulcsfontosságú rendszereit tette elérhetetlenné, és országos kiesést okozott...

szombat 19:37

A Bitcoin 70 000 dollár alá zuhant a piaci pánik közepette

💸 A Bitcoin 60 000 dollár közeléből körülbelül 69 000 dollárra tért magához, miután gyakorlatilag visszaadta azokat a nyereségeket, amelyeket Donald Trump 2024...

szombat 19:19

Az új AirTag, a Nex Playground és az MSI Prestige: a hét legizgalmasabb tesztjei

🏷️ Ebből következően érdemes megérteni, hogy február kellős közepén jócskán volt dolga az Engadget tesztelőinek...

szombat 19:02

Harcosi felszereléssel temettek el angolszász gyerekeket Nagy-Britanniában

Régészek angolszász gyerekeket fedeztek fel, akiket lándzsával, pajzzsal és csatokkal temettek el – olyan felszereléssel, amely általában harcosok sírjaiban található...

szombat 18:56

A telefotoextenderek az Android világ legizgalmasabb újítása

📱 Korábban minden kirándulásomra magammal vittem a megbízható Nikon DSLR fényképezőgépemet. Felejthetetlenül szép pillanatokat örökítettem meg a kit objektívvel és a 70-300 mm-es zoomobjektívvel, de mindig sajnáltam, hogy az utóbbi mennyire sok helyet foglal...

szombat 18:37

A Samsung rejtett hangfunkciója, aminek minden telefonban ott kellene lennie

A modern Samsung telefonok rengeteg funkcióval vannak tele, több mint bármely más Android márka...

szombat 18:18

Az új AirTag megment, ha örökké elveszíted a kulcsod

🔑 Az ADHD-val küzdők álma a második generációs AirTag. A hangosabb sípolás és a megnövelt hatótáv életmentő lehet azoknak, akik soha nem emlékeznek, hová tették a kulcsukat...

szombat 17:38

A QNAP TS-h1290FX 25 gigabites szörnyet szabadít el 12 SSD-vel

Tavaly év végén bemutattuk, hogyan építettük stúdiónkat a QNAP TS-h1290FX köré...

szombat 16:56

A technológiai óriások idén 217 billió forintot önthetnek mesterséges intelligenciába

🤖 A Google, az Amazon, a Microsoft és a Meta együttesen közel 217 billió forintot (700 milliárd dollárt) szánhat idén mesterségesintelligencia-fejlesztésekre...

szombat 16:37

A Super Bowl rejtett veszélye: szívrohamot kaphatunk a kanapén

A nagy sporteseményekhez, mint a Super Bowl, rejtett egészségügyi kockázatok társulnak...

szombat 16:21

Ezért törlik tömegesen a fiatalok a közösségi médiát – és mit csinálnak helyette

📱 A 23 éves Matt Richards ügyfélmenedzser tavaly törölte az összes közösségimédia-alkalmazást a telefonjáról, és meglepődött, amikor felfedezte, hogy az élete jobbra fordult...

szombat 16:01

Gyógyítja a skizofréniát a ketogén diéta? RFK Jr. meglepő kijelentése hullámokat vert

🧠 Megvizsgálandó, hogy Robert F. Kennedy Jr., az amerikai egészségügyi és humánszolgáltatási miniszter állítása, miszerint a magas zsírtartalmú, alacsony szénhidráttartalmú étrend meggyógyíthat bizonyos pszichiátriai betegségeket, mennyire tartható...

szombat 15:57

A szivacs vagy a fésűsmedúza volt az első állat? A vita nem csitul

Csaknem két évtizede dúl a vita a tudósok körében: a szivacsok vagy a fésűsmedúzák jelentették-e az első állati vonalat...

szombat 15:01

A térdei árulták el: ennyi volt Lindsey Vonn számára az elit síelés ára

A 41 éves olimpiai aranyérmes síelő, Lindsey Vonn valóságos fiziológiai csoda...

szombat 14:56

A napelem- és szélenergia-forradalom, amit már semmi sem állíthat meg

⚡ 2025-ben a napelem és a szélenergia először múlta felül a szenet mint globális energiaforrást...

szombat 14:37

A Webb-űrteleszkóp megtalálta a valaha látott legnagyobb sötétanyag-struktúrát

A James Webb Űrteleszkóp segítségével a csillagászok feltérképezték az univerzum sötét anyagának eddigi legnagyobb szakaszát, elmélyítve ezzel a titokzatos anyag kozmikus tájat formáló szerepének megértését...

szombat 14:19

Miért volt ennyire vacak a PlayStation 3D-s grafikája?

🎮 Bár gyakran egybemossuk a retro játékkonzolokat, az első 3D-s grafikai rendszerek, mint a Nintendo 64 és a Sony PlayStation, vizuálisan markánsan különböztek egymástól...

szombat 14:03

A tartalomgyártók új kedvence: DJI Power 1000 V2

A korábban csak drónjairól ismert DJI mára sokkal több lett, mint egy dróngyártó...

szombat 13:55

Az ősi ráncos mintázatok felkavarják az élet eredetéről alkotott képet

Lenyűgöző, több mint 180 millió éves ősi nyomokat fedeztek fel Marokkó Közép-Atlasz-hegységében, amelyek új fejezetet nyithatnak az élet eredetének kutatásában...

szombat 13:19

A mesterséges intelligenciás hollywoodi filmek egymás után elhasalnak

Az utóbbi években Hollywood mindent feltett az MI-re, de látványosan pórul járt...