2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 15:56

Az állam bekeményít: Hollandia lecseréli a GitHubot

🖥 A holland kormány bejelentette, hogy elindította saját, önhosztolt Git-platformját code.overheid.nl néven, amelynek célja, hogy csökkentse a függőséget az amerikai technológiai óriásoktól, például a Microsoft tulajdonában lévő GitHubtól...

MA 15:45

Az ingyenes WordPress-bővítmény, amellyel milliárdokat spórolhatsz

A mesterséges intelligencia mind több weboldalt böngész át, ám ezek az oldalak még mindig embereknek készülnek, tele felesleges részletekkel, amelyeket a gépek úgyis figyelmen kívül hagynak...

MA 15:23

Az új Nikon kompakt hihetetlenül kicsi – de miért nincs keresője?

📷 A Nikon egy újabb, fix objektíves, full-frame szenzoros kompaktgépen dolgozik, amely a pletykák szerint a Fujifilm X100VI, a Ricoh GR IV, a Sony RX1R III és a Leica Q3 vetélytársaként lépne piacra...

MA 15:12

A Netflix első nagy mozifilmje: Narnia meghódítja a vásznakat

🎬 A Netflix története során először döntött úgy, hogy nagyszabású mozibemutatót tart, mielőtt az új film elérhető lesz a streaming platformján...

MA 14:45

A Kingstown polgármestere: közeleg a mindent eldöntő finálé

Jeremy Renner újra belebújik Mike McLusky bőrébe, hogy a bűn és a rendőri erőszak uralta Kingstownban egyensúlyozzon a törvény és a bűnözői alvilág között...

MA 14:34

Az univerzum vége közelebb lehet, mint hinnéd?

Többek között egy elképesztően kockázatos magzati műtét, egy adatbázist 9 másodperc alatt eltüntető MI-ügynök és az univerzum vártnál korábbi pusztulásának lehetősége borzolták a tudományos világot a héten...

MA 14:24

Az új Marathon visszatér a klasszikus FPS-gyökerekhez

A Dire Marsh biokutató-laborjának sötét bugyraiban feltűnő, világító, rózsaszín graffitit találunk: THAKGODITSYOU, mindig kicsit másképp, vibrálóan ismétlődve a veszélyek között...

MA 13:24

Az örök riválisok: miben különbözik az oroszlán és a tigris?

Ez a jelenség jól illusztrálható azzal, hogy sokan elsőként a tigris csíkos bundáját és az oroszlán sörényét hozzák fel, ha a két nagymacska különbségeiről esik szó...

MA 13:12

Az új Bitcoin-láz és a csúcsdöntögető S&P 500

📈 A bitcoin árfolyama rövid, iráni hírek okozta megtorpanás után újra magára talált: szombat reggel már 78 000 dollár, vagyis közel 28 millió forint fölött járt Ázsiában...

MA 12:56

Az új törvény elkaszálja a bankok stabilcoin-jutalmait?

Napvilágot látott a Digital Asset Market Clarity Act (Digitális Eszközpiac Átláthatósági Törvény) friss szövege, amely jelentősen átalakítja a stabilcoinokkal kapcsolatos szabályozást az Egyesült Államokban...

MA 12:46

A hét, amikor közelebb jött a jövő: MI, hajlítható mobilok, repülő taxik

Az elmúlt hét sok izgalmat hozott a tech világában, alaposan felborítva az eddigi elképzeléseket arról, mit tartogat számunkra a digitális innováció...

MA 12:34

A Spirit Airlines kora lejárt – búcsú az olcsó repülésnek

A Spirit Airlines 34 év után végleg lehúzta a rolót. A jellegzetes sárga gépeket üzemeltető, ultraolcsó légitársaság minden járatát azonnali hatállyal leállította, és a mintegy 17 000 dolgozó munkaviszonya is megszűnt...

MA 12:23

Az Apple Watch rejtett futófunkciója, amit még te sem használsz

Egy szabadtéri futópályán futni igazi próbája az állóképességnek és a kitartásnak...

MA 10:36

Az új kvantumötlet: Satoshi mozdítás nélkül igazolhatja bitcoinjai feletti kontrollját

A Bitcoin jövője körül számos kérdés merült fel a kvantumszámítógépek megjelenésével kapcsolatban, hiszen ezek az új gépek könnyen megfejthetik a régi típusú bitcointárcák nyilvános kulcsait...

MA 10:29

Az év meccse: Inoue és Nakatani mindent eldöntenek Tokióban

🥊 A hétvégén a tokiói Tokyo Dome ad otthont az év egyik legizgalmasabb bokszmeccsének, ahol Naoya Inoue és Junto Nakatani feszül egymásnak az egyesített szuperharmatsúlyú világbajnoki címekért...

MA 10:22

Az Apple asztali trónjáért: Mac Studio M2 vagy iMac M4?

💻 Apple hosszú évek óta erős szereplője az asztali számítógépek piacának kifinomult formatervezéssel és erős hardverrel, különösen az M-sorozatú chipeknek köszönhetően...

APP
MA 09:11

APPok, Amik Ingyenesek MA, 5/2

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Waltz of the Wizard (iPhone/iPad)A Waltz of the Wizard egy fizika alapú, első személyű varázslószimulátor, amely klasszikus fantasy élményt kínál...

MA 08:36

A MI-keretek bukása: mi váltja a LlamaIndexet?

🤖 Az utóbbi években a fejlesztőknek még komoly infrastruktúrára volt szükségük ahhoz, hogy nagyméretű nyelvi modelleket (LLM) működtessenek: indexelés, lekérdezőmotorok, adat-visszakeresést végző folyamatok és aprólékosan vezérelt feladatsorok tartották életben a rendszereket...

MA 08:29

Az emberi test sorsa: temetés vagy hamvasztás?

Amerika egyik legismertebb tudósa, Neil deGrasse Tyson asztrofizikus saját temetkezési terveiről fejtette ki, mi történik velünk halálunk után – és miért a hagyományos temetkezést részesíti előnyben a hamvasztással szemben...

MA 08:22

Az Erő veled van: turbózd fel Secretlab gamerkuckódat a Csillagok háborúja-napon

Ha már unod, hogy a széked csak egy unalmas bútordarab, ideje fénysebességre kapcsolni!..

MA 08:01

Az MI-keretrendszerek forradalma: az angol lett a programozás nyelve

A fejlesztők által használt MI-keretrendszerek drasztikusan átalakulnak. A bonyolult programozói környezetek visszaszorulnak, helyüket egyre inkább átlátható, hatékony és természetes nyelvű megoldások veszik át...

MA 07:56

Az Ethereum Alapítvány ismét 10 000 ETH-t dobott piacra

Felmerül a kérdés, hogy mi áll az Ethereum Alapítvány legújabb eladása mögött...

MA 07:49

Az AIMCo óriásit kaszált: 25 milliárd egy bitcoinos húzással

Az Alberta Investment Management Corporation (AIMCo), Kanada egyik óriásnyugdíjalapja, nagyot lépett: idén év elején 1 382 000 darab MSTR-részvényt (MicroStrategy) vásárolt, összesen 62,6 milliárd forintért (172,5 millió dollár)...

MA 07:43

A HESK-kel az online ügyfélszolgálat pofonegyszerű – lépésről lépésre

Az online ügyfélszolgálati rendszerek ma már nem kizárólag a nagyvállalatok kiváltságai...

MA 07:29

A bitcoin valódi története, amire senki sem számított

💸 Az utóbbi években elképesztően vad ötletek láttak napvilágot arról, hogy mi is lehet valójában a bitcoin...

MA 07:22

A Blizzard végre leszámol a brutális barbár-buggal a Diablo IV-ben

Újabb, a játékmenetet megtörő hibát kellett kezelnie a Blizzardnak a Diablo IV-ben (Diablo 4): a Limitless Rage nevű legendás tárgy aspektusa túlzottan hatékonynak bizonyult, ezért a fejlesztők gyorsan letiltották a használatát...

MA 07:14

Végre nem ránk szabják az MI-t: itt a Salesforce áttörése

A nagyvállalati MI bevezetése eddig sokszor megrekedt, mert a háttérrendszerek egyszerűen nem voltak felkészítve arra, hogy ügynökalapú munkavégzést támogassanak...

MA 07:08

A mesterséges intelligencia alapjaiban tátong a rés: 200 ezer MCP-szerver veszélyben

⚠ Senki sem gondolta volna, hogy a legmodernebb MI-alkalmazások mögött rejlő infrastruktúra ekkora biztonsági rést hordoz magában...

MA 07:01

A vadnyugat idei szenzációja: robotcowboyok tombolnak, de valami mégis hiányzik

🤠 A Far Far West meglepetéssikert aratott a Steamen: a vadnyugati, többjátékos robotcowboy-lövöldözős játék mindössze két nap alatt 250 ezres eladást produkált világszerte...