2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 17:34

A csuklódon születik újjá a Game Boy Color

🕸 Felmerül a kérdés, kinek jutott már eszébe, milyen lenne, ha gyerekkori kedvenc játékkonzolját egyszerűen a csuklójára csatolhatná...

MA 17:12

Az újabb WoW-botrány: tényleg újra kéne kezdeni a játékot?

🎮 A Blizzard egykori elnöke, Mike Ybarra újra nagy port kavart, amikor egy nemrégiben kiadott, igencsak elhibázott World of Warcraft (WoW) frissítés után arról írt, hogy a játékot teljesen újra kellene indítani, különben folytatódik a lejtmenet...

MA 16:56

Az OpenAI új útra lép: hova tűnt a nagy vízió?

Felmerül a kérdés, hogy milyen jövőt álmodik magának az OpenAI, miután Sam Altman közzétette az „Alapelveink” című nyilatkozatát...

MA 16:45

Az Nvidia új AI-csodája: már az Intelre is fáj a foga

🤔 Az Nvidia és az Intel egyre szorosabbra fűzi a kapcsolatát: miután tavaly bejelentették, hogy közösen fejlesztenek új x86-os SoC-okat RTX GPU-chipletekkel, már úgy tűnik, hogy ezt is megfejelik még valamivel...

MA 16:34

A szemünk hihetetlen eredete egy ősi egyszemű lényig vezet

👀 Az emberi szem története rendkívül messzire, mintegy 600 millió évvel ezelőttre nyúlik vissza, ahol egy furcsa, egyszemű, féregszerű ős áll a középpontban...

MA 16:23

Az utolsók köztünk Online: egy elveszett legenda története

💀 Az Az utolsók köztünk Online (The Last of Us Online) törlése sok rajongónak csalódást okozott, hiszen szinte már kész volt, mégsem jelenhetett meg...

MA 16:01

Az intézményi pénz visszatért: újra szárnyal a Bitcoin

💰 Az elmúlt héten szárnyalásba kezdett a digitális eszközalapok piaca: a teljes kezelt vagyon 155 milliárd dollárra, vagyis közel 57 ezer milliárd forintra nőtt, ami az idei év legmagasabb szintje, bár még így is messze elmarad a 2025 októberi, 263 milliárd dolláros csúcstól...

MA 15:57

Az Earfun Clip 2: ennyiért tényleg leesik az állad?

😍 Az Earfun Clip 2 a legújabb klipszes, nyitott kialakítású fülhallgató, amely pénztárcabarát árral és meglepő szolgáltatáskínálattal érkezett...

MA 15:45

A mélyóceánban talált aranygömb titka végre lelepleződött

🥁 A Csendes-óceán fenekén, 3200 méterrel a felszín alatt váratlan felfedezést tett egy tudományos expedíció...

MA 15:34

Az AMD Ryzen processzorok ára bezuhant: végre olcsón erős gép!

Megemlíthető továbbá, hogy a PC-építők számára végre valami pozitívum történik: három népszerű AMD Ryzen processzor ára jelentősen csökkent az Amazonon...

MA 15:23

Az új bitcoinláz előtt 80 ezernél jött a padlófék

💸 Egy lényeges szempont, hogy a bitcoin árfolyama ismét elakadt egy látványos, kerek számnál: 80 ezer dollárnál...

MA 15:12

Az esőcsináló gombák titka: ősi baktériumgénnel manipulálják az időjárást

☀ Kezdetben csak néhány baktériumfajról tudtuk, hogy képesek előidézni a jégkristályok képződését — mostanra viszont kiderült, hogy egyes gombafajták is rendelkeznek hasonló tulajdonsággal...

MA 15:01

Az ezüst lámamosoly mögött: 600 éves inka miniatűrök titkai

😃 A lámák nélkül elképzelhetetlen lett volna az inka társadalom, hiszen ezeket a négylábúakat teherhordónak, szent állatnak és mindennapi szükségleteikhez is felhasználták...

MA 14:56

Az olajár-sokk a Bitcoin árát is megrázta

A hétfői nap forgószélként söpört végig a kriptopiacon: a Bitcoin rövid időre 79 500 dollárig (közel 29 millió forintig) repült, de a 80 000 dolláros küszöbnél megtorpant, és hirtelen elkezdett lecsúszni...

MA 14:45

Az EU rátesz egy lapáttal: teljes az orosz kriptozárlat

💸 Az Európai Unió minden eddiginél átfogóbb szankciócsomagot vezet be Oroszországgal szemben, amely különös hangsúlyt fektet a kriptovaluták elleni fellépésre...

MA 14:34

Az irtószerek drámaian megdobhatják a rák esélyét

🔪 Egy friss tanulmány átfogóan vizsgálta, miként növeli a mezőgazdasági irtószerek környezeti jelenléte a daganatos betegségek kockázatát...

MA 14:23

A lopakodás magasiskolája a Crimson Desertben

🧙 A Crimson Desert hetedik fejezetének elején Beighen falujába érkezel, ahol a Bared Fang küldetés vár...

MA 11:03

Az új Bitcoin-hasadás: fellángolt a vita a Satoshi-érmék sorsáról

💸 Paul Sztorc, a Bitcoin egyik legrégebben aktív fejlesztője, radikális lépésre készül: 2026 augusztusában, eCash néven kemény elágazással, azaz hard forkkal szétválasztaná a Bitcoin blokkláncát...

MA 10:58

A hét, amikor infláció, kamatok és kriptoóriások megmozgatták a piacot

📈 A következő napok tele vannak kulcsfontosságú makrogazdasági eseményekkel, amelyek jelentősen befolyásolhatják a kriptopiaci mozgásokat...

MA 10:50

Az okosgyűrűk forradalma: stílusos egészségkövetés pillanatok alatt

💍 Ki ne szeretné figyelemmel kísérni az egészségét anélkül, hogy ormótlan fitneszpántokat viselne?..

MA 10:43

Az NFT-láz vakítás: sorvadó piac tartja a drága pingvineket

🐧 A Bored Ape Yacht Club (BAYC) és a Pudgy Penguins gyűjtemények lenyűgöző árrobbanást produkálnak, miközben a globális NFT-piac valójában egyre kisebb: az eladások és az aktív felhasználók száma meredeken csökken...

MA 10:22

A keleti erdőkért harc: küszöbön a kitermelés?

Fontos megérteni, hogy az Egyesült Államok keleti részén található, fejlesztetlen erdőterületek sorra tűnhetnek el a nyersanyag-kitermelés és fakitermelés miatt...

MA 09:29

Végre itt a Diablo IV: A Gyűlölet Ura rajtjának időpontja

🔥 A várva várt Diablo IV: A gyűlölet ura (Lord of Hatred) kiegészítő hamarosan elérhetővé válik, és első ízben lehetőséget ad arra, hogy átkelj a tengeren Skovos titokzatos szigeteire...

MA 09:15

A Quordle, amitől leolvad az agyad – mennyire vágod a szavakat?

Hosszú idő után is tartja magát a Quordle, amely a Wordle mintájára négyszavas kihívással tornáztatja az agytekervényeket...

APP
MA 09:12

APPok, Amik Ingyenesek MA, 4/27

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     English Vocab & Dictionaries + (iPhone/iPad)A Simply Paste Wordbook M Pro egy angol szókincsfejlesztő alkalmazás felhasználóbarát, egyszerűen kezelhető felülettel...

MA 09:08

A mai NYT Connections megoldásai – Te mindet kitalálod?

Érdemes látni, mennyire agyafúrt tud lenni a Connections nevű szójáték, amely a New York Times kínálatában az egyik legnépszerűbb fejtörővé vált...

MA 09:01

A hosszú élet titka: keverd a mozgásformákat!

A hosszabb élethez vezető út nem csak a több testmozgáson át vezet, hanem legalább ugyanannyira fontos, hogy minél többféle fizikai tevékenységet végezzünk – erre jutottak több évtizedes kutatások...

MA 08:57

A bitcoin új ralija megtorpant: a nagy áttörés még várat magára

Ázsiai kereskedésben hirtelen 12 hetes csúcsra, 29,1 millió forinthoz közeli szintre (79 400 dollár, vagyis körülbelül 29,1 millió forint) ugrott a bitcoin árfolyama, majd gyorsan visszahúzódott...

MA 08:43

Az új Gothicban újra eltévedünk – térkép nélkül

Ami kezdetben ártalmatlannak tűnt, ma igazi legenda. A Gothic az ezredforduló ikonikus szerepjátéka, amely a nyílt világ műfajában olyan merész, életszerű megoldásokat hozott, amelyek még A királyság eljövetele (Kingdom Come: Deliverance) vagy A Vaják (The Witcher) világaira is hatással voltak...