2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 13:34

A feledésbe merült Microsoft-hibák újra lecsapnak

Sokak meglepetésére újra támadás alatt állnak olyan sérülékenységek a Microsoft rendszereiben, amelyeket korábban már javítottak...

MA 13:23

Az új kvantumforradalom: már itt van, vagy még ötven év?

⚛ Chad Rigetti neve összeforrt a kvantumszámítógépek világával, még ha legtöbben csak a Marvel-filmekből hallották a fogalmat...

MA 13:01

A Meta arcfelismerő szemüvege: a botrány, amitől rettegünk

A Meta legújabb okosszemüvege hatalmas vihart kavart a civil szervezetek körében...

MA 12:57

Az európai fitneszóriás adatbotránya: egymillió tag adatai veszélyben

A holland központú Basic-Fit, Európa legnagyobb fitneszterem-lánca, kibertámadás áldozatává vált: hackerek bejutottak a cég rendszerébe, és közel egymillió tagról szereztek bizalmas adatokat...

MA 12:34

A sötét semmi gyorsabban vágtat, mint a fény

💫 Egy lényeges szempont, hogy a fizikában eddig elképzelhetetlennek számított, hogy bármi is gyorsabb lehet a fénynél – most azonban a tudósok mégis észleltek valamit, ami látszólag átlépi ezt a kozmikus sebességhatárt...

MA 12:23

Az Xbox végre belátta: túl drága a Game Pass?

Asha Sharma, az Xbox új vezérigazgatója mindössze néhány hete ül a főnöki székben, de máris felkavarta az állóvizet...

MA 11:45

Az FBI lecsapott a texasi férfira, aki Sam Altman otthonát megtámadta

Hihetetlen, de igaz: a texasi hatóságok épp akkor csaptak le egy 20 éves férfi otthonára, amikor azzal is vádolták, hogy Molotov-koktélos támadást intézett Sam Altman, az OpenAI vezérigazgatója San Franciscó-i otthona ellen...

MA 11:24

A termékeny sperma kulcsa: nyáron a legjobb a minőség

🍆 Nem is gondolnánk, de a sperma minősége komolyan változik az év során, és a legjobb eredmények épp a forró nyári hónapokra esnek...

MA 11:12

Molotov-koktélt dobtak Sam Altman házára az MI ellen tiltakozva

💥 Az OpenAI vezérigazgatója, Sam Altman otthonánál San Franciscóban péntek hajnalban valaki Molotov-koktélt dobott a kapura, majd elmenekült...

MA 11:02

Az MI lenyelte a programozókat – most a kreativitás diktál

Ha valaha is úgy gondoltad, hogy a kódolás a gyors meggazdagodás útja, ideje átértékelni a dolgokat...

MA 10:57

A San Franciscó-i öböl bálnatemető: sorra pusztulnak a szürke bálnák

💀 A San Francisco-öböl a szürke bálnák számára halálos útvonallá vált: az éhes állatok egyre gyakrabban keresik fel a forgalmas vizeket, sokan közülük azonban nem élik túl a kalandot...

MA 10:36

Az Intel szárnyal: a Google-szövetség új csúcsokra repíti a részvényt

Az Intel hétfőn rövid idő alatt öt százalékot erősödött a tőzsdén, miután bejelentették stratégiai együttműködésük bővítését a Google-lel...

MA 10:29

Az átverős technikai ügyfélszolgálat: 13 millió dollárnak lába kelt

💯 Michael Cotter egyetlen problémával szembesült: a technikai ügyfélszolgálati cégénél, a Tech Live Connectnél túl magasak lettek a visszaterhelések...

MA 09:58

A Sony és egy YouTuber életre kelti az animációs Bloodborne-t

Las Vegasban, a CinemaCon fesztivál keretei között robbant a hír: a Sony animációs filmet készít a kultikus Bloodborne videojáték alapján...

MA 09:50

A tavasz titokzatos ragyogása: földfény az éjszakai égen

Áprilisban a Hold nemcsak a megszokott ragyogásával hívja fel magára a figyelmet: ebben az időszakban gyakrabban figyelhető meg a ritka és misztikus földfény (earthshine) is...

MA 09:43

Az MI-s Claude zuhanóágban – már ő is panaszkodik

😭 Jellemző példa erre, hogy az egykor a programozók kedvencévé vált, az Anthropichoz köthető Claude mostanra egyre több kritikát kap mind a költségek, mind a minőség terén...

MA 09:36

A Dogecoin berobban? Csak 3% a mémcoin-szezonban

🐶 Míg a kriptopiac kicsit bizonytalanul egyensúlyoz, a Dogecoin kifejezetten erősen muzsikál: szépen kapaszkodik felfelé, és egészen meggyőző, hogy most végre nem fullad ki az emelkedés, hanem tartja a szintet...

MA 09:15

A Doublespeed MI-vel verte át a befektetőket – kitört a botrány

⚠ A Doublespeed nevű startup, amely az Andreessen Horowitz (a16z) támogatásával működik, komoly hackertámadás áldozatává vált...

APP
MA 09:11

APPok, Amik Ingyenesek MA, 4/14

Fizetős iOS appok és játékok, amik ingyenesek a mai napon...

MA 06:06

Történelmi események a mai napon (Április 14.)

Ezen a napon koronázások, háborúk és sorsfordító döntések formálták a világot: a lengyel államiság keresztény alapokra állt, a Khalsa létrejött, a spanyol monarchiát köztársaság váltotta, miközben a Titanic jéghegynek ütközött...

hétfő 21:46

Az MI felfalja az óriásplatformok bevételeit

Kezdetben mindennapjainkat és gazdasági döntéseinket digitális platformok uralták. Az online tevékenységek bővülésével egyre inkább ezekre a szolgáltatókra támaszkodtunk, legyen szó arról, hogy keresünk a Google-ben, üzenetet váltunk WhatsAppon, videókat nézünk a YouTube-on, kapcsolatot tartunk az Instagramon, vagy vásárolunk az Amazonon...

hétfő 21:34

Az AT&T sunyi díjemelésére a régi ügyfelek ráfázhatnak

Áprilistól drágább lesz az élet azoknak az AT&T előfizetőknek, akik hosszú évek óta ragaszkodnak régi vezeték nélküli tarifacsomagjukhoz...

hétfő 21:01

Az MI beégett a bíróságon: kitalált ügyek, súlyos következmények

Az MI térnyerése az élet számos területén látványos ígéretekkel érkezett, de a jog világában teljesen más kihívásokkal találta szembe magát...

hétfő 20:45

A valódi Zuckerberg helyett már a mesterséges főnök diktál?

Képzeld el, hogy egy fontos céges kérdéssel fordulsz a vezérhez, várva a személyes, motiváló választ – aztán kiderül, hogy „Mark Zuckerberg” valójában csak egy mesterien kiképzett MI-klón, amely a vezér minden gesztusát, hangszínét, múltbeli nyilatkozatát, sőt a céges stratégiához fűzött gondolatait is tökéletesen utánozza...

hétfő 20:34

Az Artemis II diadala és a világ legkövérebb papagája: két szenzáció

🚀 Ezen a héten több tudományos szenzáció is született: az Artemis II űrmisszió hazatérése, a kihalás széléről visszatérő különleges új-zélandi madár, valamint a Torinói lepel erősen vitatott eredetű DNS-mintái mind hozzájárultak az izgalmakhoz...

hétfő 20:24

A balti bálna a végóráit éli, Németország tehetetlen

Egy tízméteres hím púpos bálna hónapok óta vergődik a németországi Balti-tengeren, miközben egy egész ország látja tehetetlenül az állat lassú haldoklását...

hétfő 20:14

Az MI véget vet az online oktatásnak?

🤓 Az egyetemi oktatás sosem volt könnyű pálya, hiszen a bér alacsony, a munka bizonytalan, mégis rengetegen választják, mert a tanítás öröme semmihez sem fogható...

hétfő 19:56

A Circle csak bírósági végzésre fagyasztja be az USDC-t

🔒 A stablecoinok világában egyre nagyobb botrányt kelt, hogy hackerek százmilliókat lopnak el digitális valutákból, miközben a kibocsátók tétlenül nézik...

hétfő 19:45

Az új Roblox-gyerekfiókok felforgatják a szabályokat – jön a szigorúbb ellenőrzés

🔒 A Roblox júniustól kétféle, korosztályhoz kötött fiókot vezet be a fiatalabb játékosok számára: Roblox Kids és Roblox Select...