2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 18:23

A YouTube Shorts-ot elárasztják az MI-avatárok

A YouTube mostantól lehetőséget ad arra, hogy saját képmásoddal szerepelj a Shorts-videókban, még ha éppen nincs is kamerád kéznél...

MA 18:01

Az új Gemini-asszisztens megőrjíti a Google Home felhasználóit

🤯 Emellett a Google Home felhasználói egyre nagyobb számban tapasztalnak komoly problémákat a Gemini nevű, frissített hangalapú asszisztenssel, amelyet már 16 új országban vezetik be...

MA 17:45

Az OpenAI parkolópályára tette a Stargate UK-t: szabályozás, energiaárak

⚠ Az OpenAI felfüggesztette az Egyesült Királyságba tervezett Stargate nagyléptékű MI-infrastruktúra kiépítését, miután makacs energiaár-emelkedés és bizonytalan szabályozási környezet húzta keresztbe a számításaikat...

MA 17:34

A Bithumb gigászi melléfogása: tévedésből 40 milliárd dollárnyi bitcoint

Jól mutatja, hogy egyetlen elütés is okozhat milliárdos kárt: a második legnagyobb dél-koreai kriptotőzsde, a Bithumb munkatársai februárban tévedésből egy promóció során „BTC”-t írtak „KRW” helyett, így 249 nyertesnek nem 620 000 forintnyi összeget, hanem fejenként 620 000 bitcoint, összesen több mint 40 milliárd dollárt (14 320 milliárd forintot) írtak jóvá belső rendszerükben...

MA 17:12

A konyha rejtett fegyvere: hétköznapi fűszerek, százszoros gyulladáscsökkentés

🥗 Ez a jelenség jól illusztrálható azzal, hogy a látszólag hétköznapi fűszernövények – mint a menta, az eukaliptusz és a csilipaprika – természetes vegyületei elképesztő erővel léphetnek fel a szervezet gyulladásos folyamatai ellen, főleg, ha bizonyos kombinációkban találkoznak az immunrendszer sejtjeiben...

MA 17:02

Az MI újabb bakija: fejlesztők letiltva, megállnak a nagy szoftverek

Érdekes felvetés, hogy néhány kulcsfontosságú, nyílt forráskódú program fejlesztői napok óta nem tudják frissíteni alkalmazásaikat Windowsra, mert a Microsoft egyik pillanatról a másikra, érdemi figyelmeztetés nélkül felfüggesztette a fejlesztői fiókjaikat...

MA 16:56

A belek rejthetik az ALS és a demencia kulcsát

A Case Western Reserve Egyetem kutatói egy meglepő összefüggésre derítettek fényt: a bélben élő baktériumok által termelt káros cukrok jelentős szerepet játszhatnak a rendkívül pusztító agyi betegségek, például az ALS (amiotrófiás laterálszklerózis) és a frontotemporális demencia kialakulásában...

MA 16:34

A rejtélyesen eltűnt rendszergazda pokollá teszi a Samsungosok életét

A Galaxy S22 Ultra-tulajdonosok egy része teljesen váratlan akadályba ütközik, amikor a gyári beállítások visszaállítása után az általuk legálisan vásárolt telefont egyszer csak zárolják — ráadásul nem is ők, hanem egy ismeretlen, gyanús szervezet, a Numero LLC neve jelenik meg a készüléken...

MA 16:02

A JBL új fejhallgatói: finom előrelépés, bosszantó hibákkal

A JBL két új modellje, a Live 780NC és a Live 680NC csábító ígérettel érkezett, hogy a középkategóriás vezeték nélküli, zajszűrős fejhallgatók élmezőnyébe törjön...

MA 15:47

Az Artemis II után: Megváltozott, amit a Holdról tudunk?

🚲 Egy újabb történelmi kört zárt a NASA, amikor az Orion űrhajó tizenhárom évnyi előkészület után négyfős személyzettel kerülte meg a Holdat és indult vissza a Föld felé...

MA 15:34

A Google új trükkje: jegyzetelj okosabban, lustábban!

📝 Komolyan mondom, végre egy kis ész a digitális káoszban! A Google beolvasztotta a NotebookLM nevű mesterségesintelligencia-alapú kutatósegédjét a Gemini csevegőjébe, így mostantól már nem kell ezer ablak között vergődve kezelni a jegyzeteidet...

MA 15:23

Az új Muse Spark: a Meta MI-forradalma újraindul

Érdemes megvizsgálni, hogy a Meta legutóbbi MI-modellje, a Muse Spark képes-e új alapokra helyezni a cég mesterségesintelligencia-stratégiáját, miután a Llama 4 csalódást keltő fogadtatásban részesült...

MA 15:12

A Meta új modellje: totális zártság, nyitottság sehol

Mark Zuckerberg, aki korábban a nyílt forráskódú MI élharcosaként tündökölt, most meglepő fordulattal egészen eltérő irányt vett...

MA 15:02

A magánszféra otthoni védelmének 7 egyszerű, mégis ütős módja

Nemcsak a közösségi média vagy a kéretlen telefonhívások jelenthetnek veszélyt az adatainkra – az otthonunkban lévő technológia is komoly kockázati forrás lehet...

MA 14:56

Az új titkosítás véget vethet a kvantumhackerek uralmának

A tudomány nem tétlenkedik: egy új titkosítási rendszer született, amely már ma képes megvédeni a videofájlokat a jövő kvantumszámítógépeinek támadásaitól...

MA 14:48

A DJI Romo P: forradalmi porszívó, vagy csak menő kütyü?

🧺 A DJI, a dróntechnológiában jártas kínai óriásvállalat új szintre emelte az okos otthon gépeket: bemutatkozott a Romo P, amely végre nem csak kütyürajongóknak szól...

MA 14:34

Az Artemis II pokla: forróság, félelem és hazatérés a Holdról

Négy asztronauta történelmi utazása a Hold körül az Artemis II küldetés keretében a végéhez közeledik...

MA 14:24

Az új akkumulátor, amellyel a laptop hónapokig bírja

Képzelj el egy olyan akkumulátort, amelyet hónapokig, sőt akár évekig sem kell tölteni vagy cserélni egy energiaigényes laptopban – mindezt egy párkilós eszköz segítségével...

MA 14:03

Végleg búcsút inthetünk a titokzatos steril neutrínónak?

A neutrínók a lehető legelhanyagolhatóbb részecskék közé tartoznak: szinte semmi tömegük, nincs sem elektromos, sem színtöltésük, így a természet legtöbb erői gyakorlatilag nem hatnak rájuk...

MA 13:56

Az emberi DNS rejtett második kódja kapcsolja ki a géneket

🔑 Az emberi DNS egy bonyolult, hárombetűs egységekből álló rendszer; ezek az egységek négyféle nukleotidból épülnek fel...

MA 13:44

Az összehajtható iPhone jön? Szeptemberre készül a nagy Apple-hajtogatás

Nincs unalmasabb annál, mint amikor egy techóriás csak tologatja az újdonságokat – na de komolyan, most tényleg beindultak Cupertinóban!..

MA 13:34

A Ghost Murmur: valódi kémkütyü vagy csak sci-fi?

🕵 Noha a Ghost Murmur eszközről szóló történetek izgalmasak, a tudomány jelenlegi állása szerint meglehetősen valószínűtlen, hogy ilyen kvantumkémkedési technológia létezne vagy működne a leírtak szerint...

MA 13:24

Az MI körüli viták fékezik a vállalatok növekedését

Ilyen eset például, amikor egy vállalat rengeteg pénzt és erőforrást önt az MI-be, de a várt áttörések elmaradnak...

MA 13:01

Az ember 60 ezer éve meghódította Ausztráliát

🚶 Az emberiség vándorlásának egyik legnagyobb rejtélyére sikerült rávilágítani, méghozzá a DNS nyomozásával: már bizonyíték van arra, hogy az emberek körülbelül 60 ezer évvel ezelőtt érték el először Ausztráliát és Új-Guineát – sokkal korábban, mint azt néhány újabb elmélet eddig sejtette...

MA 12:57

Az öböl kapuja hetekig, akár hónapokig is zárva marad

🚢 Különösen igaz ez akkor, ha a világ energiaellátását fenyegető útvonalak kerülnek veszélybe...

MA 12:45

A nagy fordulat: a John Deere visszakozik, a gazdák nyernek

Évek óta dúl a vita: a gazdák szabadon szerelhetnék a saját gépeiket, vagy csak a John Deere drága szervizei babrálhatnak a traktorokkal?..

MA 12:34

Az Adobe Reader súlyos veszélyben: négy hónapja tart a hackerostrom

Aggasztó fejlemény, hogy már legalább négy hónapja kihasználnak hackerek egy súlyos, eddig nem javított, úgynevezett zero-day sebezhetőséget az Adobe Readerben...

MA 12:23

Az eddigi leggyorsabb töltés: BYD és KFC összefog Kínában

Tipikus eset, amikor két óriás egymásra talál: a kínai elektromosautó-gyártó BYD és a KFC különleges együttműködésbe kezdett, hogy közösen nyissák meg az ország első, kilenc perc alatt letudható gyorséttermi töltőállomásait...

MA 12:01

Az MI-ügynökök megjöttek – és velük a káosz

Például néhány éve még csak csevegtünk egy barátságos chatbottal, ma pedig már érezhető, hogy a mindennapokban is jelen van a mesterséges intelligencia...