2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 17:04

A zaj észrevétlenül rombol – képesek vagyunk csendet teremteni?

🔇 Amikor a Covid–19 járvány megállította a világot, a városok elcsendesedtek, és hirtelen tisztábban hallhatóvá váltak a madarak énekei...

MA 16:56

Az európai légi közlekedés bajban: hat hétre vagyunk a kerozinhiánytól

⚠ A Nemzetközi Energiaügynökség (IEA) figyelmeztetése szerint Európa alig hat hétre elegendő kerozinnal rendelkezik, ami drámai következményekkel járhat a kontinens gazdaságára nézve...

MA 16:23

Az újabb bitcoinláz: rekordközeli mélyponton a finanszírozási díjak

💸 Az elmúlt hetekben a bitcoin árfolyama meredeken emelkedett, elérve a 27,2 millió forintot (kb...

MA 16:13

Az öregedés visszafordítható? Forradalmi egérkísérletek rengetik meg a tudományt

🗓 Az öregedéssel járó károsodások egyik fő okozóját sikerült azonosítani amerikai kutatóknak: a szervezetben csendben felgyülemlő úgynevezett „zombi” immunsejteket...

MA 16:02

Az altcoinok rajtra készek, a bitcoin egy helyben toporog

Az elmúlt napokban a bitcoin árfolyama 27,2 millió forint körül ingadozik, miközben a figyelem egyre inkább az altcoinok, különösen az XRP, a Plasma és a dogecoin felé fordul...

MA 15:56

A Shinkansen új lakosztálya: csend, 5G és privát luxus

Erre utal többek között az is, hogy idén októbertől néhány japán szupervonaton már exkluzív, privát lakosztályok is elérhetők lesznek, amelyekben 5G-antennával ellátott üvegablakok és zajszűrő technológia gondoskodik a kényelmes utazásról...

MA 15:45

Az amerikai hatóságok lecsaptak Észak-Korea kiberhálózatára

🕵 Tipikus eset, amikor jól szervezett csalás miatt milliókat veszít rengeteg vállalat, miközben a háttérben csak néhány, elsőre jelentéktelennek tűnő szereplő húzza a hasznot...

MA 15:25

Az űrverseny új frontja: csata a Shackleton-kráter kincseiért

🚀 Közel lehetünk ahhoz, hogy két történelmi Hold-misszió rajtoljon el, melyek célja a Shackleton-kráter vidéke, a Hold déli pólusának egyik legérdekesebb és leggazdagabbnak tartott területe...

MA 15:12

A OnePlus Pad 4 – megérkezett az iPad Pro valódi kihívója

Felmerül a kérdés, hogy lehet-e még izgalmat csempészni a táblagépek világába...

MA 14:45

Az iPhone híváselőzményei végre kereshetők – és ezt imádjuk!

A mostani iPhone-okon már gyerekjátékká vált visszakeresni, mikor beszéltél utoljára valakivel, vagy hogy hová tűnt egy fontos hangposta-üzenet...

MA 14:35

Az amerikai koncertipar gigásza tiltott monopóliumot épített ki

Hatalmas vihart kavart az Egyesült Államokban, hogy egy szövetségi esküdtszék illegális monopóliumnak minősítette a Live Nationt és leányvállalatát, a Ticketmastert...

MA 14:24

Az ózonréteg gyógyulása késik: ipari kibúvók állják útját

🌤 A világ évtizedek óta dolgozik az ózonréteg helyreállításán, ennek ellenére egy alig ismert ipari kiskapu komoly gátat szab a regenerációnak...

MA 14:01

Az Opera MI‑asszisztensek cunamiját zúdítja a böngészésre

🌊 Na most kapaszkodj, mert az Opera böngésző most már valós időben összeköti a böngészőablakodat a legnépszerűbb AI-csevegőkkel, így jelentősen felpörgeti a böngészési élményt...

MA 13:45

Valóban létezett az apró, de halálos Nanotyrannus?

Tipikus eset, amikor a tudományos világ évtizedeken át vitatkozik egyetlen lelet jelentőségéről, míg végül egy elfeledett apró csont választ ad a nagy kérdésre...

MA 13:12

A YouTube-on végre letilthatók a Shorts – megmutatjuk, hogyan

Mostantól bárki eltüntetheti a rövid videókat a YouTube mobilos feedjéből, ha elege van a végtelen görgetésből...

MA 13:03

A föld mélyének ősi titka: a ritkaföldfémek forrása

🌍 Évmilliárdokkal ezelőtt a Föld kérge alatt zajló események máig éreztetik hatásukat: a legújabb kutatások szerint a ritkaföldfémek nem véletlenszerűen, hanem egy igen speciális földtani folyamat eredményeképpen koncentrálódnak bizonyos helyeken...

MA 12:56

Az Nginx UI kritikus sebezhetősége: tárva-nyitva a támadóknak

🔒 Egy frissen felfedezett biztonsági rés teljes szerverátvételre ad lehetőséget az Nginx UI felületén keresztül, mégpedig mindenféle hitelesítés nélkül...

MA 12:45

Az IBS-gyógyszerek sötét oldala: rejtett hosszú távú kockázatok

🔴 Egy átfogó, közel húszéves kutatás több mint 650 ezer irritábilis bél szindrómával (IBS) élő amerikai egészségügyi adatait vizsgálta meg, és aggodalmakat vet fel a sokszor rutinszerűen alkalmazott gyógyszerek hosszú távú biztonságával kapcsolatban...

MA 12:34

Az a robotkutya, amely már lepipálja a főnöködet

Spot, a Boston Dynamics klasszikus robotkutyája mostantól már nemcsak szaladgál, hanem tényleg elég okos is lett...

MA 12:02

Az evolúció él és virul: a természet ma is átírja génjeinket

Sokan úgy gondolták, hogy az emberiség az utóbbi tízezer évben alig változott genetikailag...

MA 11:56

Az új Steam-trükk, amivel olcsóbban és jobban játszhatsz?

🎮 A Steam, a PC-s játékosok kedvenc digitális áruháza, hamarosan két izgalmas újítással könnyítheti meg mindennapjainkat...

MA 11:46

Az univerzum rejtélye egyre mélyül – valami nem stimmel

Az elmúlt évtizedek legnagyobb és legalaposabb kozmológiai vizsgálata készült el, amely meglepő következtetéseket hozott: továbbra sem értjük igazán, mi gyorsítja az univerzum tágulását...

MA 11:34

Az új Windows Server 2025 frissítést telepíted, vagy kihagyod?

Frissen tartod a szerveredet? Jobb, ha kétszer is ellenőrzöd: a legújabb, áprilisi Windows Server 2025 biztonsági frissítés ugyanis nem mindenkinek hajlandó feltelepülni...

MA 11:23

Az első koreai biztosító tokenizálja az államkötvényeket – mérföldkő a piacon

💰 Felmerül a kérdés, hogy a digitális eszközök valóban forradalmasítják-e a pénzügyi rendszert, különösen most, hogy a Ripple, az egyik legismertebb blokklánc-vállalat partnerségre lépett Dél-Korea egyik legnagyobb életbiztosítójával, a Kyobo Life-fal...

MA 11:13

Az evolúció rákapcsolt: miért lett több vöröshajú és kevesebb kopasz?

Érdemes megvizsgálni, hogy az emberi evolúció az utóbbi 10 ezer évben korántsem lassult le, mint ahogyan sokáig hitték...

MA 11:02

A mesterséges intelligencia feltámasztja Val Kilmert – a rajongók kiakadnak

📺 Az A sír mélyéig (As Deep as the Grave) című film első előzetese hatalmas felháborodást váltott ki az interneten, miután kiderült: a készítők teljes egészében MI-vel generált Val Kilmer-digitális hasonmást szerepeltetnek a történetben...

MA 10:57

Az adatvédelmi rémálom: a Chrome észrevétlenül követ bárkit

Nehéz elhinni, de alig van olyan népszerű szoftver a világon, amely annyira kiszolgáltatottá tenné a felhasználóit, mint a Google Chrome...

MA 10:46

Az időseket miért kíméli jobban a szezonális allergia?

🧐 A tavasz mindig próbára teszi azokat, akik érzékenyek a virágporra: idén csaknem 80 millió amerikai számíthat tüsszentésre, orrfolyásra vagy köhögésre allergiás reakció miatt...

MA 10:39

A benned zajló mikrobaháború: az immunrendszer ősi fegyverei

Az élővilágban folyamatos fegyverkezési verseny zajlik a fajok között, amelyek mind újabb és újabb eszközökkel próbálnak felülkerekedni ellenfeleiken...