2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 15:45

Az év nyertesei: lekötött betétek akár 4,05% hozammal

Sokan keresik a biztos, kiszámítható megtakarítási lehetőségeket, és a lekötött betétek (CD, azaz Certificate of Deposit) továbbra is stabil megoldást jelentenek...

MA 15:23

Az új Marvel Rivals: anime-akció, zombi Thor és Doombotok?

Most figyeljetek: a Marvel Rivals nemcsak egy fura, szuperhősös lövölde, amelyben már egy cápa is szerepel, hanem egyre több mindenné próbál válni...

MA 15:02

Az Ultra végre megéri: a Galaxy S26 nagy dobása

Érdemes látni, hogy az idei Galaxy S26 Ultra nem egyszerűen a méretével próbál hódítani, hanem valódi, kézzel fogható előnyökkel igyekszik igazolni a magasabb árcédulát...

MA 14:56

Az iPhone titkos járatkövetője, ami nélkül ne indulj útnak

Az utazás stresszét jelentősen csökkentheti, ha mindig pontosan tudod, merre jár a repülőd, mennyit késik, vagy melyik kapunál kell várnod a beszállásra...

MA 14:45

Az etetőkamerád árthat a madaraknak? Így védd meg őket!

🐡 Ilyen eset például, ha nagy örömmel figyeled a kert madarait az etetőkamerán keresztül, de valójában azzal, hogy eteted őket, akár súlyos veszélynek is kiteheted a szárnyasokat, főleg a meleg hónapokban...

MA 14:36

A gazdagodó amerikai középosztály miért érzi magát mégis szegénynek?

Az amerikai életforma 2026-ban egészen furcsa érzést ad azoknak, akik anyagilag sikeresek lettek...

MA 14:24

Az MI-lufi leplezi hanyatlásunkat és a vészes erőforráshiányt

💥 Jeremy Grantham, a befektetési világ egyik legismertebb látnoka, már évtizedek óta figyelmeztet a piacok kockázatos túlértékeltségére, de újabban egészen más, egzisztenciális gondokat lát a háttérben...

MA 13:56

Az animeipart felforgatja az MI-botrány

😱 Az animeipar most először kénytelen szembesülni egy komoly MI-botránnyal. A WIT Studio, amely olyan népszerű sorozatokat jegyez, mint a Támadás a Titánok ellen (Attack on Titan) és az Egy könyvmoly felemelkedése (Ascendance of a Bookworm), élesen kritizálták a rajongók az utóbbi sorozat nyitójelenetének elkészítésében használt generatív MI miatt...

MA 13:46

Az MI-háború: túl nagy falat a nyilvánosságnak?

Ez a jelenség jól illusztrálható azzal, hogy az Anthropic, egy feltörekvő MI-vállalat a Szilícium-völgyből, nemrég bejelentette: olyan MI-modellt fejlesztett, amely már túl veszélyes a nagyközönség számára, ezért nem hozzák nyilvánosságra...

MA 13:34

Az Apple frissítése kizárta a cseh billentyűzetes iPhone-okat

Egy amerikai egyetemi hallgató számára a különleges kódja miatt lehetetlenné vált feloldani az iPhone-ját, miután az Apple egy karaktert eltávolított a cseh billentyűzetről...

MA 13:12

A Google Pixel 10 meglepően középszerű teljesítményt nyújt

🙂 A Xiaomi 17 Ultra és a Google Pixel 10 Pro XL egymás mellett állva látványosan kirajzolja, mennyire lemaradt a Google legújabb csúcstelefonja...

MA 12:34

A legmenőbb kütyük nagy tesztje: ASUS, Apple, Sonos, LG

Fontos kérdés, melyik új eszköz éri meg igazán a pénzét. Most megmutatjuk, hogyan teljesít az ASUS ZenBook A16, az Apple AirPods Max 2, a Sonos Play hangszóró és az LG Sound Suite házimozi-rendszer a gyakorlatban – plusz pár extra eszköz is bekerült a körképbe...

MA 12:23

A rezsim ára: Észak-Korea kriptólopásai a túlélésért

💸 Észak-Korea nemrég újabb súlyos csapást mért a kriptoiparra: milliárdos nagyságrendű lopások rázták meg a piacot, amely amúgy is szenved a korábbi botrányok miatt...

MA 11:34

Az IBM 6 milliárdos DEI-botrányban: Mi változik most?

Közel 6,3 milliárd forintot fizet az IBM az amerikai igazságügyi minisztériumnak, hogy rendezze a személyi kiválasztáshoz kötődő, jogsértő DEI (esélyegyenlőségi és sokszínűségi) gyakorlatok miatt indult pert...

MA 11:23

Az eladók kifulladnak, a Bitcoin agresszíven vásárol

Most kapaszkodj, mert a Bitcoin lerázza magáról az eladási stresszt: miután február 5-én 60 000 dollár közelében elérte a mélypontját, folyamatos emelkedésbe kezdett, és most komótosan közelít a 70 000 dolláros (kb...

MA 10:29

A hiányzó Google Naptár-trükk, ami megoldja az időzóna-káoszt

Képzeld el, hogy találkozót kell szervezned portlandi, tokiói és sydney-i ismerőseiddel...

MA 10:22

A világegyetem túl gyorsan tágul – és senki sem tudja, miért

💫 Az univerzum tágulásának ütemét minden eddiginél pontosabban sikerült meghatározni, ám ezzel a rejtély csak még bonyolultabbá vált...

MA 10:15

A Mars poklát is túléli az élet – élesztőgombák bizonyítják

👽 A Mars zord és kíméletlen környezetéhez bármilyen életnek alkalmazkodnia kellene, legyen szó a múltról, a jelenről vagy a jövőről...

MA 10:02

A nyílt forráskód visszavág: az ellátási láncok új rémálma

⚠ Márciusban két, egymástól teljesen független támadó mérgezte meg a legsikeresebb nyílt forráskódú eszközöket, amivel tízezernél is több szervezet titkai kerültek veszélybe – a teljes hatás csak hónapok múlva derül majd ki...

MA 09:57

Az öregedés visszafordítása: küszöbön a sejtreprogramozás emberkísérlete

A laborban minden tekintet Yuancheng Ryan Lu-ra szegeződött, miközben kollégája a mikroszkóp fókuszán igazított...

MA 09:36

Az orrunk évekkel a tünetek előtt jelzi az Alzheimert

A szaglás elvesztése nemcsak bosszantó öregkori tünet, hanem akár az Alzheimer-kór első, alig észrevehető előjele is lehet...

MA 09:29

Az aranykorszaknak befellegzett: zuhan a kriptotőzsdék nyeresége

A tőzsdéken egykor uralkodó kriptóláz mára alábbhagyott, a vezető piaci szereplők drasztikus visszaesésre készülnek...

MA 09:14

Az űripar hullámvasútján a SpaceX a bitcoinra fogad, veszteség ellenére

Elon Musk vállalata, a SpaceX jelenleg 8 285 bitcoint tart, ez nagyjából 603 millió forintnak megfelelő összeg, amelyeket a Coinbase Prime-nál őriz...

APP
MA 09:11

APPok, Amik Ingyenesek MA, 4/12

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Greeny Word Journey (iPhone/iPad)A Greeny Word Journey egy nyugtató és szórakoztató szókirakó játék, amely segíti az agy tornáztatását és a szókincs fejlesztését...

MA 08:57

Az ingatlanpiac nagy fordulata: újra alkuképesek a lakások?

Az amerikai ingatlanpiac sokak számára még mindig egy rémálom, hiszen a kínálat ugyan bővül, de a legtöbb városban még mindig kevesebb az eladó lakás, mint a járvány előtti, 2019-es szinten...

MA 08:51

Az MI reményt ad a ritka betegségekkel élő családoknak

Egy ritka genetikai rendellenesség diagnózisa sok család előtt komoly akadályokat állít, hiszen gyakran alig találni információt, nincsenek bejáratott kezelések, és nincs támogatói hálózat...

MA 08:42

Az első Tesla-önvezető szoftver végre átszeli Európát – óvatosan

A Tesla Full Self-Driving (Supervised) rendszere most először kapott engedélyt Európában, méghozzá Hollandiában...

MA 08:29

A bitcoin gyengélkedése az XRP-t is a mélybe rántja

Megemlíthető, hogy az XRP ára hirtelen esett vissza 1,36 dollárról 1,33 dollárra, mindössze néhány perc alatt...

MA 07:42

A digitális fizetés forradalma: Latin-Amerika az élre tör

Brazíliában már 175 millió ember használja a központi bank által fejlesztett Pix azonnali fizetési rendszert, amely QR-kódokat és egyedi azonosítókat alkalmaz a valós idejű átutalásokhoz...