2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

szerda 21:56

A tudósok végre megfejtették az abroncsok százéves rejtélyét

A mindennapok egyik legfontosabb anyaga a megerősített gumi, amelynek köszönhetően az autó- és repülőgépgumik elviselik a hatalmas terhelést, ráadásul megtalálható ipari gépekben, egészségügyi eszközökben, sőt, a kerti locsolótömlőkben is...

szerda 21:45

Az MI költözik a kurzor mögé – kell ez nekünk?

🧠 A jól megszokott egérkurzor az évtizedek alatt alig változott, mégis tökéletesen működik – legalábbis eddig így hittük...

szerda 20:22

A telekomóriás KDDI 14,9%-ot vesz a Coincheck Groupban, 65 millió dollárért

💰 A japán KDDI 14,9%-os részesedést szerez a Coincheck Groupban, miután 65 millió dollárért – közel 23,2 milliárd forintért – 28,5 millió új részvényt vásárol részvényenként 2,28 dolláros (kb...

szerda 19:56

Az iPhone Ultra lehet a meglepetéssiker: milliók vennének hajlítható iPhone-t

📱 Az Apple hamarosan piacra dobhatja első hajlítható iPhone modelljét, amit iPhone Ultra néven emlegetnek, és úgy tűnik, ezzel új fejezetet nyithat a mobiltechnológiában...

szerda 19:45

A Surfshark Alternative ID felturbózza az Android 17 hívásvédelmét

📱 Az Android 17 hívószám-hamisítás elleni védelme (Spoofing Protection) váratlanul hasznosnak bizonyul: képes felismerni a csalókat és megszakítani a hívásaikat, még mielőtt megszereznék az érzékeny adatokat...

szerda 19:34

A jégkorszak után 500 évvel korábban tértek vissza Britanniába, mint hittük

🦾 Több mint 15 000 évvel ezelőtt, az utolsó nagy jégkorszak után az emberek a korábban véltnél jóval előbb tértek vissza a brit szigetekre...

szerda 19:23

A bitcoin az aranyhoz képest még mindig 26%-kal alulértékelt

Az elmúlt években a piacok régóta birkóznak azzal, hogyan értelmezzék a bitcoint: részvény helyett inkább kockázatos vagyontárgynak tartják, amely felfelé repül, ha bő a likviditás, és zuhanni kezd, ha eluralkodik a védekező hangulat...

szerda 19:12

Német 1,5 millió dollár a Steam Deck asztali környezetére – vége a kémprogramoknak

Tipikus eset, amikor a nyílt forráskódú közösség jelentős elismerésben részesül. Németország Szuverén Technológiai Alapja (Sovereign Tech Fund) 1,3 millió euróval (kb...

szerda 19:01

A BioShock legendás nyitányainak titka: Ken Levine hitvallása

A játékvilágban az első benyomás kíméletlenül dönthet sorsokról. A BioShock-sorozat ennek ékes példája: már az első percek beszippantanak, elég csak Rapture városába alászállni, miközben Andrew Ryan szónokol a szabadságról és a kemény munkáról...

szerda 18:56

A bitcoinban hívők száma 300%-kal ugrott, a friss vevők nyerőben

2025 vége óta soha nem látott mértékben nőtt a bitcoin hosszú távú tulajdonosainak száma...

szerda 18:44

A Halley-üstökös talán rossz emberről kapta a nevét

🚀 A híres üstököst, amelyet ma Halley-üstökös néven ismerünk, évszázadokkal Edmond Halley előtt már ismétlődő égi jelenségként ismerhették fel...

szerda 17:01

A Trump–Hszi-csúcs árnyékában is 81 ezer dollár alatt a Bitcoin

💰 Noha az elmúlt időszakban a pénzügyi piacok gyakran kilengtek a geopolitikai események hatására, az utóbbi napokban a legnagyobb kriptovaluta szinte mozdulatlanul őrzi értékét...

szerda 16:34

Az eToro kitart: gyengébb első negyedév ellenére is kriptópárti

💰 Az eToro vezérigazgatója, Yoni Assia optimistán tekint a kriptodevizák jövőjére, noha az év első negyedévében a cég jelentős visszaesést tapasztalt a digitális eszközökkel kapcsolatos aktivitásban...

szerda 15:56

A valódi külső nézet 15 éve rejtve az MGS2-ben, most végre megkapjuk

A Metal Gear Solid Master Collection utolsó nagy frissítése idén érkezett meg, 61 GB-nyi új textúrával gazdagítva az MGS3-at, valamint végre lehetővé tette a játékosoknak, hogy a vezérlőn megcseréljék a megerősítő és visszalépő gombokat az MGS1-ben...

szerda 15:45

Az év bulija helyett összeomlás: a Spotify újdonsága leszerepelt

A Spotify húszéves jubileuma nem alakult zökkenőmentesen: az új Party of the Year(s) funkció bejelentése után a szolgáltatás órákra elérhetetlenné vált...

szerda 15:34

A tokenizált állampapírok 15 milliárdnál járnak, a bitcoin megtorpan, miközben Fed-kamatfélelmek erősödnek

Például miközben a Bitcoin 80 000 dollár felett oldalazik, a digitális állampapírok piaca valósággal berobbant...

szerda 15:23

A 82 ezres ütközet: a bitcoin kulcsellenállást ostromol

🛡 A bitcoin most kritikus szinten mozog, a 200 napos egyszerű és exponenciális mozgóátlag alatt, amelyek 82 455 dollárnál és 82 027 dollárnál húzódnak...

szerda 15:12

Az SSD-k ára szárnyal, a DDR5-é csak toporog

Érdemes megvizsgálni, hogy napjainkban miként változnak a memória- és SSD-árak, hiszen ezek szinte mindenki pénztárcáját érintik, aki új laptop vagy alkatrész vásárlását fontolgatja...

szerda 15:02

A kínai drágulás miatt borsos lehet az idei karácsony

🎁 Ez a jelenség jól illusztrálja, hogy az amerikai boltok polcaira kerülő termékek már most drágulnak, miközben a kínai gyártók évek óta először emelnek árakat, éppen a karácsonyi szezon gyártási csúcsidőszakában...

szerda 14:45

A Charles Schwab az USA-ban spot kriptokereskedést indít a kisbefektetőknek

💸 A Charles Schwab amerikai brókercég megnyitotta platformját, hogy ügyfelei közvetlenül kereskedhessenek bitcoinnal és etherrel...

szerda 14:34

Az OpenAI-perben Altman: Musk totális kontrollt akart, közös vezetést nem

🕵 Sam Altman tanúvallomása Elon Musk és az OpenAI közötti perben igazi szenvedélyeket váltott ki...

szerda 14:23

Az Xbox mód miért hiányzik még a Windows 11 legújabb frissítése után?

Sokan észlelték, hogy a legújabb Windows 11-frissítés telepítése után sem jelent meg az Xbox-mód, holott ezt a konzolos kezelőfelületet már az április 30-i, majd a májusi frissítés (KB5089549) is elhozta néhány felhasználónak...

szerda 13:57

Az MI önmásolása már nem elmélet – szakértők: korai a pánik

🤔 Noha elsőre sci-fi forgatókönyvnek hangzik, a legfrissebb kutatások bebizonyították, hogy a fejlett nyelvi modellek már képesek önállóan terjedni, sérülékeny rendszereken át replikálni magukat, és saját magukból újabb, működő példányokat létrehozni...

szerda 13:45

Az iOS 27 Siri 2.0 részletei kiszivárogtak: új chat és Dynamic Island-integráció

Érdemes megérteni, hogy az Apple végre rászánta magát a Siri teljes megújítására, amely nemcsak a kinézetében, hanem a tudásában is jelentős ugrást ígér...

szerda 13:02

Az orvosi rejtély: a kisbaba szeme indigókék lett COVID-ellenes gyógyszertől

Egy hat hónapos bangkoki kisfiú meglepő tünetekkel került kórházba, miután egy napja lázzal és köhögéssel küzdött...

szerda 12:56

A Dark Souls 2 path tracing mod már mindenkié – és még nehezebb

A Dark Souls 2 rajongói most végre kipróbálhatják a legújabb path tracing modot, ami teljesen új megvilágításba helyezi a játék sötét világát...

szerda 12:46

A RAM-apokalipszis leleplezi, mennyire rosszul gondolkodunk a végpontokról

Az informatikai eszközök cseréje évek óta rutinszerű: amikor a laptopok, PC-k lassulni kezdenek, egyszerűen jönnek az újak...

szerda 12:35

Az új TCL SQD mini-LED-ek ár-értékben lenyomják az LG OLED-et

🔥 A TCL legújabb csúcskategóriás mini-LED televíziói végre hivatalos árat kaptak az Egyesült Királyságban – és az árak láttán komolyan elgondolkodik az ember: érdemesebb lehet ezek közül választani, mint egy LG OLED-modellt...

szerda 12:24

Az MI-biztonság futásidőben omlik össze – a legtöbb cégnek fogalma sincs

A mesterséges intelligencia néhány év alatt az üzleti világ alapkövévé vált...