2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 12:01

A pumpamentes átfolyós akkumulátor: tényleg ez a jövő?

Most őszintén, észrevetted már, hogy a legtöbb flow battery (átfolyós akkumulátor) bonyolult pumpákkal van telepakolva?..

MA 11:44

A nagy blama: milliárdok menekülnek a bitcoin ETF-ekből

💸 Csütörtökön nagyot rándult a piac: a befektetők egyetlen nap alatt 62 milliárd forint értékű – azaz 171 millió dollárnyi – tőkét vontak ki az amerikai bitcoin ETF-ekből...

MA 11:11

Lezárul egy korszak: az Apple kivezeti a Mac Pro-t

Szevasz, Mac Pro, hello, régi idők! Az Apple minden megmaradt Mac Pro-rajongónak most azt üzeni: köszi, ennyi volt...

MA 11:01

Az Apple lebuktatja az iCloud+ álcímeket – így buksz le

Azt hinnéd, elég, ha iCloud+-on elrejted az igazi e‑mail-címedet a Hide My Email funkcióval, de nem...

MA 10:50

A valódi holland hackerjátszma: mélymerülés a rendőrség rendszereibe

🕵 Na hát ennyit erről, de aztán jön a váratlan fordulat: a holland rendőrség kénytelen volt elismerni, hogy őket is célba vették egy ügyes adathalász-támadással...

MA 10:43

A Samsung böngészője mostantól pénzt spórol a kasszánál

💸 A Samsung hamarosan új, Smart Shopping nevű funkcióval bővítheti népszerű böngészőjét, amely automatikusan kuponokat keres és alkalmaz különböző webáruházakban...

MA 10:37

Az űrutazás árnyoldala: a súlytalanság tönkreteheti a fogantatást

👽 Az űrutazás újabb hátulütővel szembesített minket: a súlytalanság gyakorlatilag lehetetlenné teszi a sikeres szaporodást...

MA 10:29

Az új Tether-audit: jön a KPMG, milliárdok a tét

A Tether, a világ legnagyobb stabilcoin-kibocsátója, átfogó pénzügyi átvilágítást indított az USDT tartalékairól, a 185 milliárd dollárt (kb...

MA 10:22

Az anonim bűnügyi bejelentések tényleg nem biztonságosak?

Ilyen eset például, amikor az ember teljes biztonságban érzi magát egy anonim rendőrségi bejelentőfelületen, majd pár kattintás után kiderül, mennyire könnyen kijátszható a rendszer...

MA 10:16

Az ősi barlang, ahol kiderült: rokonok voltak a neandervölgyiek

Egy apró, 110 000 éves csontdarab a híres Denisova-barlangból Szibériában újabb részleteket tárt fel a neandervölgyiek életéről...

MA 10:08

Az éhező méhek titkos fegyvere: szuperélelmiszerrel újraindul a beporzás

🦋 A világ méhpopulációja évek óta aggasztó ütemben csökken, és ez hatalmas kockázatot jelent az élelmiszer-ellátásra...

MA 10:01

Az Ajax adatvédelmi botránya: veszélybe kerültek a szurkolók

💀 Kezdetben a holland Ajax Amsterdam futballklub informatikai rendszerében olyan sebezhetőséget találtak, amelyhez egy hacker férhetett hozzá...

MA 09:57

Az új Google Gemini: most tényleg itt az MI-forradalom

Végre itt egy MI-funkció, amire tényleg vártunk! A Gemini mostantól lehetőséget ad arra, hogy gond nélkül áthozd minden csevegésedet és adatodat más mesterségesintelligencia-alkalmazásokból...

MA 09:36

Az Android 17 berobbanthatja a VPN-ek forradalmát

Úgy tűnik, a Google az Android-felhasználók egyik legidegesítőbb problémájára készül megoldást adni...

MA 09:30

Az antarktiszi bálnák diadalmas visszatérése ismét veszélyben

Az elmúlt évtizedekben csendben, de látványosan elkezdődött a bálnapopulációk regenerálódása a Déli-óceán vad vizeiben...

MA 09:22

Az új Google Search Live teljesen átírhatja a netes keresést

🔍 A Google forradalmi Search Live funkciója már 200 országban, 98 nyelven elérhető, és teljesen új szintre emeli az online keresést...

MA 09:15

A Mac Pro sorsa megpecsételődött: az Apple végleg lemond róla

💀 Az Apple hivatalosan is megszünteti a legendás Mac Pro asztali gépét, amelyet csütörtökön el is távolítottak a cég weboldaláról...

MA 09:01

A Wikipédia kitiltja az AI-t: vége a gépi zagyvaságnak

🚫 Búcsút inthetünk az AI-zabált cikkeknek a Wikipédián, mert az óriási, szabad enciklopédia végre kimondta: nincs több robotírás, kivéve néhány nagyon ritka esetben...

MA 08:57

Az ezeréves oltár véres titkai: emberáldozatok Tulában

Egy több ezer éves oltár került elő Mexikóban, amelyet a Tolték Birodalom idején emberáldozatokhoz használtak...

MA 08:51

Az Anthropic súlyos adatbiztonsági bakija: kiszivárgott a titkos MI-fejlesztés

🔒 Fontos kérdés, hogy mennyire biztonságosak a vezető technológiai cégek adatkezelési megoldásai, amikor egy apró figyelmetlenség is komoly belső információk kiszivárgásához vezethet...

MA 08:36

A szerelem két lakcím között: együtt, mégis külön

Mindenki ismeri azt a klasszikus szerelmi menetet: megismerkedés, összejövetel, majd összeköltözés – mintegy a kapcsolat komolyságának bizonyítékaként...

MA 08:22

Az új Gemini-frissítés: zökkenőmentes váltás, könnyebb mindennapok

A Gemini mostantól lehetővé teszi, hogy minden eddiginél egyszerűbben válts más MI-csevegőalkalmazásról úgy, hogy közben nem veszítesz el semmit a korábbi beszélgetéseidből vagy emlékeidből...

MA 08:15

Az új One UI 8.5 felpörgeti a Samsung Linux terminált

💻 A One UI 8.5 verzióval jelentős fejlesztések érkeztek a Linux Terminálhoz az Exynos-alapú Samsung mobilokon...

MA 08:01

A megfizethető 10 GbE switch, ami megváltoztatja a hálózatodat

A SICSOLINK SFP-J06Q-HG2-US igazán szokatlan látvány: ez a nyolcportos, 10 gigabites Ethernet switch már első pillantásra felhívja magára a figyelmet rikító zöld és narancssárga előlappal...

MA 07:57

Az otthoni munkára köteleznek? Jöhet a Zoomos kirúgás

💻 Szokatlanul csendes kedd este köszönt be a Metánál: HR-levelek érkeznek, miszerint másnap mindenkinek otthonról kell dolgoznia, a vezetés pedig később közli a részleteket...

MA 07:51

Az emberré válás kulcsa: ősmajom csontokra bukkantak Egyiptomban

🦧 Afrika keleti részét hosszú ideig az emberszabásúak bölcsőjének tartották, de Egyiptom sivataga most új fejezetet nyit az őstörténetben: 18 millió éves majommaradványok kerültek elő, amelyek Földünk legkorábbi emberszabásúi közé tartozhatnak...

MA 07:43

Végre az iPhone-osoknak is szól az új WhatsApp-frissítés

Különösen igaz ez akkor, ha egyszerre több WhatsApp-fiókot kezelsz, képeket szerkesztesz, vagy a privát üzenetváltás gördülékenysége fontos számodra...

MA 07:36

Az Android új csodafegyvere: villámgyors töltés, ha rohanni kell

⚡ Az Android 17 Beta 3 fejlesztői változatában a háttérben egy vadonatúj megoldás bukkant elő: a Priority Charging nevű funkció lehetővé teszi, hogy a telefon villámgyorsan feltöltődjön, amikor tényleg nagy szükség van rá...

MA 07:22

Az MI-drónhadsereg tarol, záporoznak a milliárdok

Érdekes felvetés, hogy a modern hadviselés nem csupán rakéták és tankok kérdése, hanem egyre inkább az MI-technológiáé is...