A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
A közelgő 2026-os labdarúgó-világbajnokság apropóján milliók készülnek arra, hogy a stadionokban és környékükön közös élményeken osztozzanak – de nem zárható ki annak a lehetősége, hogy épp ez a lelkesedés teszi őket a digitális bűnözők célpontjaivá...
💫 Fontos kérdés, mitől lesz igazán egyedi az érkező Mese (Fable) újraértelmezés, amely ezúttal szakít a régi játékokra jellemző, látványos erkölcsi skálákkal...
Erre utal többek között az, hogy az Amerikai Árutőzsdei Kereskedelmi Bizottság (CFTC) nyilvánosságra hozta az első, előrejelző piacokat érintő szabályozási javaslatát, amely jelentős változást hozhat a sport- és politikai fogadások világában...
A brit egyetem orvostanhallgatóit különleges felfedezés várta, amikor egy 78 éves férfi holttestét boncolták: a férfi nem egy, hanem három pénisszel született...
💼 Fontos kérdés, hogyan tehetjük kényelmessé és praktikusabbá az otthoni munkavégzést. A Secretlab új széke pontosan ezt célozza: az Atlas egy kifejezetten otthoni irodába tervezett szék, amely a kényelmet és az egészséges tartást ötvözi...
🐍 Genetikailag módosított fonálférgek forradalmasíthatják a gyógyszerbevitelt, miután a kutatóknak sikerült olyan horogférget alkotniuk, amely képes létfontosságú antitoxint termelni az élő szervezetben...
📉 A piac egészét rövid idő alatt pirosba borította az eladási hullám, a CoinDesk 20 indexe pedig 1,4%-kal, 1663,81 pontra csökkent a kedd délutáni állapothoz képest...
A kibertámadások sebessége és kifinomultsága sosem volt akkora, mint napjainkban. A hagyományos védelmi rendszerek egyre kevésbé tudnak lépést tartani az MI-vezérelt támadásokkal...
🚧 Érdemes megérteni, hogy egy amerikai perben egyszerre négy ügyvédet is rajtakaptak azon, hogy valótlan, MI által kitalált jogi hivatkozásokat használtak...
😵 Lényeges szempont, hogy az Anthropic új MI-modellje, a Fable 5 most először válik közvetlenül elérhetővé a nagyközönség számára, noha korábban még maga a cég is túl kockázatosnak tartotta a nyilvános bevezetését...
📉 A kriptovaluta-piacokat ismét jelentős nyomás alatt tartja a közelgő amerikai inflációs adatok várakozása, miközben a bitcoin árfolyama újra 61 500 dollár (kb...
A világűr meghódítása az elmúlt években óriási fejlődésen ment keresztül, de a kis műholdak – az úgynevezett CubeSatok – még mindig komoly korlátokkal küzdenek...
⚠ Reggel óta rengetegen tapasztalják, hogy a Google Gemini nem működik rendesen: hibák sorozata jelenik meg az asztali és mobil változatban is, a felhasználók pedig valódi segítség nélkül maradnak...
A Microsoft minden eddiginél nagyobb javítócsomagot adott ki június közepén, amely majdnem 200 különböző biztonsági rést szüntetett meg a Windows operációs rendszerben és a kapcsolódó szoftverekben...
🖼 Egy hatalmas, legyezőszerű formációt fedeztek fel a kelet-antarktiszi jégtakaró alatt, amely több, eddig is ismert medencét köt össze a felszín alatt...
⚡ Megérkezett a Windows 11 júniusi frissítése, amely több fontos újdonságot hozott magával, és ha eddig lassúnak érezted a rendszert, most végre fellélegezhetsz...
Miközben a mesterséges intelligencia már esszéket ír, kérdésekre válaszol és bonyolult problémákat old meg, meglepő gyengeségre is fény derült: nehezére esik koncentrálni, ha zavaró tényezők jelennek meg...
💰 Az Amazon komoly lendületet ad az Egyesült Királyság gazdaságának: két vadonatúj létesítmény nyílik Northampton és Kettering városában, összesen több mint 4 000 új munkahelyet teremtve...