A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
🕌 2026 egyik leglátványosabb égi jelensége vár a csillagkedvelőkre: a két legfényesebb bolygó, a Vénusz és a Jupiter egészen közel látszik majd egymáshoz néhány estén keresztül, mintha szinte összeérnének...
Az utóbbi évtizedekben jelentősen javult a HIV-fertőzés kezelése, de még a modern gyógyszerek ellenére is sok fertőzött tapasztal enyhébb fokú mentális hanyatlást, amely megnehezítheti az összpontosítást, a figyelmet vagy a többfeladatos munkát...
🎮 A Microsoft új mintája most először ad lehetőséget a Godot-motor felhasználóinak, hogy könnyebben juttathassák el játékaikat az Xbox-platformra PC-n keresztül...
🛰 A Nemzetközi Űrállomás orosz szegmensében pénteken egyre súlyosbodó légszivárgás miatt a fedélzeten tartózkodó négy asztronautának – Jessica Meir, Jack Hathaway, Sophie Adenot és Andrey Fedyaev – azonnal szkafandert kellett ölteniük, majd menedéket keresniük a dokkolt Crew Dragon űrhajóban...
Nézzük, mi történt Hollywoodban a héten: a legendás 60 perc (60 Minutes) válságba sodródott, Zendaya viszont végre megszabadult az Eufória (Euphoria) című sorozattól, miközben Los Angeles egy végtelennek tűnő választási procedúrában vergődik...
🏆 A 2026-os labdarúgó-világbajnokság (FIFA World Cup 2026) közeledtével nemcsak a szurkolók lázban égnek, hanem a hackerek is hónapok óta készülnek a világ legnagyobb futballeseményére...
🏗 Kevesen gondolnák, hogy a világ egyik legforgalmasabb gyalogátkelője, a tokiói Shibuya Crossing egészen más arcát mutatja a Forza Horizon 6-ban – itt ugyanis nem kell gyalogosok között manőverezni...
⚡ A Föld látszólag nyugvó, kihunyt vulkánjai nem biztos, hogy örökre elcsendesedtek – új kutatások szerint ezek az óriások akár hosszú szunnyadás után is váratlanul kitörhetnek, hatalmas veszélyt jelentve a környezetükben élők számára...
Egy vadonatúj, univerzális koronavírus elleni vakcina sikerrel vette az első emberi klinikai vizsgálat akadályait, ami komoly lépést jelenthet a jövőbeni járványok elleni átfogóbb védelem felé...
🐉 Különleges tollas dinoszauruszt azonosítottak Kína északnyugati részén, amely négy szárnyszerű végtaggal rendelkezett, és valószínűleg könnyedén siklott a fák között a kréta időszakának erdeiben...
A világ egyik legritkább fájának utolsó, vadon élő példánya a chilei Robinson Crusoe-szigeten él, egy meredek sziklán kapaszkodva, és most új esélyt kapott a túlélésre...
Lényeges szempont, hogy a Zcash piacán sosem látott bizalmi válság tört ki, miután Arthur Hayes, a Maelstrom befektetési igazgatója minden Zcash (ZEC) tokenjét eladta...
Jellemző példa erre, hogy Texasban évtizedek óta először bukkant fel a New World screwworm (Cochliomyia hominivorax) nevű, húsfaló légylárva egy szarvasmarhában...
📈 Az elmúlt hetek tapasztalatai alapján a bitcoin piaci hangulata a legnagyobb eufóriát akkor érte el, amikor az árfolyam történelmi magasságokban járt, míg a legnagyobb félelem pontosan a mélypontokon csapott fel...
💸 Érdemes megvizsgálni, milyen példátlanul nehéz hetet él át a kriptopénzpiac, hiszen mind a bitcoin, mind az ether óriási veszteségekkel néznek szembe, miközben több más érme is padlót fogott...
Külön említést érdemel, hogy a Be Quiet! legújabb PC-háza már méretével is azonnal kitűnik a mezőnyből, és a szokásosnál jóval tágasabb belsővel kedvez azoknak, akik sosem elégszenek meg kevés tárhellyel...