A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
Az amerikai és európai nappalikban egyre gyakrabban tűnik fel a WiiM neve, egy fiatal, ám annál lendületesebb hangtechnológiai vállalat, amely néhány év alatt a streaming erősítőktől a saját hangszóró- és mélynyomórendszer fejlesztéséig jutott...
👀 A digitális pénz, a gyorsan változó szabályozás és a fejlett, MI-alapú infrastruktúra fejlődése folyamatos alkalmazkodásra kényszeríti a pénzügyi tanácsadókat...
💻 Úgy tűnik, hogy a Valve kitart az idei nyári rajtra vonatkozó ígérete mellett, ellenére annak, hogy az alkatrészek piacán brutális áremelkedések és hiányok borzolják a kedélyeket...
💔 Fontos kérdés, hogy a filmvilág miért veszít el időről időre olyan ismert arcokat, akiket szinte mindenki ismer – ez különösen akkor igaz, ha egy meghökkentő bűncselekmény áll a háttérben...
A Microsoft egy forradalmi új kvantumprocesszort mutatott be, amely képes ezerszer tovább megőrizni a kvantumbiteket, mint elődje, ezzel pedig közelebb kerülhetünk a valóban megbízható kvantumszámítógépekhez...
🧊 A kelet-antarktiszi jégtakaró több mint három kilométer vastag jege alatt egy eddig ismeretlen, hatalmas geológiai képződményt azonosítottak kutatók...
Az eddig leküzdhetetlennek hitt hasnyálmirigyrák kezelésében történelmi áttörés született: egy új gyógyszer szinte megduplázta a betegek túlélési esélyeit...
Ez a jelenség jól illusztrálható azzal, hogy miként változtatta meg az ETF a globális pénzügyi piacokat, és most ugyanez az átalakulás érkezik meg a tokenizációval...
Idén egy meredek jóslat borzolja a kriptovilág kedélyeit: Tom Lee, a Bitmine elnöke szerint az ether értéke akár 250 000 dollárig – vagyis közel 90 millió forintig – nőhet, így az Ethereum hálózat teljes értéke 30 ezer milliárd dollár, azaz bő 10 800 ezer milliárd forint lenne...
Érdemes megvizsgálni, miként mozgatja a piacokat egy-egy ismert befektető véleményváltása: nemrég a Hyperliquid egyik legnagyobb támogatója, a BitMEX társalapítója, Arthur Hayes minden HYPE-tokenjét eladta, pedig napokkal korábban még 150 dolláros, azaz több mint 55 ezer forintos árfolyamot jósolt...
Jellemző példa erre, hogy a kutatók most különleges felfedezést tettek Johann Wolfgang von Goethe, a híres német író gyűjteményéhez tartozó balti borostyánok között...
A spanyol válogatott újabb mérkőzésre készül, amelyet az iraki válogatott ellen játszanak a 2026-os labdarúgó-világbajnokságot megelőző felkészülési sorozatban...
🌌 Az ember kíváncsisága nem ismer határokat: miközben a múlt kultúráit feltárja, egyre többen kutatják, mire képes a modern ember az extrém környezetekben – legyen szó a Nemzetközi Űrállomásról (ISS) vagy a Mount Everestről...
⚽ Egy lényeges szempont, hogy a Roku folyamatosan bővíti a kínálatát, és most négy vadonatúj, teljesen ingyenes sportcsatornával lepte meg a sportrajongókat – köztük két FIFA-csatornával, időzítve a női labdarúgó-világbajnokság előtt...
Érdemes megérteni, hogy a legkifinomultabb módszerekkel vadásznak titkokra azok, akik a hadsereghez, a titkosszolgálatokhoz vagy a kormányhoz közel dolgoznak...
🍕 Villámgyorsan felháborodás övezte a bejelentést, miszerint a következő Hadisten (God of War) játékban nem Kratos, hanem a felesége, Faye lesz a főszereplő...