A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
💫 A tudósok új bizonyítékokat találtak arra, hogy a Világegyetem legnagyobb fekete lyukai nem egyszerűen magányos csillagok összeomlásából jönnek létre...
📈 A nagyobb intézményi befektetők hiányoznak a perp DEX-ek (folyamatos határidős szerződéseket kínáló decentralizált tőzsdék) világából, miközben bitcoint és más jelentős tokeneket egyre inkább ETF-eken és központosított tőzsdéken keresztül vásárolnak...
💧 A tavaly felfedezett 3I/ATLAS üstökös egy ritka intersztelláris látogató, amely olyan távolról érkezett, ahonnan csak kevesen jutnak el Naprendszerünkbe...
Tipikus eset, amikor egy látszólag egyszerű feladat váratlanul komoly akadállyá válik: a NASA Curiosity marsjárója egy egész héten át küzdött, hogy megszabaduljon egy makacs kőtől, amely a robotkar végére szorult...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Voxaro (iPhone/iPad)A Voxaro egy innovatív alkalmazás, amely valós időben alakítja át a beszédet jól szerkesztett, tiszta szöveggé...
💻 A kriptovilágban régóta visszatérő probléma, hogy a digitális pénztárcák és a stabilcoinok használata sokak számára még mindig nehézkes, és csak kevesen találták meg bennük a mindennapi pénzügyi élet valódi értelmét...
🚀 A hosszú évek alatt megszokott útitársaim közé tartoznak a különböző töltők és kábelek, hiszen repülős üzleti utakra vagy akár néhány órás autózásokra mindig vinnem kell minden eszközöm töltőjét...
💸 A kriptovaluták piacán ismét erős hullámzás tapasztalható: a Bitcoin árfolyama gyorsan visszaesett a 29,5 millió forint (79 000 dollár) körüli szintre, miután az Egyesült Államok csapást mért iráni célpontokra...
🥇 A stabilcoinok világa teljesen új korszakba lép: multinacionális cégek egyre szélesebb körben használják határokon átnyúló pénzmozgásokhoz, miközben a mesterséges intelligenciával működő ügynökök is önálló kifizetéseket hajtanak végre a blokkláncon...
A 2026-os New York-i BookCon rendezvényen mutatta be a Kobo legújabb limitált szériás tokjait, amelyek színes és játékos dizájnnal hívják fel magukra a figyelmet...
⚡ Ebből következően érdemes megérteni, hogy a mesterséges intelligencia világában az óriási, egyre nagyobb modellek mellett egyre nagyobb figyelmet kapnak azok a fejlesztések, amelyek a kisebb, hatékonyabb és széles körben elérhető megoldásokra építenek...
💪 Taylor Swift újra bíróság előtt találja magát, ezúttal egy Las Vegas-i revütáncosnő miatt, aki azt állítja, hogy az énekesnő ellopta az Egy showgirl vallomásai (Confessions of a Showgirl) márkát...
Egy kaliforniai start-up, a Humble Robotics mutatta be a Humble Haulert, amely minden eddigi elképzelést felülmúl azzal, hogy teljesen vezetőfülke nélkül képes szállítani árut...
A GameStop vezérigazgatója, Ryan Cohen egészen szokatlan fordulatokat produkált, amikor eBay-felvásárlási tervei kapcsán bizarr akcióba kezdett: játékosokat célzó relikviákat és sportritkaságokat kezdett el árulni az eBay-en – állítólag azért, hogy finanszírozza magát a felvásárlást...
A Consensus Miami konferencián a Coinbax zsebelte be a 7,2 millió forintos fődíjat, miután bemutatta azt a szoftvert, amely jelentősen egyszerűsítheti a stabilcoin-tranzakciók megfelelőségi ellenőrzését...