A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
🚗 Idén ősszel minden eddiginél nagyobb durranásnak ígérkezik a Forza Horizon 6, amelyben ezúttal Japán vadregényes vidékein, városaiban, hegyeiben és tengerpartjain száguldozhatunk, méghozzá a valaha volt legnagyobb választékkal...
Ilyen eset például, amikor a vállalat abban reménykedik, hogy a legmodernebb MI-modell végre áttörést hoz: precíz, személyre szabott eredményeket vár tőle – de ehelyett egységes, sablonos vagy akár teljesen irreleváns válaszokat kap...
Érdekes fejlemény, hogy államilag támogatott iráni hekkerek egyre kifinomultabb módszerekkel támadnak, és közben mindent megtesznek azért, hogy álcázzák valódi szándékaikat...
Erre utal többek között az, hogy a Solv Protocol több mint 700 millió dollár, vagyis mintegy 255 milliárd forint értékű tokenizált bitcoint (SolvBTC, xSolvBTC) visz át a Chainlink CCIP-jére, miután komoly biztonsági problémák merültek fel a LayerZero hídjával kapcsolatban...
🚜 Jól mutatja a helyzetet, hogy a Kanári-szigeteken élők pánikban várják a patkányvírussal fertőzött óceánjárót, amely vasárnap hajnalban érkezik Tenerife partjaihoz...
Egy floridai házaspár igazán sajátos módon oldotta meg az udvarukra tévedt drón ügyét: egyszerűen bedobták a tűzrakóba, és elégették a 440 ezer forintot érő szerkezetet...
🚀 A Nintendo idén nyáron újabb bőrt húz le a legendás Star Fox 64-ről: a Star Fox legújabb verziója a Switch 2 exkluzív játékaként érkezik, teljesen újratervezett látványvilággal és karakterdizájnnal, azonban a pályák felépítése változatlan marad...
180 év telt el a Franklin-expedíció tragédiája óta, de a kanadai sarkvidéken kihűlésben és éhezésben elhunyt tengerészek közül most újabb négyet sikerült azonosítani genetikai elemzések révén...
💰 A befektetési világ fenekestül felfordult, mióta a Kalshi bejelentette, hogy 1 milliárd dollárnyi friss tőkét vont be, így a céget 22 milliárd dollárra értékelték...
💸 Erősen megoszlanak a vélemények a bitcoin négyéves ciklusainak jelentőségéről, miközben az év végi árfolyam-becslések is igen széles sávban mozognak – van, aki nem vár új csúcsot, mások akár 54–90 millió forintot is elképzelhetőnek tartanak...
Évekig tartó várakozás után a Spotify-használók végre megszabadulnak az egyik legbosszantóbb hiányosságtól: az MI DJ mostantól újabb országokban is elérhető...
🔍 A Google új keresőeszköze röviden összefoglalja a Redditről és más közösségi médiából származó tanácsokat: az úgynevezett „Szakértői tanácsok” (Expert Advice) panel előnézetben mutatja a nyilvános online beszélgetések és egyéb források nézőpontjait...
Az elmúlt napokban a bitcoin árfolyama közel járt ahhoz, hogy áttörje a régóta figyelt 200 napos egyszerű mozgóátlag szintjét, de végül 81 000 dollár környékére húzódott vissza...
Az Atlanti-óceánon haladó MV Hondius nevű luxushajón nyolc ember fertőződött meg hantavírussal, közülük három meghalt, és többen továbbra is orvosi kezelésre szorulnak...
Az életkor előrehaladtával a test zsíreloszlása jelentősen átalakul. A bőr alatti, úgynevezett szubkután zsír önmagában még hasznos is, viszont a zsigeri zsír már komoly egészségügyi kockázatot jelent...
Ami először apróságnak tűnt, mára veszélyes átveréssé nőtte ki magát: csalók a Google-hirdetéseit használják fel arra, hogy ártalmatlan keresési találatok mögé bújva felhasználókat ejtsenek csapdába...
🧠 Erre utal többek között az, hogy azok a cukorbeteg páciensek, akik elsősorban azért esznek túl, mert csábító az étel látványa vagy illata, sokkal eredményesebben fogynak, és javítják vércukorszintjüket Ozempic (vagy ahhoz hasonló GLP-1-gyógyszer) szedése esetén, mint azok, akik inkább stressz vagy rossz hangulat miatt esznek...