A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
👶 A babák világra jövetele különleges, mégis megdöbbentően összetett folyamat. Az emberi terhesség átlagosan kilenc hónapig tart, három szakaszra – trimeszterre – oszlik, és már a fogantatás előtt, a menstruációs ciklus kezdőnapjától számítják...
A világ legnagyobb származékos tőzsdéje, a CME Group június 1-jén elindítja a bitcoin volatilitásalapú határidős ügyleteit, amint megkapja a szükséges szabályozói engedélyeket...
Svájcban ismét elhalt egy merész kezdeményezés, amely arra irányult, hogy a Svájci Nemzeti Bank arany- és külföldi devizatartalékai mellett bitcoint is felhalmozzon...
📢 Tizennégy év után ismét lehetőség nyílik arra, hogy vállalatok, szervezetek vagy akár városok saját felső szintű domainnevet (top-level domain, röviden TLD) birtokoljanak az interneten...
A hosszú, mély merülések extrém terhelést jelentenek a tengeri emlősöknek. Ilyenkor a szív és az agy kivételével a többi szerv áttér oxigén nélküli anyagcserére, aminek következtében tejsav halmozódik fel...
A szárazfatermeszek mesterien rejtőzködnek, fából készült épületek belsejében csendben táplálkoznak és gyarapodnak, míg a tulajdonosok csak a károk észlelése után szembesülnek a jelenlétükkel...
🔨 Érdemes megvizsgálni, hogy a modern ember ősrokonai mennyire képesek voltak alkalmazkodni a szélsőséges körülményekhez: a közép-kínai Lingjing lelőhely feltárásán kivételesen fejlett kőeszközökre bukkantak, amelyek körülbelül 146 ezer évvel ezelőtt készültek...
A mai vállalatok egyre bátrabban telepítenek autonóm MI-rendszereket, ám ezek magától értetődő magabiztossággal képesek váratlanul, akár katasztrofálisan hibázni...
🚀 Érdemes megjegyezni, hogy az Abiotikus tényező fejlesztői ismét egy hatalmas frissítést adtak ki, amely tovább bővíti a játék eleve hatalmas világát...
Május második hetének technológiai újdonságai minden eddiginél színesebbek: fizetős kárpótlás az iPhone-tulajdonosoknak, egy új „zseniális” Google Fitbit, legendás játék visszatérése Switch 2 konzolra, valamint a Vine feltámadása is elfért a hét legfontosabb techhírei között...
👑 Aki Ázsiába utazik, hamar szembesül azzal, hogy a helyi közlekedéshez, ételrendeléshez és tájékozódáshoz kötelező letölteni az ottani appokat, hiszen az európai vagy magyar alkalmazások gyakran használhatatlanok...
Ilyen eset például, amikor egy új játékra vagy irodai munkára keresel számítógépet, de a RAM-árak az egekben járnak, így nehéz jó ár-érték arányú, előre összeszerelt gépet találni...
Modderek körében népszerű ötlet, hogy klasszikus játékokat integrálnak a modern környezetbe, de kevesen viszik ezt olyan extrém szintre, mint RPGKing117, aki sorra varázsolja be a legendás szerepjátékokat a Fallout 4 univerzumába...