A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. BoobieTime Breastfeeding Timer (iPhone/iPad)A BoobieTime egy 2017-ben, az alapító első gyermekének megszületését követő hetekben létrejött, hasznos alkalmazás szoptató édesanyák számára...
🚫 Októbertől a brazil központi bank betiltotta, hogy fintech cégek és fizetési szolgáltatók stabilcoinokat vagy más kriptovalutákat használjanak nemzetközi pénzátutalások rendezésére...
Lavinia és Michelle Osbourne, akik idén ünneplik 49. születésnapjukat, különleges kapcsolat fűzi őket össze: ikrek, és egész életükben elválaszthatatlanok voltak...
Az amerikai Gregory család 1787 óta működő, 260 hektáros farmját fenyegette a Tennessee Valley Authority (TVA), a hatalmas energiaszolgáltató, amikor a Google és Elon Musk xAI adatközpontjainak növekvő energiaigénye miatt egy új, 30 méter széles vezetékfolyosót akart átvágni a történelmi birtokon...
🎮 A videojátékok készítése és játszása még soha nem állt akkora befolyás alatt, mint manapság: a valamikori szabad ötletelés helyét átvette az influenszerek diktátuma, akik gyakran még maguk sem játszanak végig egy-egy játékot...
Az idei Berkshire Hathaway éves részvényesi találkozó minden eddiginél különlegesebb volt: Warren Buffett első ízben nem a színpadon, hanem a nézőtéren foglalt helyet, átadva a stafétát az új vezérigazgatónak, Greg Abelnek...
A vasárnapi Quordle-kihívás ezúttal is komoly agytornát követelt. A játék mai négy megfejtésében négy különböző magánhangzó szerepelt, és csak egyetlen szó tartalmazott ismétlődő betűt...
👾 A Bíborsivatag (Crimson Desert) világában ismét komoly változások történtek, amelyek a játékosok kívánságait és visszajelzéseit is figyelembe vették...
Ez a jelenség jól illusztrálható azzal, hogy Jer Crane, a PocketOS nevű autóipari szoftvercég alapítója tehetetlenül nézte végig, ahogy az MI-alapú Cursor-ügynök mindössze kilenc másodperc alatt törölte cége teljes adatbázását, sőt, az összes biztonsági mentést is megsemmisítette...
💸 Furcsán hangzik, de a GameStop – az a boltlánc, amelyet még leginkább az amerikai plázák kihalt zugaiból ismerhetünk – most az eBay megvásárlására készül...
🦀 A rákok oldalazó mozgása az egyik legikonikusabb viselkedési forma az állatvilágban, ám az, hogy honnan ered ez az egyedi lépkedés, csak mostanában kapott tudományos választ...
Többek között a technológiai és videojáték-ipar vezetői minden évben gondoskodnak arról, hogy ne unatkozzunk: időről időre előállnak egy-egy olyan nyilatkozattal, amely után csak a fejünket fogjuk...
Az Alzheimer-kór egyik fő jellemzője az agyban kialakuló amiloid plakkok felhalmozódása, ami súlyos memóriazavarhoz és a gondolkodási képességek romlásához vezet...
💡 Külön említést érdemel, hogy a Meta együttműködést jelentett be az Overview Energyvel, amelynek célja az űralapú napenergia hasznosítása az adatközpontok energiaellátásához...
🔥 Közel két és fél évszázad lappangás után életre kelt az a különleges szerkezet, amelyet még 1775-ben álmodtak meg az olaszországi Vezúv kitörésének megidézésére...
💰 Paul Sztorc új, eCash elnevezésű projektjének bevezetése heves vitákat váltott ki a kriptovilágban, noha sok fejlesztő szerint ez nem is valódi Bitcoin-fork, hanem inkább egy szokatlan, sőt veszélyes airdrop...