A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
📈 A PC-építés világa megrendült, az alaplapgyártók eladásai évtizedes mélyponton vannak. Nem elég, hogy folyamatosan drágul a memória, a közel-keleti háborús helyzet is árfelhajtó hatást gyakorol, így a saját gépet építők egyre kevésbé érzik érdemesnek új gépbe fektetni...
Egy új, vizes alapú akkumulátor minden eddiginél hosszabb élettartamot ígér, miközben teljesen biztonságosan kidobható a környezetbe: semmilyen mérgező anyagot nem tartalmaz...
🤖 A metaverzumról alkotott kép radikálisan átalakul. Yat Siu, az Animoca Brands elnöke szerint a jövő már nem az emberek VR-sisakos álomvilágába vezet, hanem a digitális háttérben dolgozó, önjáró MI-ügynököké...
🌐 Fontos kérdés, hogy a gyorsan változó világban mennyire számít még a hagyományos piackutatás, ha egyetlen TikTok-videó már világszerte trenddé emelhet egy márkát néhány óra alatt...
💳 Bitcoinnal foglalkozó nagyvállalatok ma már nem elsősorban az úttörő decentralizált pénzügyi megoldásokért lelkesednek, hanem az átláthatóságot, az egyértelmű szabályokat és a jól értelmezhető kockázatkezelést keresik...
Jellemző példa erre, hogy egy több mint 15 000 oldalból álló, kiterjedt hálózat hirdeti hamis MI-befektetési ajánlatait, és mindehhez népszerű hirdetéskövető szolgáltatásokat használ fel...
☕ Érdemes megvizsgálni, mennyire változtatja meg a reggeli kávéélményt a KitchenAid legújabb félautomata eszpresszógépe, amely egyszerre ötvözi a klasszikus dizájnt és a modern, letisztult kezelőfelületet...
💸 Az American Bitcoin, amely a Trump fivérekhez köthető, az első negyedévben jelentősen csökkentette a bitcoinbányászati költségeit: 23%-kal kevesebbet, mintegy 13,1 millió forintot (kb...
🎮 Érdemes megvizsgálni, milyen hatással lehet a klasszikus szerepjátékok világára, ha egy olyan ikonikus sorozat, mint a Wizardry, visszatér a piacra...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. DualShot Recorder (iPhone/iPad)A DualShot Recorder alkalmazás lehetővé teszi, hogy egyszerre függőleges és vízszintes videófelvételeket készíts...
Az egykori bányaváros, Cumberland, egykor szinte teljes egészében a szénbányászatra épült: generációkon át ez határozta meg a mindennapokat, több ezer embernek adott munkát, és évente millió tonna szenet küldtek innen a világ különböző pontjaira...
🤖 A technológia világát hosszú időn át a mobilalkalmazások uralták, ám most új korszak kezdődik: nemcsak a telefonodra, hanem a robotodra is letölthetsz programokat...
😱 Az interneten egyre jelentősebbé válnak az MI-ügynökök, és bizonyos jelek arra utalnak, hogy 2035-re már többen lesznek, mint a tényleges internethasználók...
Kezdetben az éjszakai égbolt viszonylagos sötétsége lehetővé tette, hogy a földi csillagászati műszerek soha nem látott részletességgel térképezhessék fel az univerzumot...
A világ egyik legnagyobb klíringházaként ismert DTCC forradalmi lépésre készül: a pénzügyi piacok egyik legkevésbé látványos, de a működés szempontjából kulcsfontosságú területét, a vállalati eseményeket – például osztalékfizetéseket és felvásárlási ajánlatokat – szeretné blokkláncra vinni...
✈ Mérföldkőhöz érkezett az amerikai haditengerészet új MQ-25A Stingray drónja, amely sikerrel teljesítette első, kétórás próbarepülését Dél-Illinois fölött...