A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Waltz of the Wizard (iPhone/iPad)A Waltz of the Wizard egy fizika alapú, első személyű varázslószimulátor, amely klasszikus fantasy élményt kínál...
🤖 Az utóbbi években a fejlesztőknek még komoly infrastruktúrára volt szükségük ahhoz, hogy nagyméretű nyelvi modelleket (LLM) működtessenek: indexelés, lekérdezőmotorok, adat-visszakeresést végző folyamatok és aprólékosan vezérelt feladatsorok tartották életben a rendszereket...
Amerika egyik legismertebb tudósa, Neil deGrasse Tyson asztrofizikus saját temetkezési terveiről fejtette ki, mi történik velünk halálunk után – és miért a hagyományos temetkezést részesíti előnyben a hamvasztással szemben...
A fejlesztők által használt MI-keretrendszerek drasztikusan átalakulnak. A bonyolult programozói környezetek visszaszorulnak, helyüket egyre inkább átlátható, hatékony és természetes nyelvű megoldások veszik át...
Az Alberta Investment Management Corporation (AIMCo), Kanada egyik óriásnyugdíjalapja, nagyot lépett: idén év elején 1 382 000 darab MSTR-részvényt (MicroStrategy) vásárolt, összesen 62,6 milliárd forintért (172,5 millió dollár)...
Újabb, a játékmenetet megtörő hibát kellett kezelnie a Blizzardnak a Diablo IV-ben (Diablo 4): a Limitless Rage nevű legendás tárgy aspektusa túlzottan hatékonynak bizonyult, ezért a fejlesztők gyorsan letiltották a használatát...
A nagyvállalati MI bevezetése eddig sokszor megrekedt, mert a háttérrendszerek egyszerűen nem voltak felkészítve arra, hogy ügynökalapú munkavégzést támogassanak...
🤠 A Far Far West meglepetéssikert aratott a Steamen: a vadnyugati, többjátékos robotcowboy-lövöldözős játék mindössze két nap alatt 250 ezres eladást produkált világszerte...
Ki gondolta volna, hogy egy klasszikus kriptóbányász egyszer csak feltámad, ledobja a poros bányászfelszerelést, és hirtelen az AI-üzlet felé kacsintgat?..
A sportvilág egyik legnagyobb pénzgyárosa, Floyd Mayweather komoly bajba került: több mint 2,65 milliárd forintnyi (7,25 millió dollár) adótartozása miatt elveszítheti amerikai útlevelét...
A Filmművészeti és Filmtudományi Akadémia (az Oscar-díjak szervezője) friss szabályokat vezet be a mesterséges intelligencia használatára, amelyekkel kizárja az MI által generált alakításokat és forgatókönyveket a legfontosabb kategóriákból...
Elon Musk ezúttal sem adja fel a küzdelmet a mesterséges intelligencia frontján: miközben a rivális Altman-féle OpenAI világsikereit figyeli, az xAI újabb ütős MI-fejlesztéseket dobott piacra, és ezúttal a döbbenetesen alacsony árakkal akarja letarolni a mezőnyt...
Erős nap a történelemben: Anne Boleyn letartóztatása, Madrid felkelése a francia megszállás ellen és a második világháborús olaszországi kapituláció is ehhez a dátumhoz kötődik...
2025-ben az Egyesült Államokban és Kanadában 264 milliárd forint (kb. 725 millió USD) értékben tűnt el áru – és az elkövetők egyre rafináltabb módszerekkel dolgoznak...
💻 Májusban igazi szimulátorözön várható a cozy játékok világában, ráadásul minden típusból akad újdonság: életszimulátorok, boltvezetős szimkék és egészen extrém menedzsmentjátékok is indulnak...
Az Egyesült Államokban először fordult elő, hogy egy mesterséges intelligencia önállóan céget alapított, megszerezte a tevékenységhez szükséges hivatalos iratokat, és már az első kriptovaluta-kereskedésére is készül...
A King’s College London kutatócsapata egy egészen új alumíniumformára bukkant, amely olcsóbb és fenntarthatóbb alternatívája lehet a jelenleg használt, drága és ritka fémeknek...
Az utóbbi időszakban drámai mértékben, 146%-kal nőtt a QR-kódos adathalász támadások száma, miközben más, korábban elterjedt módszerek háttérbe szorultak...
A Dél-Amerikában dolgozó kutatók egy új repedéslakó pókfajt fedeztek fel, amely a Pikelinia floydmuraria nevet kapta – ezzel egyszerre a Pink Floyd zenekar előtt tisztelegnek és a pók jellegzetes lakóhelyére utalnak...
Jó példa erre, hogy az okostelefonokon már ismert A Division: Újjászületés (The Division Resurgence) mostantól számítógépen is kipróbálható, még a hivatalos augusztusi rajt előtt...