A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
Alzheimer-kór esetén a számok riasztóak: világszerte milliókat érint, az esetek száma rohamosan emelkedik, a költségek már ezermilliárd forint fölött járnak...
Érdemes megvizsgálni, miként alakítja át a Google új fejlesztése az MI-algoritmusok működését — különösen most, amikor a chatbotok és más MI-megoldások iránti kereslet berobbant, de a háttérben hatalmas hardverigények rejtőznek...
🛡 Három országban – az Egyesült Államokban, Mexikóban és Kanadában – rendezik meg a 2026-os FIFA Labdarúgó-világbajnokságot, amelyre előreláthatóan 6,5 millió rajongó érkezik majd a világ minden tájáról...
💸 A Dogecoin ismét a figyelem középpontjába került: a kriptovaluta árfolyama az elmúlt napokban közel 10%-ot erősödött, rövid időre elérve a 11 centes csúcsot, mielőtt 0,105 dollárnál, azaz mintegy 39 forintnál stabilizálódott...
💀 Ilyen eset például, amikor egy szimpla, munkahelyi belső poén rögtön a technológiai világ egyik legérdekesebb pletykájává válik: Sam Altman egy laza megjegyzéssel már pedzegette, hogy hamarosan érkezik a GPT-6 – ráadásul „több goblinnal”, mint eddig bármikor...
Nem hiszem el, de a World Liberty Financial épp most készül elengedni 62 milliárd WLFI tokent, egy közel teljes egyetértés mellett meghozott szavazás után...
Az Amazon egy teljesen új korszakot nyitott meg a vállalati MI-szolgáltatásokban, amikor bejelentette, hogy a legfejlettebb OpenAI-modellek mostantól elérhetők az Amazon Bedrockon, és ezzel véget vetett a felhőszolgáltatói kizárólagosságnak...
Egy vezető nemzetközi kutatócsoportnak először sikerült egy foton állapotát kvantumteleportációval átvinni két, egymástól fizikailag távol lévő kvantumpont között...
A Dreame Next rendezvény harmadik napján a Dreame két igazán különleges okostelefont mutatott be a közönségnek, amelyek dizájnja egyeseknél rajongást, másoknál viszolygást váltott ki...
💭 Az emberi gondolkodás pontos működését régóta próbálják megfejteni a pszichológusok: vajon létezik-e egységes elmélet, vagy külön-külön kell vizsgálni a figyelmet, a memóriát és más agyi funkciókat?..
A Csendes-óceán északnyugati partjai alatt épp egyedülálló geológiai folyamat játszódik le: a szakértők először kaptak tiszta képet arról, miként szakad szét egy alábukó (szubdukciós) zóna...
Az MI-alapú ügynökök megjelenése egyre inkább mindennapos a vállalati szoftverfejlesztésben. Amint a fejlesztők új platformokkal kísérleteznek, a szervezetek fokozottan ki vannak téve a biztonsági és szervezeti hibáknak...
👀 Az utóbbi évek nagy slágere lett a testsúlycsökkentő szerek között a Wegovy, de egy friss kutatás most aggodalmat keltett: kapcsolat lehet a gyógyszer használata és a ritka, úgynevezett „szemguta” (ischaemiás optikus neuropátia, röviden ION) között...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Sight Words: Dolch Coach (iPhone/iPad)Ez a játék élményszerűen fejleszti az angol olvasási készséget, hiszen az összes Dolch Sight Words szintet lefedi...
Érdekes fejlemény, hogy hat eddig ismeretlen bronzkori bányát tártak fel Délnyugat-Spanyolországban, Extremadurában, amelyek új fényt vethetnek a skandináv bronzkori fémek eredetére...
A citotoxikus T-limfociták az immunrendszer különleges „gyilkos” sejtjei, amelyek hihetetlen pontossággal képesek felismerni és elpusztítani a fertőzött vagy rákos sejteket...
Többek között az AWS Quick olyan teljesen új lehetőségeket hozott a vállalati MI-rendszerekbe, amelyek eddig a központi irányítópultok számára láthatatlanok voltak...
Érdekes felvetés, hogy a geopolitikai feszültségek mennyire befolyásolják a kriptovaluták árfolyamát, különösen, amikor az olaj ára hirtelen szárnyal...