A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Monthly Dystopia (iPhone/iPad)A Monthly Dystopia című túlélőjátékot George Orwell 1984-je ihlette, és egy kegyetlen diktatúrában játszódik...
Érdemes megvizsgálni, milyen titkokat rejt az a hatalmas dokumentumhalmaz, amelyet a Pentagon a közelmúltban tett közzé azonosítatlan repülő tárgyakról és rendkívüli légköri jelenségekről...
Fontos kérdés, hogy milyen irányban fejlődnek a hangalapú MI-megoldások, amikor már nemcsak beszélgetni tudnak, hanem összetett feladatokat is képesek hatékonyan kezelni...
🚧 Egy nagyvállalat vezérigazgatójának MI-ügynöke nemrég átírta a teljes vállalati biztonsági szabályzatot – nem támadás következtében, hanem mert egy hozzáférési problémát akart megoldani, ám hiányzó jogosultságai miatt végül önhatalmúlag megszüntette a korlátozást...
🤩 Jellemző példa erre, hogy a technológiai szektorban sosem látott ütemben tör előre egy friss szereplő: három év leforgása alatt olyat produkált, amire sok, korábban domináns szereplő csak álmodhatott...
Az Anthropic néhány héttel ezelőtt jelentős frissítéseket vezetett be platformján: a memória, az értékelés és a több ügynök összehangolása mostantól egyetlen, egységes környezetben működik együtt...
🐍 Világszerte több mint egymillió amputációra kerül sor évente, főként cukorbetegséghez kapcsolódó érrendszeri betegségek, sérülések, fertőzések és daganatok miatt...
Egyre komolyabb veszélyt jelent a vállalati IT-biztonságra az a tendencia, hogy hétvégi kódolások során, könnyen használható platformokon születnek új céges alkalmazások...
Mindenki a PVKK (teljes nevén Planetenverteidigungskanonenkommandant) megjelenését várta, hiszen a tavalyi PC Gaming Show: Most Wanted listáján is ott volt...
🪙 Senki sem gondolja komolyan, hogy a Blizzard szándékosan akarta elkényeztetni a Diablo IV: A gyűlölet ura (Diablo IV: Lord of Hatred) játékosait egy elképesztő, 900 százalékos aranybónusszal, de ez nem akadályozza meg a közösséget abban, hogy kihasználja, amíg lehet...
💸 A Take-Two vezérigazgatója, Strauss Zelnick nem kertel: minden eddiginél nagyobb nyomás nehezedik a Rockstarra, hiszen a GTA 6 a történelem legdrágább videojátéka lehet...
💸 Washingtonban tartott előadásán Paul Atkins, az amerikai Értékpapír- és Tőzsdefelügyelet (SEC) elnöke bejelentette: tervezik, hogy új szabályozást vezetnek be az onchain (blokklánc-alapú) kereskedési rendszerek, kriptotárcák és a blokklánc-alapú elszámolási infrastruktúra területén...
🛸 Több mint 160 korábban titkos, most nyilvánosságra hozott dokumentum, fénykép és videó mutatják meg, hogy az évtizedek során mennyi rejtélyes égi jelenséget észleltek, amelyek sokszor tudósokat és űrhajósokat is zavarba hoztak...
🚀 A floridai Miami Beachben megrendezett EasyA Hackathon idén minden korábbinál nagyobb lendületet vett, elmosva a hagyományos kriptós események és az MI-alapú startupépítés határait...
Lényeges, hogy a kockázatvállalási kedv újabb csúcsra emelte a kriptopiacot: pénteken az altcoinok látványos előnyt szereztek a bitcoinhoz képest, amely továbbra is 80 000 dollár (közel 29 millió forint) felett stabilizálódott...
A Kraken kriptotőzsde anyavállalata, a Payward újabb nagy lépésre készül: országos vagyonkezelői engedélyt kért az Egyesült Államok Valutaellenőr Hivatalától (OCC)...
Mai visszatekintőnkben királyi merénylet, román függetlenségi nyilatkozat, európai rekordot döntő gőzmozdony, az Európai Uniót megalapozó Schuman-nyilatkozat, valamint a világ első jóváhagyott szájon át szedhető fogamzásgátlója is helyet kap...
💻 Felmerül a kérdés, hogy hová tűnik a rengeteg adat, hiszen a legújabb Micron SSD-be már 245 TB-nyi adat fér el – nagyjából egy egész adatközpontnyi kapacitás egyetlen egységben...
🔒 Ami először apróságnak tűnt, mára kulcskérdéssé vált: miként biztosítható a vállalati szoftverek megbízhatósága és biztonsága az MI-vezérelt ökoszisztémában?..
A kriptopiac legizgalmasabb fejleménye az utóbbi időben, hogy a stabilcoinok már nem csupán digitális kuriózumnak számítanak, hanem a hagyományos pénzügyek világában is komoly szerepet kaptak...
Több mint hétmillió alkalommal töltöttek le olyan androidos alkalmazásokat a Google Play Áruházból, amelyek hamisan ígértek hozzáférést telefonhívásokhoz, SMS-ekhez és WhatsApp-üzenetekhez...