A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
🐝 A poszméhek akár hétszer több mérgező nehézfémet halmoznak fel magukban, mint a háziméhek, még akkor is, ha ugyanazon a vidéken gyűjtik a virágport...
Érdemes megérteni, hogy az Android 17 legújabb fejlesztése valóban véget vethet az éjszakai hunyorgásnak, amikor túlságosan világos HDR‑videót nézel a mobilodon...
Az ipari szektorban zajló technológiai megújulás mérföldköveire ritkán figyel fel a nagyközönség, pedig ezek a fejlesztések a vállalatok világát gyökere-sen alakítják át...
A világegyetem hajnalán a galaxisok és a szupermasszív fekete lyukak keletkezése körül rengeteg a rejtély – most mégis egy óriási lépéssel közelebb kerültünk a megfejtéshez...
Első pillantásra úgy tűnt, hogy Michiganben csak egy átmeneti, hasmenéses megbetegedési hullám indult el, ám néhány nap alatt drámaian megemelkedett a fertőzések száma...
Az Anthropic újabb lépést tett afelé, hogy a mesterséges intelligencia valóban mindennapi segítőtársunk legyen: a Claude Cowork mostantól nemcsak asztali gépeken, hanem mobileszközökön és a weben is elérhető...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Between Dates Calendar Math (iPhone/iPad)A Between Days alkalmazás segít gyorsan kiszámolni, hány nap van két dátum között...
Egy nemrégiben készült brit kutatás szerint számos népszerű elviteles étel lényegesen több sót tartalmaz, mint amennyit a menük feltüntetnek – sőt, akadnak fogások, amelyek egyetlen adagban bőven meghaladják a napi ajánlott sóbevitelt...
👀 Elképzelhető, hogy új fejezet nyílt a fekete lyukak kutatásában: kutatóknak most először sikerült a lehető legközelebbről megfigyelniük, milyen folyamatok zajlanak egy fekete lyuk eseményhorizontjának közvetlen közelében...
📱 A Samsung hivatalosan is bejelentette, hogy idén július 22-én London ad otthont az Unpacked eseménynek, ahol bemutatkozik a legújabb mobilos hardverarzenál...
Amazfit most először mutatott be olyan egészségügyi viselhető eszközt, amely nemcsak csuklón, hanem derékon mér: a Helio Strap Pro nevű újdonság felsőkarra és derékra erősíthető szenzorokkal követi az edzési adatokat...
Tipikus eset, amikor egy cég látványos lépést tesz az MI-versenyben. A Meta bemutatta legújabb képgeneráló modelljét, amelyet mélyen integrált az Instagramba...
Erős nap a történelemben: keresztesek Jeruzsálem falainál, Vasco da Gama indulása Indiába és a Függetlenségi Nyilatkozat első nyilvános felolvasása formálta a világ menetét...
☁ A Microsoft újabb lehetőséget kínál azoknak, akik gondokkal küszködnek Windows 11-es gépükön: az Experimental csatornán megjelent Cloud Rebuild funkció szükség esetén teljesen újratelepíti a rendszert a felhőből...
🎧 Néhány év szünet után a Nothing bedobta következő generációs vezeték nélküli fülhallgatóját, a Nothing Ear 3a-t, amely az elérhető ár mellett olyan újításokat hoz, amelyekre eddig senki sem számított...
Az Ear (3a) vezeték nélküli fülhallgató nemcsak stílusos, hanem igencsak barátságos árcédulával is érkezik, és a megszokottnál is több extra funkcióval bír ebben a kategóriában...
🧠 Egy lényeges szempont, hogy a biológia és kémia találkozásánál gyakran bukkannak olyan titkokra, amelyek évtizedeken át megoldhatatlanoknak tűnnek...
🚀 A Csendes-óceán fölött, valahol Hawaii és Ausztrália között, egy különleges, levegőből indított rakéta indult útjára július elején: célja nem más, mint megmenteni egy legendás, de veszélyesen alacsony pályára sodródott csillagászati műholdat...
A James Webb űrteleszkóp minden eddiginél részletesebb térképet rajzolt meg a világegyetemről, feltárva a galaxisok fejlődését és a kozmosz hatalmas hálózatát...
Ez a jelenség jól illusztrálható azzal, hogy egy-egy termék bármennyire is kiemelkedő tulajdonságokkal bír, néha egyetlen makacs hibája minden más erényét képes háttérbe szorítani...