A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
💫 A tudósoknak most először sikerült közvetlenül lefotózniuk a kozmikus hálót, vagyis azt a rejtett, óriási anyaghálózatot, amely a galaxisokat kapcsolja össze az univerzumban...
A decentralizált pénzügyek (DeFi) világa új korszakhoz érkezett: a KelpDAO-nál történt közel 108 milliárd forintnyi (293 millió dollár) értékű hackertámadás világossá tette, hogy már nem elsősorban a programozási hibák jelentik a fő veszélyt, hanem a rendszerek egyre növekvő összetettsége és a mögöttes infrastruktúra...
⚽ A 2026-os FA Kupa-döntőben két olyan csapat csap össze, amelyek számára kulcsfontosságú a győzelem – bár mindkettő csalódásokkal teli időszakot igyekszik felejteni...
👎 Ez a jelenség jól illusztrálható azzal, hogy alig jelentették be a Google legfrissebb laptopját, a Googlebookot, máris komoly negatív visszhangot kelt az interneten...
Május közepén különösen sok izgalmas tudományos felfedezés került napvilágra. Az egészségügytől kezdve a történelem előtti fogorvoslásig, sőt, egészen a nukleáris kísérletek által született különleges kristályokig szóltak a hírek – és ezek nem csupán a tudósokat, hanem a hétköznapi embereket is gondolkodásra késztették...
Különösen igaz ez akkor, ha két világsztár randevúzik a reflektorfény közepén: Taylor Swift és párja, Travis Kelce ismét együtt mutatkoztak New Yorkban...
🚀 Április közepe technológiai fronton igazán eseménydúsan telt: a legnagyobb mobiloperációs rendszerek frissítései és néhány szokatlan újdonság is napvilágot látott...
Az idei skót bajnokság utolsó nagy összecsapása minden eddiginél feszültebbnek ígérkezik, hiszen eldől, kié lesz a bajnoki cím: a többszörös győztes Celtic vagy a bajnoki aranyra 66 éve éhező Hearts örülhet a lefújáskor...
🚀 Egy kivételesen nagy, frissen felfedezett aszteroida, amely akár 35 méter átmérőjű is lehet, hétfőn szokatlanul közel száguld el a Föld mellett, ráadásul élőben is megtekinthető lesz...
Faisal Monai neve ma Szaúd-Arábiában egyet jelent a pénzügyi forradalommal: már 2004-ben ő vezette át az ország 4000 milliárd dolláros, készpénzre épülő fizetési rendszerét digitális alapokra...
🤖 A szakítás utáni időszak gyakran hoz felszínre furcsa megoldásokat. Egyre többen próbálják feldolgozni a fájdalmukat úgy, hogy digitális másolatot készítenek volt párjukról MI segítségével...
⚡ A mesterséges intelligencia fejlesztésének egyik legnagyobb kihívása az, hogy miként működtethetők hatékonyan olyan rendszerek, amelyekben több MI-ügynök dolgozik együtt...
A Kars4Kids nevű nonprofit szervezet hírhedt rádióreklámjaival évek óta az őrületbe kergeti a hallgatókat, ám most egy bírósági döntés miatt le kell állítania ezek sugárzását Kaliforniában...
Egy brit startup, a Lightmark forradalmasítaná a videók hitelesítését: a hagyományos, utólagos ellenőrzés helyett a felvétel pillanatában titkos fényujjlenyomat kerül a felvételre...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. War Mongrels (iPhone/iPad)A War Mongrels egy izometrikus nézetű, valós idejű taktikai játék, mely a második világháború keleti frontján játszódik...
🕺 A Subnautica 2 korai hozzáférésű változatát még a hivatalos megjelenés előtt kiszivárogtatták, és sokan büszkén hencegtek azzal, hogy ingyen játszanak, ahelyett hogy fizetnének a 11 000 forintos játékért...