A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
🔒 Érdemes megvizsgálni, hogy forradalmi gyorsasággal terjednek az ügynökalapú MI-eszközök a nyílt forrású fejlesztések világában, amelyekkel akár egyetlen parancs is megkerülheti a teljes biztonsági védvonalakat...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Rhythmicity Rhythm Trainer (iPhone/iPad)A Rhythm Trainer by Rhythmicity egy fizika alapú gyakorlóalkalmazás, amelyet zenészek, diákok és tanárok használnak...
🚀 Elon Musk ambiciózus terve, hogy embereket telepítsen a Marsra, ismét a figyelem középpontjába került, amikor Greg Brockman, az OpenAI elnöke a bíróságon tanúskodott az OpenAI jövőjét is meghatározó per egyik kulcsszereplőjeként...
💻 Hihetetlen, de mégis igaz, hogy egy lelkes PC-rajongó nemrégiben egy szoba méretű gamer PC-t épített, ami messze túlmutat minden eddigi moddoláson...
Egy kevéssé ismert miami startup, a Subquadratic, nem mindennapi bejelentéssel rukkolt elő: állításuk szerint sikerült elsőként feloldaniuk azt a matematikai akadályt, amely 2017 óta meghatározza és egyben korlátozza a legtöbb fejlett MI-rendszert...
A Michael Saylor által vezetett MicroStrategy 12,54 milliárd dolláros (kb. 4 350 milliárd forintos) negyedéves veszteséget jelentett, miközben 818 334 darab bitcoint birtokol – darabonként átlagosan 75 537 dolláros (kb...
Az elmúlt években robbanásszerűen gyorsult fel a blokklánc-technológia terjedése, amelynek egyik legnagyobb úttörője, az Ethereum társalapítója, Joseph Lubin szerint már nem kérdés, hanem adottság: a világgazdaság teljes tokenizációja elkerülhetetlenné vált...
👊 Greg Brockman, az OpenAI elnöke tanúskodott egy kaliforniai bíróság előtt, ahol elmondta, hogy 2017-ben Elon Musk annyira dühös lett, hogy komolyan attól tartott, a milliárdos megüti...
Az űrutazás jövője új fordulatot vehet, miután egy brazil kozmológus véletlenül olyan módszert fedezett fel, amely alaposan lerövidítheti a Mars-expedíciók menetidejét...
🌳 Tavasszal az erdőben minden az időzítésen múlik. A hernyók és más rovarok éppen akkor kelnek ki, amikor a friss, zsenge levelek a legtöbb tápanyagot tartalmazzák...
A James Webb-űrtávcső újabb döbbenetes felfedezést tett: a közeli, vörös törpecsillag körül keringő LHS 3844 b nevű exobolygó felszíni összetételét részletesen feltérképezték...
A legendás Seamus Blackley, aki fejlesztőként és tervezőként nagy sikereket ért el a videojátékiparban, most egészen más területen villantotta meg kreativitását...
Az elmúlt hónapok igazi hullámvasútként teltek a Subnautica 2 fejlesztőcsapatának: pereskedés, bizonytalanság, szervezeti változások színesítették a mindennapokat...
❤️ Ez a jelenség jól illusztrálható azzal, hogy a szakemberek eddig főként a magas pulzust tartották kockázatosnak, most viszont nagyszabású kutatás derítette ki: a túl alacsony és a túl magas nyugalmi pulzus egyaránt összefügghet a stroke kockázatának növekedésével...
Mai időutazásunkon átszáguldunk a reformációtól a modern pénzpiaci sokkig: az angol Biblia-templomprogramtól és a Penny Black indulásától a Hindenburg-katasztrófáig és a skót–walesi önkormányzatiság megszületéséig...
Wall Street és a kriptovilág vezetői egyre komolyabb kihívást látnak abban, hogy a modern pénzügyi piacok az emberi tempó helyett már éjjel-nappal gépek által vezérelt, automatizált rendszerekre támaszkodnak...