A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
💀 Milyen para már, amikor a Mac-ed hirtelen megáll, pedig csak békésen szöszmötöl az irodában vagy a gardróbban, egy csomó fontos feladattal a háttérben?..
Na hát ennyit erről, hogy az Instagramon minden örök – mostantól visszavonhatod vagy kijavíthatod a kommentjeidet, amelyeket posztok alá írsz, persze csak 15 percen belül...
Nakamoto, SharpLink és Strive nevét most érdemes megjegyezni: ezek a digitális vagyonkezelő cégek a legnagyobb zuhanás után akár a bitcoin ETF-eknél is jobban teljesíthetnek...
Egy fejlett, Lua-alapú, LucidRook nevű kártevő ütötte fel a fejét Tajvanon, amely nonprofit szervezeteket és egyetemeket támad phishing (adathalász) e-mailekkel...
Az égbolt szerelmesei hetek óta készültek arra, hogy idén tavasszal átélhessék a rendkívüli látványt: egy új „napközeli” – vagyis extrém közel a Naphoz suhanó – üstökös tűnt fel, amely akár nappal is látható fényességet ígért...
Ma olyan mérföldkövek sorjáznak, mint a Statute of Anne első szerzői jogi törvénye, a pingpong-diplomácia áttörése, és a szmolenszki légikatasztrófa tragédiája...
Áprilisban igazán izgalmas időszak vár az Xbox Game Pass előfizetőire: díjnyertes folytatások, zseniális új független címek, klasszikusok ráncfelvarrott kiadásai és persze jó néhány addiktív gyöngyszem kerül fel a platformra...
A mesterséges intelligencia fejlesztésének egyik legfőbb kihívása, hogy olyan autonóm ügynökök épüljenek, amelyek képesek alkalmazkodni a környezet változásaihoz anélkül, hogy az alapul szolgáló nagy nyelvi modellt újra kellene tanítani...
💉 Míg az elmúlt években a Lyme-kór egyre komolyabb egészségügyi problémává nőtte ki magát, most új remény villant fel: a Pfizer és a Valneva közös fejlesztése révén egy hatékony vakcina kerülhet a piacra, amely segíthet megfékezni ezt a kullancsok által terjesztett betegséget...
☀️ Úgy tűnik, a Samsung most komolyan fejleszti a Now Brief funkcióját: a kiszivárgott képernyőfotók alapján már nemcsak az aktuális nap időjárását mutatja majd, hanem egy teljes, hétnapos előrejelzést is, részletesen megadva a napi maximumokat és minimumokat, valamint ikonokkal illusztrálva a várható időjárást...
🔒 A kontinens legnagyobb vasúti utazásait szervező Eurail kénytelen volt elismerni, hogy tavaly december végén hackerek több mint 300 ezer ügyfél személyes adataihoz jutottak hozzá...
Pár hónap múlva már a Pixel 11 szériát foghatjuk kézbe – és bármilyen hihetetlen, de ezek a telefonok lehetnek az elsők, amelyek megkapják a Samsung vadonatúj M16 OLED paneljét...
🤯 Emellett a Google Home felhasználói egyre nagyobb számban tapasztalnak komoly problémákat a Gemini nevű, frissített hangalapú asszisztenssel, amelyet már 16 új országban vezetik be...
⚠ Az OpenAI felfüggesztette az Egyesült Királyságba tervezett Stargate nagyléptékű MI-infrastruktúra kiépítését, miután makacs energiaár-emelkedés és bizonytalan szabályozási környezet húzta keresztbe a számításaikat...
Jól mutatja, hogy egyetlen elütés is okozhat milliárdos kárt: a második legnagyobb dél-koreai kriptotőzsde, a Bithumb munkatársai februárban tévedésből egy promóció során „BTC”-t írtak „KRW” helyett, így 249 nyertesnek nem 620 000 forintnyi összeget, hanem fejenként 620 000 bitcoint, összesen több mint 40 milliárd dollárt (14 320 milliárd forintot) írtak jóvá belső rendszerükben...