A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
🕵 Az utóbbi napokban az FBI kibervédelmi rendszereiben olyan behatolást fedeztek fel, amely a drótlehallgatáshoz és a megfigyeléshez köthető hálózatokat érintette...
Az amerikai Roundhill Investments egyre népszerűbb tematikus alapjairól ismert: sportfogadás, fogyókúrás gyógyszerek, önvezető autók és a metaverzum – mind külön tőzsdén kereskedett alapban (ETF) futnak náluk...
Az Nscale nevű brit startup mindössze egy év alatt kulcsszereplővé vált az MI-infrastruktúra piacán, miután újabb 2 milliárd dollár, vagyis közel 720 milliárd forint forrást vont be...
🚗 Az autósok Amerikában újabb, még súlyosabb üzemanyagáremelkedésre készülhetnek, ahogy az olajárak példátlan ugrást produkáltak egyik napról a másikra...
Különös dinoszauruszcsontváz került elő Argentínából: az Alnashetri cerropoliciensis nevű, alig 700 grammos állat megdönti a korábbi elméleteket a miniatűr, rovarevő őshüllők fejlődéséről...
Felmerül a kérdés, mennyire változik Kínában a fogyasztói árak helyzete, miután februárban az infláció nagyobb mértékű növekedést mutatott, mint bármikor az elmúlt három évben...
Egy ausztrál cég, a Cortical Labs, sikeresen összekötött nagyjából 200 ezer élő emberi agysejtet egy szilíciumlapkával, hogy azok elboldoguljanak a legendás Doom játékban...
💡 A kétdimenziós anyagok különleges elektronikai és mágneses tulajdonságaik miatt komoly figyelmet kapnak, hiszen ezek a jövő technológiáit is forradalmasíthatják...
A Bitcoin ára egyelőre stabilan 67 000 dollár (kb. 24,3 millió Ft) körül mozog, miközben a világ tőzsdéin komoly eladási hullámok indultak, az olaj ára meghaladta a 100 dollárt (36 ezer Ft) hordónként, és az USA-dollár egy éve nem látott erősödést produkált...
A depresszió világszerte az egyik vezető egészségügyi probléma, nem véletlen, hogy az érintettek mintegy 30 százaléka a hagyományos antidepresszánsokra sem reagál...
📈 Dél-Koreában a Kospi index hétfő délelőtt négy napon belül másodszor aktiválta a kereskedést felfüggesztő automatizmust, amikor a piac több mint 8 százalékot zuhant, miután az olajár hordónként közel 120 dollárig (kb...
Az Európai Unió Bíróságának főtanácsnoka, Athanasios Rantos szerint a pénzintézeteknek haladéktalanul vissza kell téríteniük azokat a számlatulajdonosokat, akik jogosulatlan tranzakciók áldozatai lettek – akkor is, ha ebben részben saját hibájuk is közrejátszott...
A Laser Interferometer Gravitational-Wave Observatory (LIGO) példátlan módon először a téridő hullámain keresztül érzékelte az ütköző fekete lyukakat...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Castle Zombiestein – 3D FPS (iPhone/iPad)A Zombiestein egy fizikára épülő akciójáték, melynek főhőse Yuri “Tarzan” Agron, az orosz Spetsnaz elit katonája...
🔑 A Missouri Egyetem kutatói áttörést jelentettek be: egy olyan DNS-alapú tárolót fejlesztettek, amelyet újra és újra lehet törölni és felülírni, ráadásul az adatok akár több száz évig is megőrizhetők benne...