2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 12:01

Az új PolyShell-támadás a Magento-áruházak felét fenyegeti

Fontos megérteni, hogy az utóbbi napokban tömeges támadássorozat indult a Magento Open Source és az Adobe Commerce rendszereket érintő, súlyos PolyShell-sebezhetőség kihasználására...

MA 11:56

Az MI megeszi az adatközpontok akkumulátorait – új korszakot nyit a Panasonic

A nagy memóriagyártók már minden idei moduljukat eladták, így hiányok és áremelkedések alakultak ki a piacon...

MA 11:45

Az új Razer Blade 16: karcsú, brutális és piszkosul drága

A Razer legújabb, 16 hüvelykes laptopja látványos hardverfrissítéssel érkezik: az Intel vadonatúj Core Ultra lapkáival és ultragyors, 9600 MHz-es LPDDR5X memóriával kapható, legalább 32 GB-tal szerelve...

MA 11:34

Az új Galaxy A57 végre könnyebben javítható

🔧 A Samsung Galaxy A57 5G-t már a bemutató előtt, néhány órával szét is szedték, és ami a leginkább feltűnő: a telefont végre a könnyű javíthatóság jegyében tervezték...

MA 11:12

A techóriások pórul jártak: kétmilliárdos bírság a közösségi oldalaknak

💸 Egy amerikai esküdtszék történelmi döntése értelmében a Meta és a YouTube összesen 6 millió dollár (közel 2,2 milliárd forint) kártérítést köteles fizetni egy ma 20 éves fiatal nőnek és édesanyjának...

MA 11:02

Az elektronikus hadviselés felforgatta a Perzsa-öböl rendjét

A Perzsa-öböl térségében az utóbbi hetekben a helymeghatározó rendszerek zavarása szinte mindennapossá vált...

MA 10:58

Az Intel új Arc Pro kártyái forradalmat hoznak a munkaállomások piacán

Az Intel most masszív lendületet ad az Arc B-sorozatú videokártyáinak, két új modellel: megérkezett az Arc Pro B70 és az Arc Pro B65...

MA 10:51

Az amerikai Hold-állomásról indul az atommeghajtású Mars-küldetés

🚀 Érdekes felvetés, hogy mi lesz a sorsa annak a több milliárd dollárért fejlesztett Hold körüli űrállomásnak, amelynek építését az Egyesült Államok most jegeli, hogy az erőforrásokat inkább más, nagyobb szabású célokra összpontosítsa...

MA 10:43

A Ring új videócsengői végre vezeték nélküliek és 4K-sak

A Ring új szintre emelte kültéri biztonsági eszközeit: elérhetővé váltak a vezeték nélküli, akkumulátoros verziók a 4K-s és 2K-s felbontású videócsengőkből is, már 29 000 Ft-tól...

MA 10:36

Az Insta nem játék: a nagyok rászoktatták, 3 millió dollárt kaszált

💸 A kaliforniai bíróság most tényleg odacsapott: két techóriást, a Metát és a Google-t is felelőssé tették, amiért addiktív dizájnnal szippantották be a fiatalokat...

MA 10:29

Az X kriptóvezért igazolt a pénzügyi áttöréshez

Különösen igaz ez akkor, ha a közösségi médiaóriások pénzügyi szolgáltatások irányába terjeszkednek...

MA 09:57

A rendőrség új szuperdrónja Starlinket is cipel

A dróntechnológia új korszakába lépett, amikor a BRINC bemutatta legújabb fejlesztését, a Guardian nevű, kifejezetten rendőrségi célokra szánt drónt...

MA 09:29

Az éber álom lehet a pihentető alvás titka?

😴 Éjszaka nemcsak testünk pihen, agyunk is különös utakat jár be. Egy friss kutatás szerint ugyanis a színes, élénk álmok nem csupán szórakoztatnak, hanem hozzájárulhatnak ahhoz is, hogy reggel valóban kipihentnek érezzük magunkat — sőt, az intenzív álmodás azoknak az éjszakáknak a titka, amikor a legmélyebbnek érezzük az alvást, függetlenül attól, mennyire aktív maradt közben az...

MA 09:16

A nagy leleplezés: mit naplóz rólad valójában a VPN-ed?

👀 Fontos kérdés, hogy mennyi adatot gyűjt rólad egy VPN, miközben elvileg éppen azt ígéri, hogy megvédi a magánszférádat...

MA 09:08

Az űrtávcsövek lélegzetelállító fotókon tárják fel a Szaturnuszt

🛰 A NASA frissen közzétett képei segítségével a Szaturnusz eddig soha nem látott részletességben tárul elénk...

MA 08:50

Az Apple lehagyhatja a Samsungot a 200 megapixeles iPhone-kamerával

Az Apple évek óta kivár a mobilkamerák terén, de most végre felrázhatja a piacot: tesztelés alatt áll egy 200 megapixeles főkamera, amely nagyobb lehet, mint a Samsung Galaxy S26 Ultra 200 megapixeles érzékelője...

MA 08:43

Az igazság ára: egy volt NASA-klímakutató megrázó vallomása

💬 Fontos kérdés, hogy mi történik akkor, amikor a tudományos élet válságba kerül, és azok is távoznak, akik egyszer a kutatás iránti elkötelezettséget mindennél előbbre valónak tartották...

MA 08:36

Az új trükk: virtuális telefonokkal csapnak le a csalók

Ilyen eset például, amikor a csalók nem valódi telefonokat, hanem virtuális okostelefonokat használnak, hogy teljesen hiteles felhasználónak tűnjenek...

MA 08:29

Az új, rettegett vírus lecsap a kriptopénzedre, és ellopja a jelszavaidat

Egy új, folyamatosan fejlődő kártevő, a Torg Grabber már 850 böngészőbővítményből képes érzékeny adatokat ellopni, ebből 728 kifejezetten kriptopénztárcákhoz kapcsolódik...

MA 07:57

Az új tömegspektrométer egyszerre milliárdnyi molekula titkát fedi fel

🔬 Az elmúlt évtizedekben a tömegspektrometria alapvető eszközzé vált a tudományos kutatásban, ám a technika egyik legnagyobb korlátja, hogy a legtöbb jelenleg használt műszer egyszerre csak néhány molekulát képes elemezni...

MA 07:50

Az MI‑ellátási lánc új réme: hamis papírral is támadnak

🛑 A szoftverellátási lánc sebezhetőségei eddig főként kártevők és zsarolóvírusok révén kerültek be a köztudatba, azonban most egy lényegesen egyszerűbb módszer is elérhetővé vált a támadóknak: rosszindulatú vagy hamisított API-dokumentációval is megvezethetők az MI-alapú kódoló ügynökök...

MA 07:36

Az amerikai tél halálos ára: évente 40 ezer infarktus

Az USA-ban a zimankós hónapok alatt ugrásszerűen megnő a szív- és érrendszeri halálozások száma...

MA 07:22

Az MI-s Bubble-alkalmazások új húzása: tömeges Microsoft-fióklopás

A bűnözők legújabb trükkje, hogy a Bubble nevű, no-code, MI-alapú alkalmazáskészítő platformot használják Microsoft-fiókok elleni adathalász támadásokhoz...

APP
MA 07:11

APPok, Amik Ingyenesek MA, 3/26

Fizetős iOS appok és játékok, amik ingyenesek a mai napon...

MA 07:08

A Reddit az emberekért küzd: jön az emberazonosítás

👤 A Reddit új lépést tett a gyanús aktivitás kiszűrésére: hamarosan arra kötelezi azokat a fiókokat, amelyek automatizált vagy egyébként gépies viselkedést mutatnak, hogy igazolják, valóban ember kezeli őket...

MA 07:01

A mesterséges intelligencia már a GitHub védőernyője alatt működik

A GitHub mostantól mesterséges intelligenciát vet be hibák és sebezhetőségek felderítésére, ezzel jóval szélesebb biztonsági lefedettséget ígér...

MA 06:50

A rejtélyes új-zélandi barlang felfedi a múlt titkait

🗿 Egy váratlanul gazdag lelet került elő egy észak-új-zélandi barlang mélyéből: mintegy egymillió éves fosszíliák, amelyek között tucatnyi madárfaj és négy különböző béka is szerepel...

MA 06:44

A Google forradalmasítja az MI-memóriát: fele ár, nyolcszoros tempó

A nagy nyelvi modellek fejlődése hatalmas dokumentumok és összetett beszélgetések feldolgozására teszi képessé az MI-t, de ezzel együtt egy komoly hardveres akadály, a kulcs–érték (KV) gyorsítótár szűk keresztmetszete is egyre nyilvánvalóbbá válik...

MA 06:36

A Lyria 3 Pro megérkezett: háromperces dalokat ír helyetted

🎵 Zenei ötletekből mostantól kész dalok születhetnek mindössze néhány pillanat alatt. A Gemini alkalmazás fizetős előfizetői számára most elérhető a Lyria 3 Pro, amely már háromperces zeneszámok generálására is képes...