2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 17:38

Az MI váratlan arca: erre nem készített fel a kézikönyv

🤔 Az MI-vel foglalkozó kutatók újabb meghökkentő felfedezésre jutottak: a nagy nyelvi modellek spontán, előzetes utasítások nélkül is képesek önálló személyiséget kialakítani...

MA 17:20

Egy óriási fekete lyuk átírja a galaxisokról alkotott képet

🔵 A Hawaii-n működő W. M. Keck Obszervatórium, a James Webb Űrtávcső és a Very Large Array rádióteleszkóp együttes megfigyelései során sikerült azonosítani egy hihetetlenül nagy, „imbolygó” fekete lyuk-kilövellést, amelynek átmérője egy teljes galaxis szélességével vetekszik...

MA 17:01

Az átváltozó polimerbőr: színt vált víz hatására

A Stanford Egyetem kutatói új polimert fejlesztettek, amely szabad szemmel látható mintákat és színeket hoz létre, ha vízzel érintkezik...

MA 16:56

Az Apple legújabb MI-kütyüje: tényleg senkinek sem kell?

🤔 Az Apple egy teljesen új, viselhető MI-eszköz kifejlesztésén dolgozik, amely akár 2027-ben piacra kerülhet...

MA 16:37

Az okoseszközöd már elavult? Nyugi, így hozd ki belőle a legtöbbet!

Az okoseszközök világa gyorsan változik, és amit évekig használtál, egy nap elveszítheti a gyártói támogatást...

MA 16:19

A bálnavadászat titkai: ősi szigonyok írják át a múltat

🐳 Első pillantásra úgy tűnt, a bálnavadászat csak az északi, fagyos vizek közösségeit jellemezte...

MA 16:01

A félvállról vett VMware-sebezhetőségek még mindig lecsapnak

⚠ A VMware vCenter Server kritikus, több mint egy éve javított sérülékenysége ismét aktív támadások célpontja lett...

MA 15:55

Az Nvidia Arm‑os laptopjai fenekestül felforgatják a piacot

⚡ Végre megtörni látszik az Intel és az AMD uralma a Windows laptopok világában: az Nvidia idén tavasszal akár nyolc Arm-alapú, Windowst futtató noteszgéppel készül a piacra lépni...

MA 15:39

Az USA kiberbiztonsági hivatala váratlanul távol marad az év legnagyobb IT-konferenciájától

🔒 Az amerikai Kiberbiztonsági és Infrastruktúra-biztonsági Ügynökség (CISA) nem vesz részt az idei RSA Conference-en, amelyet márciusban rendeznek San Franciscóban...

MA 15:19

Az ipari rendszerek Achilles-sarka: a telnetd sebezhetőség

Már 11 éve lappang egy rendkívül súlyos sebezhetőség a GNU InetUtils telnetd rendszerében, amit hackerek nemrég elkezdtek aktívan kihasználni...

MA 14:55

Az okosórák négyszer több szívritmuszavart szűrnek ki

Egy friss klinikai vizsgálat szerint a stroke szempontjából magas kockázatú, Apple Watchot viselő időseknél négyszer gyakrabban észleltek kóros szívritmuszavart, mint azoknál, akik csak hagyományos orvosi ellátásban részesültek...

MA 14:38

Az otthonod téli védelme: erre figyelj, mielőtt késő!

A tél nemcsak a meghittséget hozza el, hanem a veszélyeket is: a fagyott csövek, kéménytüzek, illetve a fűtési rendszer hibái könnyen súlyos károkat okozhatnak, amelyek akár több százezres javítási költségekkel is járhatnak...

MA 14:19

Az új aranybánya: a ShinyHunters tarol az SSO-fiókokon

Hihetetlen, de mégis igaz, hogy a hírhedt ShinyHunters zsarolócsapat ismét lecsapott, ezúttal vállalati SSO-fiókok feltörésével az Okta, a Microsoft és a Google rendszereiben...

MA 13:57

Az egyik leggyorsabban növekvő fekete lyukat fedezték fel az űrben

Néhány fekete lyuk szabálytalanul viselkedik: most a csillagászok egy olyan távoli kvazárt fedeztek fel, amelynek központi fekete lyuka minden eddigi elméletet meghazudtolva őrült tempóban falja fel a környező anyagot...

MA 13:37

A davosi csúcson MI-láz és geopolitika: erre fókuszálnak a techvezérek

💻 A világ legnagyobb technológiai cégeinek vezetői ismét Davosban találkoztak a Világgazdasági Fórumon, ahol az idei év legégetőbb témái kerültek terítékre...

MA 13:01

A Chromebookon nevelkedett diákokból lesznek a Google leghűségesebb vevői?

💻 A Google belső dokumentumai szerint már az iskolában elkezdődhet a márkahűség kialakítása, ha a diákokat idejekorán bevezetik a vállalat ökoszisztémájába...

MA 12:55

Vége a lazaságnak az amerikai reptereken: jönnek az új azonosítási díjak

Február 1-jétől az amerikai belföldi járatokra szigorúbb beléptetési feltételekre kell számítani, így akik nem rendelkeznek Real ID-vel vagy más elfogadott személyazonosítóval, akár 45 dolláros (kb...

MA 12:38

Az új, színes rádiókép felforgatja, amit a Tejútrendszerről tudtunk

Lenyűgöző, minden eddigit felülmúló rádiófrekvenciás felvételt készítettek a Tejútrendszerről, amely nemcsak csillagszületéseket, hanem szupernóvák maradványait és gigászi galaktikus szerkezeteket is láthatóvá tesz...

MA 12:20

Az emberformájú robotok kora: társaink vagy fenyegetés?

🤖 Érdemes megvizsgálni, hogy az emberformájú robotok rohamos fejlődése miként változtathatja meg mindennapjainkat, illetve milyen hatással lehet arra, hogyan viszonyulunk egymáshoz, az emberekhez...

MA 12:02

Megéri a Loch Capsule, az apró, villámgyors okos mosogatógép?

A Loch Capsule nevű pultra helyezhető mosogatógép minden szempontból igazi újdonság: kicsi, hatékony, gyors, sőt, még a kütyüket is fertőtleníti...

MA 11:55

Az SEC eláll a pertől: fellélegezhetnek a Winklevoss testvérek

Az amerikai Értékpapír- és Tőzsdefelügyelet (SEC) váratlanul visszavonta a pert a milliárdos Winklevoss testvérek nevével fémjelzett Gemini kriptotőzsdével szemben, amelyet a már megszűnt, Earn nevű befektetési termékük miatt indítottak...

MA 11:37

Az MI-kódsegédek falják a fejlesztők adatait

Két ártó szándékú, MI-alapú kódsegéd bukkant fel a Visual Studio Code (VS Code) Marketplace-en, amelyek összesen másfél millió alkalommal kerültek telepítésre, és titokban Kínába szivárogtatták ki a fejlesztők adatait...

MA 11:19

Az App Store keresését elárasztják az újabb reklámok

🔍 Március 3-tól az Apple tovább növeli a hirdetések számát az App Store keresési találatai között...

MA 11:02

Az igazság ára: Miért érezzük, hogy visszaélnek velünk?

Ha egy háztartásban, munkahelyen vagy közösségben fel kell osztani a feladatokat, az igazságtalanság érzése szinte elkerülhetetlen...

MA 10:57

Az MI-vel chatelő tiniknek mostantól jár a pihenő

A Meta ideiglenesen leállítja a tinédzserek hozzáférését MI-karaktereihez, miközben egy új, jobb felhasználói élményt nyújtó verziót fejleszt...

MA 10:49

A szélsőséges téli viharok kaotikus tudománya

❄ Az Egyesült Államokat szokatlanul erős, életveszélyes hideghullám éri el napokon belül...

MA 10:33

Az Ethereum mindent kockára tesz a kvantumfenyegetés ellen

Az Ethereum Foundation (EF) mostantól első számú stratégiai célnak tekinti a kvantumszámítógépek elleni védelmet, és ehhez külön posztkvantum-csapatot hozott létre Thomas Coratger vezetésével, Emile, kriptográfiai szakértő, támogatásával...

MA 10:27

Az internet megőrült: brutális BGP útvonal-szivárgás bénította a hálózatot

💥 Felmerül a kérdés, hogy mennyire lehetünk biztonságban, amikor a globális internet-infrastruktúra egyetlen rosszul konfigurált router miatt szinte percek alatt megbénulhat...

MA 10:18

Az orosz VPN-vadászat új fokozatba kapcsol: kemény év jön

Oroszország intenzíven törekszik arra, hogy lezárja az internetét a külvilág elől...