2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 21:12

Az Apple MI-botránya: járhat neked is kártérítés – így derül ki

Sokan vásároltak iPhone 16 vagy iPhone 15 Pro készüléket abban a reményben, hogy az Apple által beharangozott, vadonatúj okosfunkciókat azonnal használhatják...

MA 20:45

A volt iskolai informatikus 21 hónapot kapott munkaadója hackeléséért

Egykori rendszergazda miatt bénult le egy iowai iskolai körzet: 21 hónap börtönre ítélték, miután hónapokon keresztül támadta volt munkahelyének rendszereit...

MA 20:01

A Wall Street és a kripto frontálisan ütközik: átalakul a pénzvilág

💸 A nagyobb kriptotőzsdék alapjaiban változtatják meg működésüket: már nemcsak kriptovalutákkal, hanem részvényekkel, árupiaci termékekkel és indexalapokkal is kereskedhetsz egyetlen platformról, akár éjjel-nappal...

MA 19:34

Az inkák gyerekmúmiái: rituális áldozatok a birodalom terjeszkedéséért

⛰ Több mint ötszáz évvel ezelőtt egy kamaszlány életét áldozták fel az Andok egy fagyos vulkáncsúcsán – testét tökéletesen konzerválta a jeges levegő...

MA 19:23

Az új szabályokkal az egekbe törhet a drónhasználat

🚀 Az amerikai légügyi hatóság hamarosan enyhítheti azt a szabályt, amely eddig előírta, hogy drónt csak akkor lehetett reptetni, ha a pilóta folyamatosan szemmel tartja a gépet...

MA 19:01

A kutatók meglepő buktatót találtak a cukormentes diétákban

🤔 A teljes cukormentes étkezés mögött rejlő tévhiteket dönti meg egy friss kutatás, amely szerint a cukor teljes kiiktatása akár ronthat is az egészségi állapoton...

MA 18:45

Az új Planet: se állatkert, se vidámpark – Resort vagy Festival?

🌎 A Frontier csapata egy teljesen új Planet-menedzsmentjáték fejlesztésén dolgozik, amely végre eltér a már megszokott állatkerti és vidámparki témáktól...

MA 18:34

Az amerikai anyatejben is ott vannak a hormonromboló szerek

Például a seattle-i édesanyáktól vett anyatejmintákban riasztó mennyiségben találtak veszélyes, hormonrendszert zavaró vegyszereket, amelyek között ott van a BPA, a BPS, a melamin, a cianursav és a triklozán is...

MA 18:22

A Bitcoin majdnem felére zuhant 11 hónap alatt

Az utóbbi 11 hónap látványos zuhanást hozott a vezető kriptovaluta piacán...

MA 17:56

A haldokló csillag fekete lyuk helyett új univerzumot szülhet

Érdemes megvizsgálni, hogy egy haldokló csillag végzete nem feltétlenül az, aminek eddig gondoltuk...

MA 17:34

A SpaceX tőzsdei kibocsátása: mi lesz 1,3 milliárd dollárnyi bitcoinjával?

🚀 Ebből következően érdemes megérteni, hogy a SpaceX friss tőzsdére lépése nemcsak az irdatlan, mintegy 27 ezer milliárd forintos (75 milliárd USD) tőkebevonásáról szól, hanem arról is, hogy az eddigi legnagyobb, nyilvánosan bejelentett bitcoin-vagyonnal rendelkező cég került a tőzsdére...

MA 17:23

Az eredeti, bontatlan Super Mario Bros. rekordot döntött: 3 millió dollár

🎮 Egy eredeti, gyári zárású Super Mario Bros. példány rekordáron, közel 1,1 milliárd forintért (3 millió USD) talált gazdára a június 12-i Heritage Auctions árverésen...

MA 16:23

A versenyfutás az új Ebola-vakcina kifejlesztéséért

Az Ebola újabb járványát a Bundibugyo-vírus okozza a Kongói Demokratikus Köztársaságban és Ugandában, amely ellen eddig nem létezett hatékony oltás...

MA 16:01

A tudósok szerint a papagájok neveken szólítják egymást

A papagájokat mindenki beszédutánzó képességükről ismeri, de most úgy tűnik, valójában nemcsak szavakat ismételgetnek, hanem a neveket is az emberekhez hasonlóan használhatják...

MA 15:45

Az Artemis II egyszerre fotózta le mindkét félteke sarki fényét

A NASA Artemis II küldetésének négy űrhajósa különleges pillanatot örökített meg, amikor az Orion űrhajóval elhagyták a Földet, és a Hold felé indultak...

MA 15:23

A rejtett vérnyomásérték, ami a szívedről és az agyadról mesél

💊 Ha vérnyomásmérésre gondolunk, legtöbben a karunkra szorított mandzsettára és a két jól ismert számra asszociálunk...

MA 15:12

A Sony hátrál a PC-től – és így Kínától is

😢 A Sony meglepő visszalépése a PC-s játékkiadások terén nemcsak a PC-s játékosokat érinti, hanem Kínát is, ahol óriási kereslet mutatkozott az olyan címek iránt, mint a Halálháló 2 (Death Stranding 2)...

MA 14:56

A Targetben árult organikus tápszert visszahívták botulizmus-járvány miatt

Az Egyesült Államok több államában csecsemőbotulizmus-fertőzés után visszahívták a Nara Organics organikus babatápszerét, amelyet országosan a Target üzleteiben és online árusítottak...

MA 14:34

Az USA leállíttatta az Anthropic Fable 5, Mythos 5 nyilvános hozzáférését

Érdemes megvizsgálni, mi áll az Anthropic vezető MI-modelljeinek hirtelen lekapcsolása mögött, és milyen hatásai lehetnek az üzleti világ számára...

MA 14:23

A Musk–Page szakítás ellenére a Google és a SpaceX közelebb mint valaha

Elon Musk és Larry Page egykor elválaszthatatlan barátok voltak, mostanra azonban kapcsolatuk inkább szoros üzleti versengéssé és érdekvezérelt együttműködéssé változott...

MA 14:00

A brit rendőrt azzal vádolják, hogy MI-vel hamisított bizonyítékot

Bűnügyi vizsgálat indult az Egyesült Királyságban, miután egy rendőrt azzal gyanúsítanak, hogy mesterséges intelligencia segítségével hamisított bizonyítékokat több ügyben is...

MA 13:55

Az első ember megkapta a sejtfiatalító terápiát – indul az időutazás?

Megérkezett a korszakváltó terápiák első hulláma: egy amerikai vállalat most először próbálja meg visszaforgatni az idő kerekét az emberi sejtekben...

MA 13:44

Az új pacemaker forradalmasíthatja a szívbetegek kezelését

❤️ Külön említést érdemel, hogy a most kifejlesztett szívritmusszabályzó nem igényel műtéti beavatkozást az áramforrás cseréjéhez...

MA 13:34

A Samsungod 5 rejtett funkciója, amiről te sem tudtál

Az Android világában a Samsung készülékek mindig kicsit többet adnak, mint az alapcsomag...

MA 13:01

A sakktáblán életre kelnek: robotok küzdenek egymással

♘ A sakktáblák automatizálása már nem újdonság, hiszen eddig is akadtak olyan megoldások, ahol a bábuk alatt mágnes segítségével vagy kívülről, egy robotkarral mozgatták a figurákat...

MA 12:56

A következő milliárdokat zsákmányoló kriptóhacker emberfeletti gyorsasággal csap le?

Anthropic vadonatúj MI-modellje, a Claude Fable 5, minden eddiginél összetettebb és gyorsabb érvelési és programozási képességeket kínál...

MA 12:01

A lila USB-portok: miért vannak, és miért ritkák az USA-ban?

Sokan bele sem gondolunk, miért van az, hogy az USB-portok más-más színűek, amíg meg nem lepődünk egy különc lila vagy narancssárga csatlakozón...

MA 11:45

A Copilot berobban az angol egészségügybe: félmillió dolgozó kap MI-t

💉 A brit egészségügy szemmel láthatóan komoly digitális fordulat elé néz: több mint félmillió orvos, nővér és háttérdolgozó kap hozzáférést a Microsoft 365 Copilot nevű MI-eszközhöz...

MA 11:33

A Meta Quest 3 felrobbant, tűzoltók vizsgálják a maine-i esetet

🔥 Egy maine-i családi házban kisebb tűz ütött ki, amikor egy ott hagyott Meta Quest 3 külső akkumulátora váratlanul felrobbant az éjjeliszekrényen...