2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

péntek 20:55

A Palo Alto természetes gáttal védekezik a tenger ellen

🌊 Az éghajlatváltozás kapcsán a figyelem leggyakrabban a forrósodó hőmérsékletekre és az egyre gyakoribb szélsőséges időjárási jelenségekre irányul, de a tengerszint emelkedése is egyre nagyobb kihívások elé állítja a part menti településeket...

péntek 20:01

A titkosított levelek végre olvashatók Outlookban

🔑 A Microsoft kijavította azt a bosszantó hibát, amely miatt a Microsoft 365-felhasználók december óta nem tudták megnyitni a titkosított e-maileket a klasszikus Outlookban...

péntek 19:56

Az éjszakázók szívét nagyobb kockázat fenyegeti

Azok, akik rendszeresen későn fekszenek le, életük során nagyobb eséllyel számíthatnak rosszabb szív-egészségre és magasabb szívinfarktus- vagy stroke-kockázatra, különösen, ha nők...

péntek 19:37

Az Elon-birodalom összeolvad: jön a hármas óriáscég?

🤝 Az utóbbi napokban felröppentek a hírek, hogy Elon Musk három zászlóshajó-vállalata, a SpaceX, a Tesla és az xAI összeolvadásra készülnek...

péntek 19:19

Az egész kriptopiac zuhan: csúszik a CoinDesk 20 index

A CoinDesk 20 index 1,9 százalékkal 2510,59 pontra csökkent, ami 47,75 pontos esést jelent csupán egy nap alatt...

péntek 19:02

A Hubble öröksége: az űrtávcső, amely még ma is ámulatba ejt

🚀 Ebből következően érdemes megérteni, hogy a Hubble Űrtávcső három és fél évtizeddel indítása után is szinte páratlan módon tágítja a világegyetemről alkotott képünket, annak ellenére, hogy már régóta működik, és megjelentek a következő generációs utódai is...

péntek 18:57

Az amerikai gátakban időzített bombák ketyegnek?

🚧 Az Egyesült Államokban több ezer gát öregszik, és egyre súlyosabb károsodás jeleit mutatják, miközben egyre kevésbé képesek ellenállni a szélsőséges időjárási eseményeknek...

péntek 18:38

Az OpenAI tőzsdére lép: itt a nagy MI-pénzégetés próbája

📈 Érdemes megvizsgálni, hogy az OpenAI valószínűleg 2026 utolsó negyedévében tőzsdére lép, ami újabb fordulópontot jelent az MI-lázban...

péntek 18:20

Az egészségbiztosításod a halálod oka lehet?

Egy friss kutatás szerint a magas önrészű egészségbiztosítás nemcsak a pénztárcádat, hanem az életedet is veszélyezteti...

péntek 17:58

Az űr sokkja: műholdkatasztrófa, orosz plazmahajtás, bizarr fúziók

Lényeges, hogy a rakétaiparban továbbra sincs hiány meglepetésekből – legyen szó egy japán műhold katasztrófájáról, egy orosz csodahajtóműről vagy éppen Elon Musk következő nagy dobásáról...

péntek 17:37

Az OPPO nagy dobása: kiszivárgott az új csúcsmobilok terve

📱 2026 izgalmas évnek ígérkezik az OPPO-rajongók számára, hiszen a vállalat világszerte több androidos zászlóshajót tervez piacra dobni...

péntek 17:20

A fél évszázados NASA-gép balesete veszélybe sodorja az Artemis II-t

Egy félszáz éves NASA-kutatórepülőgép kényszerleszállást hajtott végre Texasban, láng- és füstcsóvákban csúszva végig a kifutópályán...

péntek 17:02

Az amerikai kisvállalkozások lekörözték a briteket az MI-versenyben

💰 Az új adatok alapján az amerikai kis- és középvállalkozások gyorsabban vezetik be az MI-t, mint brit társaik...

péntek 16:55

Az Elon-birodalom újabb dobása: összeolvad a SpaceX és az xAI?

🚀 Elon Musk két óriáscége, a SpaceX és az MI-fejlesztő xAI hamarosan egyesülhet, ezzel egy technológiai gigász jöhetne létre...

péntek 16:37

Az új Windows 11-frissítés végre leszámol az indítási hibákkal

💻 A Microsoft kiadta a Windows 11-hez a KB5074105 jelű, opcionális kumulatív frissítést, amely összesen 32 javítást tartalmaz, köztük a bejelentkezési, indítási és aktiválási problémák orvoslását...

péntek 16:19

Az amerikai adatok szerint tűzvészek fenyegetik milliók otthonát

Az Egyesült Államokban sokan úgy gondolják, hogy az otthonokat elsősorban a sűrű, erdős, tűzveszélyes területeken fenyegetik a bozóttüzek...

péntek 16:01

Az évtizedek óta várt rákvakcina új reményt adhat

Egy húsz évvel ezelőtti emlőrák-vakcina kísérlet lenyűgöző eredményt hozott: minden résztvevő ma is életben van, pedig áttétes betegek voltak...

péntek 15:38

A részecskegyorsító leplezte le Hipparkhosz elveszett csillagkatalógusát

Fontos kérdés, hogy mennyit tudhatunk meg az ókori tudományról, ha eltűnt iratokból nyerünk ki új információkat...

péntek 15:19

Az MI újabb 4 500 állást tüntet el a Dow Chemicalnél

📈 A Dow Chemical, a világ egyik legrégebbi vegyipari cége, 4 500 dolgozótól – vagyis a munkaerő 12,5 százalékától – válik meg egy átfogó átalakítás részeként, amelynek középpontjában az MI-alapú automatizálás áll...

péntek 15:01

Az MI csodafegyvere: kevesebb agresszív mellrák, nagyobb túlélési esélyek

Egy nagyszabású svéd kutatásban több mint 100 ezer nő mammográfiás vizsgálatát elemezték, és kimutatták, hogy az MI támogatásával a radiológusok hatékonyabban szűrik ki az agresszív mellrákot...

péntek 14:55

Az új Windows 11-frissítés után megint jöhet a kék halál

A legutóbbi Windows 11-frissítések után sokan szembesültek azzal, hogy számítógépük nem indul el, helyette csak egy kék képernyő (BSOD) jelenik meg az “UNMOUNTABLE_BOOT_VOLUME” hibakóddal...

péntek 14:37

A hosszú élet titka: tényleg a génjeinkben van?

🧠 Friss kutatások szerint a génjeink jóval nagyobb szerepet játszanak a várható élettartamunkban, mint eddig hittük...

péntek 14:02

A James Webb-űrtávcső rábukkant az eddigi legősibb galaxisra

Jellemző példa erre: a James Webb Űrteleszkóp újabb rekordot döntött: sikerült megfigyelni a világegyetem eddig ismert legrégebbi galaxisát, a MoM-z14-et...

péntek 13:56

A Starbucks visszatér az egyszerűséghez – itt az új csoda

☕ A Starbucks remek formában van, köszönhetően Brian Niccol vezérigazgatónak, aki két év után először tudott növekedést felmutatni...

péntek 13:37

Az új MI-hullám: a Google Genie felforgathatja a játékipart

A Google új MI-prototípusa, a Project Genie már most fenyegetést jelent a videojáték-fejlesztők számára...

péntek 13:19

Az MI miatt hadat üzentek a kiadók az Internet Archive-nak

📚 A kiadók egyre nagyobb számban blokkolják az Internet Archive-ot, attól tartva, hogy az MI-botjai az archívum segítségével mégis hozzáférhetnek a tartalmaikhoz, és le is menthetik azokat...

péntek 13:02

Az új nagyhatalmi sakkjátszma: a vezetők Pekingben keresik az irányt

🎲 Egy lényeges szempont, hogy idén januárban már legalább öt ország vezetője utazott Pekingbe, hogy találkozzon Hszi Csin-ping kínai elnökkel, miközben egyre feszültebbé váltak a kapcsolatok az Egyesült Államokkal...

péntek 12:55

A vak bizalom az MI-ben megbénítja a cégeket

👀 Az európai cégek egyre többet költenek MI-re, de hiányzik az igazi bizalom és a kellő hozzáértés...

péntek 12:39

A portlandi netforradalom nyertesei: a legjobb szolgáltatók

Érdemes tudni, hogy Portlandben rengeteg különböző internetcsomag közül lehet választani, legyen szó gyorsaságról, ár-érték arányról vagy csak a legalapvetőbb szolgáltatásokról...