2025. 02. 24., 12:16

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók

A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.

Felszínes megoldások, mélyreható problémák

Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.

Gyorsaság nem minden

Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.

Az ember még mindig vezet

Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.

  • Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
  • Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
  • Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?


Legfrissebb posztok

MA 09:55

Az Amazon egészségügyi mesterséges intelligenciája mostantól bárkinek elérhető

Az Amazon bővíti egészségügyi MI-asszisztense, a Health AI elérhetőségét: mostantól nemcsak a One Medical alkalmazásban, hanem közvetlenül az Amazon weboldalán és alkalmazásában is hozzáférhető...

MA 09:37

Az MI forradalmasítja a Ford flottáinak irányítását

🚗 A Ford új lendületet ad a céges járműparkok irányításának: a Ford Pro AI névre hallgató, mesterséges intelligenciát használó szolgáltatás mostantól a Ford Pro telematikai szoftverébe épül be...

MA 09:28

Az első gyerekeknek szánt E. coli-vakcina áttörést hoz

💉 Jellemző példa erre, hogy a világ egyik legveszélyesebb gyermekkori bélfertőzése ellen most először született hatékony védelem: a skandináv fejlesztésű ETVAX vakcina áttörő eredményeket mutat a halálos bélbaktérium, az enterotoxigén E...

MA 09:19

A Google Fotók MI-funkciói végre egy kattintással lekapcsolhatók

📷 Az utóbbi években a Google minden termékébe minél több mesterséges intelligenciát (MI) igyekezett beépíteni, azonban a felhasználók nem mindig örülnek ennek...

MA 09:10

A Galaxy S26 Ultra letarolja a világpiacot

🚀 Jó példa erre, hogy a Samsung Galaxy S26 széria rekordszámú előrendelés után került a boltok polcaira...

MA 09:01

Az OpenAI pórul járhat: a Gracenote is perel, nem csak szerzői jogvita

Most őszintén, észrevetted már, hogy manapság mindenki perel mindenkit, ha AI-ról van szó?..

MA 08:55

Itt a Google Gemini: végre itthon is a Chrome-ban

🚀 Oké, szóval megérkezett a Chrome-ba épített Gemini chatbot Kanadába, Indiába és Új-Zélandra, ráadásul már több mint ötven nyelven lehet vele csevegni – köztük franciául, gujaratiul, hindiül, spanyolul és még sok más nyelven –, csakhogy a magyaroknak még várniuk kell egy kicsit...

MA 08:48

Az új MacBook Neo: olcsóbb lett, még mindig menő

A MacBook Neo az Apple kínálatának legelérhetőbb laptopjaként lépett piacra, mindössze 600 dolláros (kb...

MA 08:38

Elindult Európa első mikrohálózatos adatközpontja: új korszak az MI-ben

💻 Dublin közvetlen közelében, Írország szívében indul el Európa első olyan adatközpontja, amely teljesen független, úgynevezett szigetüzemű mikrohálóra támaszkodik az energiaellátásban...

MA 08:28

A Bitcoin az egekben, az olaj a padlón – mi következik?

A kriptopiac megélénkült, miután a Bitcoin ára 70 000 dollár (kb...

MA 08:19

A kiöregedett NASA-műhold napokon belül a Földre zuhan

Felmerül a kérdés, mennyire veszélyes, ha egy évtizedekig szolgáló NASA-műhold ellenőrizetlenül zuhan vissza...

MA 08:02

Az igazságügyi szakértők új csodafegyvere: MI és a lárvák

A bomló holttesteken nyüzsgő lárvák látványa nem túl gyomorkímélő, de a helyszínelők számára ezek az apró élőlények kulcsfontosságú bizonyítékok lehetnek...

MA 07:46

Az X Money felkavarja a fizetési piacot, száguld a Dogecoin

💵 Elon Musk bejelentette, hogy áprilisban indul az X Money, az X (korábban Twitter néven ismert) új fizetési szolgáltatása...

MA 07:37

Az Amazon letiltja a Perplexity MI‑vásárlóbotjait

Már tavaly novemberben is betelt a pohár: az Amazon nekiment a Perplexity nevű MI‑startupnak, és megtiltotta, hogy a Comet nevű MI‑böngészője engedély nélkül a felhasználók helyett vásároljon a webáruházukban...

MA 07:28

Az új Windows 10-frissítés megérkezett: fontos biztonsági javításokkal

🛠 A Microsoft kiadta a Windows 10 KB5078885 kumulatív biztonsági frissítést, amely számos fontos sebezhetőséget orvosol, köztük két aktívan kihasznált nulladik napi sérülékenységet, valamint egy olyan problémát, amely megakadályozta egyes eszközök leállítását vagy hibernálását...

MA 07:19

Az égből csapódó meteor hasította át egy német ház tetejét

Egyedülálló égi látványosságnak lehettek szemtanúi Németország és több szomszédos ország lakói vasárnap este, amikor egy meteor hatalmas tűzgömbbé vált az égen, majd látványos robbanással végződött...

APP
MA 07:11

APPok, Amik Ingyenesek MA, 3/11

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Mutazione (iPhone/iPad)A Mutazione egy kalandjáték, amelyben egy kisváros különös lakóinak mindennapi élete és magánéleti drámái összefonódnak természetfeletti eseményekkel...

MA 07:10

Az olcsó mobiloknak vége? Jön az OnePlus–Oppo drágulás!

Kína két népszerű mobilgyártója, a OnePlus és az Oppo hamarosan emeli néhány elérhetőbb okostelefonjának árát...

MA 07:01

Az Intel nagy dobása: végre villámgyors a titkosított adatfeldolgozás

Jellemző példa erre, hogy ma már sokan tartanak attól, mit osztanak meg egy felhőalapú MI-vel, vagy attól is tartanak, hogy érzékeny genetikai adataik idegen kezekbe kerülnek...

MA 06:56

A Microsoft foltozókeddje: 79 sebezhetőség, köztük 2 nulladik napi foltozva

Márciusban újabb, havi hibajavító keddet tartott a Microsoft, amely során összesen 79 biztonsági problémát javítottak...

MA 06:47

Az NVIDIA-gyorsított Lenovo ThinkStation teszten: mire képes az új MI-gép?

Érdemes megérteni, hogy a Lenovo legújabb SFF (small form factor) munkaállomása, a ThinkStation PGX, nemcsak mérnöki bravúr, hanem komoly stratégiai döntés is...

MA 06:37

A nagy állami adatcirkusz: félmilliárd amerikai adat egy pendrive-on?

📁 Na, most aztán forr a levegő az USA-ban: egy DOGE-mérnök állítólag elcsente a Társadalombiztosítási Hivatal (Social Security Administration, SSA) adatbázisát egy apró pendrive-on – és benne több mint 500 millió élő és elhunyt amerikai minden féltve őrzött adata...

MA 06:28

A mesterséges intelligencia okozta mentális kimerültség hódít a munkahelyeken

Például azok a dolgozók, akik munka közben túl sok MI-eszközt használnak, fokozottan ki vannak téve a mentális fáradtságnak...

MA 06:19

Az online fogadás trónharca: Kalshi kontra Polymarket

💰 Amikor az online előrejelző piacok berobbantak a köztudatba, senki sem gondolta volna, hogy két ilyen karakteres rivális vág bele a jövő fogadásaiért folyó harcba...

MA 06:05

Történelmi események a mai napon (Március 11.)

Rövid utazás a múltba: ezen a napon történt Litvánia függetlenségének kikiáltása, a madridi vonatrobbantások tragédiája, és az utolsó brit királyi vétó...

kedd 18:01

Az X 800 millió fiókot törölt, mégis tombolnak a kamu-fiókok

Brutális mennyiségű, összesen 800 millió felhasználói fiókot törölt az X 2024-ben – és most kapaszkodj meg, mindezt mindössze egy év alatt!..

kedd 17:58

Az űr mégsem üres: a sötét energia széttépi a világegyetemet

Fontos kérdés, hogy mi maradna, ha eltávolítanánk az univerzum legüresebb régióiból minden anyagot: a hagyományos atomokat, a neutrínókat, a sötét anyagot, a kozmikus sugárzást és minden más sugárzási formát...

kedd 17:39

Az Adobe MI‑asszisztense átírja a Photoshop szabályait

Az Adobe új MI‑asszisztenst jelentett be, amelynek béta verziója mostantól elérhető a Photoshopban, és weben, valamint mobilalkalmazásokban is használható...

kedd 17:20

Egy ősi marsi ásvány új korszakot nyithat a Vörös Bolygón

A kutatók egy eddig ismeretlen ásványra bukkantak a Mars felszínén, amely alapjaiban írhatja át a bolygó geológiai történetét...