A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
Egy átlagos téli napon meglehetősen szokatlan, amikor két vadidegen fiatalember jelentkezik egy irodaház karbantartóinál azzal, hogy szívesen segítenének havat lapátolni – főleg úgy, hogy az őrszoba ajtaja nyitva van, a személyzet épp el van foglalva, és senki sem figyeli igazán, kinek van keresnivalója az épületben...
🍔 Egy lényeges szempont, hogy az éttermek számára elérhetővé vált egy radikálisan új lehetőség: mostantól közvetlenül ChatGPT-n és Claude-on keresztül lehet ételt rendelni, köszönhetően a Square friss, egyszerű és alacsony díjas integrációjának...
☁ A Nap időszakonként egyre hevesebb viharokat küld felénk, amelyek páratlan fényjelenségeket okoznak az égbolton, ám a látványos északi fény mögött csendben megbújik egy sokkal fenyegetőbb veszély is...
Az Ethereum körüli világ sosem volt még ilyen pezsgő. A legújabb, nagy horderejű esemény az Ethereum Institutional elindulása, amely a blokklánc-ökoszisztémát új szintre kívánja emelni a pénzügyi szereplők bevonása és az eszközök tokenizálása terén...
🌕 A világegyetem néha egészen hihetetlen történeteket produkál. 2020-ban csillagászok felfedeztek egy WD 1856b nevű gázóriás bolygót, amely egy fehér törpe – egy Naphoz hasonló csillag kihűlt magja – körül kering...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Risp: Budget & Savings (iPhone/iPad)A Risp egy alkalmazás, amely segít a pénzügyeid kezelésében...
🚀 A NASA vezetője, Jared Isaacman optimistán nyilatkozott a Blue Origin közelmúltbeli fejleményeiről, miután a május végi rakétabaleset alapos rendrakást követelt a cégtől Cape Canaveralben...
Az Anthropic hónapokkal ezelőtt rejtett kódrészleteket helyezett el a Claude Code rendszerében, hogy felismerje, ha más MI-fejlesztő cégek, főleg Kínából, le akarnák másolni a modelljeit...
💡 Az elmúlt napokban rengeteg Google Home-tulajdonos tapasztalta, hogy okos hangszórója vagy kijelzős eszköze jóval lassabban reagál a megszokottnál, sőt, előfordult, hogy egyáltalán nem válaszolt...
Bár a Samsung hivatalosan még nem mutatta be a Galaxy Z Fold 8-at, néhány megbízható szivárogtatásnak hála már most látni lehet a hajlítható telefon új külsejét...
Külön említést érdemel, hogy az Apple E-mail-cím elrejtése (Hide My Email) szolgáltatásában súlyos sebezhetőségre derült fény, amely lehetővé teszi, hogy gyakorlatilag bárki megszerezze a felhasználók valódi e-mail-címét – még akkor is, ha az az Apple rendszerében elvileg rejtve van...
🚀 Tipikus eset, amikor a laboratóriumi kísérletek nem csupán elméleti kérdéseket feszegetnek, hanem kézzelfogható áttörésekkel tolják ki a biotechnológia határait...
Válságok, trónharcok és történelmi fordulópontok: ezen a napon császárok emelkedtek hatalomra, forradalmi találmányok születtek, és sorsfordító háborúk kaptak szikrát...
⚠ Továbbá megemlíthető, hogy a bitcoin-bányászat energiapazarlása elképesztő mértéket ölt: a hálózati késleltetés okozta felesleges energiafelhasználás nagyjából 16 000 megawattnyi teljesítményt jelent, ami megegyezik Svájc 701 vízerőművének teljes termelési kapacitásával...
Ha valaki több mint egy évtizede játszott a Rhythm Heavennel, valószínűleg sosem felejtette el azt a különös, szürreális világot, ahol dadogó pankrátorok és furcsa madarak ugrálnak egy lélekmelengető popdallamra...
A brit távközlési piac gigantikus átalakulása zajlik: az ország versenyhatósága kiemelt vizsgálatot indított annak kapcsán, hogy a Netomnia anyavállalatát, a Substantialt a Liberty Global, a Telefonica és az InfraVia konzorciuma felvásárolja...
Az Anthropic szerdától újra elérhetővé teszi a csúcskategóriás Claude Fable 5-öt, miután a Kereskedelmi Minisztérium feloldotta az exportkorlátozásokat...