A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
🍚 A rizs több milliárd ember mindennapi tápláléka világszerte, elkészítése kapcsán azonban rengetegen vitáznak: meg kell-e mosni főzés előtt, vagy felesleges időpazarlás?..
A figyelemhiányos hiperaktivitás-zavar, vagyis az ADHD hivatalos diagnózisa sokak számára elérhetetlen: az időhiány, a költségek, a kevés elérhető szakorvos és az általános tájékozatlanság mind nehezítik az utat...
Alig néhány év alatt gyökeresen megváltozott az internet felhasználói összetétele. Már nem emberek, hanem automatizált rendszerek bonyolítják le a webes kérések többségét – derül ki a Cloudflare Radar mérőrendszerének statisztikáiból, amelyek szerint világszerte a forgalom 57,4%-át úgynevezett agentikus, vagyis parancsokra dolgozó MI-botok generálják, míg a valódi emberek csak 42,6%-ot képviselnek...
🔒 Jó példa erre, hogy Észak-Amerika egyik orvosi kutatóintézetének gépeit kínai kötődésű hackerek támadták meg, és hónapokon át észrevétlenül lopták az érzékeny adatokat...
A világ egyik legnagyobb MI-fejlesztője, az Anthropic váratlanul leállította két fejlett kiberbiztonsági modellje, a Mythos 5 és a Fable 5 elérhetőségét az egész világon, miután amerikai kormányzati előírás erre kötelezte...
Felmerül a kérdés, hogy mennyire bízhatunk meg a legmodernebb vállalati megoldásokban, amikor egy újonnan felfedezett, SearchLeak névre keresztelt sebezhetőség-sorozat lehetővé tette, hogy támadók különleges URL-ek segítségével egyetlen kattintással szerezzenek hozzáférést levelekhez, jelszavakhoz vagy akár SharePoint- és OneDrive-fájlokhoz a Microsoft 365 Copilot Enterprise rendszeren keresztül...
🙂 Különösen igaz ez akkor, ha az egészségügyi ajánlásokat követjük, hiszen világszerte emberek milliói szednek kalcium- és D-vitamin-készítményeket abban a reményben, hogy ezzel csökkentik a csonttörések és az esések kockázatát...
🎮 A zsebben is elférő AYANEO Pocket Micro az utóbbi évek egyik legjobb kézi konzolja lett, amely tökéletesen hozza a klasszikus Game Boy Advance hangulatot...
🚀 Érdemes megérteni, hogy a SpaceX, amely a múlt pénteken debütált a Nasdaqon, villámgyorsan 19%-ot emelkedett, ezzel átlépve a 2 billió dolláros (kb...
Képzeld el, pályád elején vagy, és a főnököd megbíz egy kellemetlen feladattal: meg kell írnod egy e-mailt egy fontos ügyfélnek, amelyben megmagyarázod a projekt késését...
A kaliforniai techszektorban dolgozók tömegei még mindig abban reménykednek, hogy a munkaerőpiac végre talpra áll, de valójában egyre nehezebb új állást találni...
Az ikonikus gyorsétteremlánc most új stratégiához nyúl: teljesen átalakítja kínálatát, hangsúlyt helyezve a csont nélküli csirkére, különleges szószokra és izgalmas, élményalapú vendéglátásra...
Egy irodalmat és íráskészséget oktató egyetemi tanár, Tyler Jagt meglepő tapasztalatairól számolt be: egyik diákja sem tudott végigolvasni egy húszoldalas, kötelező tanulmányt, amelyet ő maga még egy évtizede egyetemistaként gond nélkül elolvasott...
Ami először apróságnak tűnt, mára gyökeresen átalakítja a brit munkaerőpiacot: a mesterséges intelligencia iránti kereslet ugrásszerűen megnőtt az utóbbi évben...
😷 Kongóban az Ebola-járvány minden eddiginél gyorsabban terjed, miközben az egészségügyi hatóságok igyekeznek lépést tartani az egyre növekvő esetszámmal...
Tipikus eset, amikor egy vállalat maga szivárogtatja ki a nagy újításai részleteit, így mire a hivatalos bejelentés megtörténik, már mindenki tudja, mire számíthat...
📝 A Google újabb nagy dobással jelentkezik: már valóság az a funkció, amelyben személyes digitális ügynököd veszi le a válladról az állandó keresgélést és a friss információkra való vadászatot...
🔥 Az AMD új Radeon RX 9070 XT videókártyája váratlanul népszerűvé vált a gamerek körében: a legfrissebb Steam hardverfelmérés szerint májusban már 1,33%-os részesedést szerzett a felhasználók között, ezzel az első helyre került az AMD GPU-k között...