A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
🚀 A PanSTARRS-üstökös (PanSTARRS, C/2025 R3) már ezen a héten izgalomba hozza a csillagászokat és a korán kelőket, hiszen folyamatosan fényesedik az éjszakai égbolton, és hamarosan megközelíti a Földet és a Napot is...
Az emberek többsége becsületesebb és önzetlenebb, mint hinnéd. Egy kísérletben a részt vevők dönthettek: megtartják a kapott 3 650 forintot, vagy odaadják egy idegennek, amivel az összeg négyszeresére nő...
Kezdetben az Egyesült Államok büszkén tekintett vissza arra a tényre, hogy mindeddig egyedüliként juttatott embert a Hold felszínére – utoljára 1972-ben, az Apollo 17-tel...
🚀 Az elmúlt évtizedek álmai és tervei után az amerikai űrkutatás új lendületet vesz: az Artemis-program keretében négy űrhajós indult útnak, hogy új korszakot nyisson a Hold felfedezésében és az asztrofizika történetében...
Az új Jabra Evolve3 85 headsettel a dán gyártó merészet lépett: teljesen elhagyta a jól megszokott karos mikrofont, így az eszköz dizájnja szinte megegyezik a prémium fejhallgatókéval...
🙁 Ilyen eset például, ha nyilvános Wi-Fi-hálózatra csatlakozol egy kávézóban vagy a pályaudvaron, és perceket töltesz azzal, hogy előkeresd a biztonsági alkalmazásodat a telefon menüiben...
🚗 Na figyelj, végre nemcsak Siri-utasításokra vagyunk rákényszerítve autózás közben! A WhatsApp legújabb CarPlay-verziója végre normális, natív felülettel bővült, így az iPhone-t csatlakoztatva minden fontos funkció elérhetővé válik a műszerfalon...
Fontos kérdés, hogy mennyire lehet még megbízni a Windows Start menü keresőjében, miután számos felhasználó hónapok óta panaszkodik annak működésére...
💉 Az elmúlt években az Egyesült Államokban ismét egyre gyakoribbá váltak a kanyarójárványok, miután a lakosság egyre nagyobb része utasítja el az MMR (kanyaró, mumpsz, rubeola) oltás felvételét...
Az utóbbi években egyre több amerikai város döntött úgy, hogy megszakítja a kapcsolatot a Flock Safety nevű, automatizált rendszámleolvasó kamerákat és drónokat üzemeltető céggel...
Az emberiség időtlen idők óta használja, szivattyúzza, kizsigereli a Föld édesvízkészleteit – ám az utóbbi évtizedekben már olyan tempóra kapcsoltunk, amely fenntarthatatlan...
⚠ Több mint egy tucat vállalat adatai kerültek illetéktelen kezekbe, miután egy felhőalapú szolgáltatásintegrátor rendszereit feltörték, és ellopták az azonosításra szolgáló tokeneket...