A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
⛪ Na, képzeld el, ott ülsz a Szent Péter-bazilika padjában, zsibbasztod a térded, és halvány fogalmad sincs, miről beszél a pap olaszul vagy latinul...
🔥 A ’90-es évek végén, amikor a számítógépes hardver még messze nem volt ilyen gyors, a játékfejlesztőknek a lehető leghatékonyabb kódokat kellett írniuk, hogy a legmodernebb grafikát és élményt hozzák ki a gépeikből...
🚧 Az Android mindig is a szabadság szinonimája volt: a felhasználók szabadon telepíthettek alkalmazásokat külső forrásból, függetlenül a Play Áruháztól...
New York, London, Sanghaj – az Apple idén végre kimozdul az unalmas Apple Parkból, és új eseményt dob össze március 4-én, magyar idő szerint délután 3 órakor...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Tunepal (iPhone/iPad)Az alkalmazás a Sunday Times toplistáin is szerepelt: 2012-ben bekerült minden idők 500 legjobb appja közé, 2010-ben pedig az iPhone húsz legfontosabb kulturális alkalmazása között említették...
Évtizedeken át a kényszeres viselkedést egyszerűen rossz beidegződésnek gondolták, mintha az agy csak rutinból ismételné ugyanazokat a cselekvéseket...
Egyetlen adag dimetiltriptamin (DMT), amelyet sámánisztikus szertartásokban is használnak, jelentős és tartós javulást hozhat a súlyos depresszióval élők számára, ha pszichoterápiával együtt adják be...
Lyla Jung, az Oxfordi Egyetem csillagásza egy különös, eddig ismeretlen szerkezetre figyelt fel monitorján: 400 millió fényévnyire a Földtől sikerült azonosítani egy óriási kozmikus fonalat, egy több száz galaxisból álló, forgó láncolatot...
Az amerikai Kiberbiztonsági és Infrastruktúra-biztonsági Ügynökség (CISA) ultimátumot adott a szövetségi hivataloknak: mindössze három napjuk van befoltozni a BeyondTrust-rendszereket érintő súlyos sérülékenységet, amelyet a támadók már aktívan kihasználnak...
💰 A kriptopiacok továbbra is nyomás alatt vannak, miközben a hétvégi hatalmas eladási hullám után az ether árfolyama visszakapaszkodik a 735 ezer forintos (2000 dolláros) szint felé...
Az OpenAI legújabb húzása, hogy leszerződtette Peter Steinbergert, az OpenClaw nevű MI-ügynök megalkotóját, akitől azt várják, hogy elindítsa a személyes MI-ügynökök új generációját...
India első MI-cége, amely tőzsdére lépett, nem igazán hozta lázba a befektetőket: a Fractal Analytics részvényei gyengén nyitottak, majd még tovább estek, miközben a szoftverrészvények eladási hulláma miatti bizonytalanság uralkodott a piacon...
🏡 Az elmúlt években a gazdasági előrejelzések gyakran mellétrafáltak, hiszen a COVID–19 alatti lezárások, majd a példátlan pénzügyi ösztönzők alapjaiban borították fel a piacot, amire egy villámgyors kamatemelési hullám is ráerősített...
🚗 A Google egyre közelebb hozza az Android Autót a telefonos élményhez: hamarosan új ikonokat vezethet be, amelyek az Android 16 stílusához igazodnak...
Stephen Schwarzman, a világ egyik legismertebb magántőke-befektetője, most új célt tűzött ki maga elé: egy, több mint 17 000 milliárd forintnyi vagyont kezelő jótékonysági alap létrehozását, amely a mesterséges intelligencia (MI) és az oktatás fejlesztésére összpontosít...
A hackerek egyre kreatívabb módszereket vetnek be: a legújabb ClickFix-támadás például a DNS-lekérdezéseket használja ki, hogy kártékony PowerShell-szkripteket juttasson el a gyanútlan áldozatok gépére...
👑 A Szilícium-völgyben sosem csökken a tempó: hetente jönnek az új MI-eszközök és fejlesztések, a dolgozók pedig lépést próbálnak tartani, nehogy lemaradjanak...
Logan Paul egyedi Pikachu Illustrator Pokémon-kártyája minden idők legdrágább Pokémon-kártyájaként kelt el: 6,1 milliárd forintot (16,49 millió dollárt) fizettek érte egy online aukción...