A Mesterséges Intelligencia Még Mindig Bénázik A Kódolásban, Lepnek Meg A Kutatók
Az OpenAI kutatói beismerték, hogy még a legfejlettebb AI modellek sem érnek fel az emberi programozókkalannak ellenére, hogy Sam Altman vezérigazgató ragaszkodik hozzá, hogy év végére le fogják győzni a szoftverfejlesztőket. Egy új tanulmányban a cég kutatói megállapították, hogy még a határokat feszegető, legfejlettebb AI rendszerek is “képtelenek megoldani a feladatok többségét” a programozás terén. A kutatók egy újonnan kifejlesztett teljesítménymérőt használtak, a SWE-Lancer-t, amely több mint 1400 szoftverfejlesztési feladatot tartalmaz az Upwork szabadúszó platformról. Az OpenAI három nagy nyelvi modellt teszteltsaját o1 következtető modelljét és zászlóshajó GPT-4o-ját, valamint az Anthropic Claude 3.5 Sonnet-jét.
Felszínes megoldások, mélyreható problémák
Az új teljesítménymérő két típusú Upwork feladaton értékelte a nyelvi modellek teljesítményét: egyedi feladatokon, amelyek hibák javítását és megoldását jelentették, illetve menedzsment feladatokon, ahol a modelleknek átfogóbb, magasabb szintű döntéseket kellett hozniuk. (A modellek nem férhettek hozzá az internethez, így nem tudtak egyszerűen másolni hasonló, online már közzétett megoldásokat.) A modellek összesen több százezer dollár értékű feladattal foglalkoztak az Upworkon, de csak felszíni szoftverproblémákat tudtak javítani, míg képtelenek voltak nagyobb projektekben hibákat találni vagy azok gyökérokait feltárni. Ezek a félkész, gyenge “megoldások” ismerősek lehetnek mindenkinek, aki dolgozott már AI-jal – amely kiváló magabiztosan hangzó információk közlésében, amelyek alaposabb vizsgálat során összeomlanak.
Gyorsaság nem minden
Bár mindhárom nyelvi modell gyakran “sokkal gyorsabban működött, mint egy ember”, jegyzi meg a tanulmány, mégsem tudták felmérni a hibák kiterjedtségét vagy megérteni azok kontextusát, “ami helytelen vagy nem elég átfogó megoldásokhoz vezetett”. Ahogy a kutatók elmagyarázták, a Claude 3.5 Sonnet jobban teljesített, mint a két OpenAI modell, és több pénzt is keresett, mint az o1 és a GPT-4o. Ennek ellenére válaszainak többsége helytelen volt, és a kutatók szerint bármely modellnek “magasabb megbízhatóságra” lenne szüksége ahhoz, hogy valós programozási feladatokkal meg lehessen bízni.
Egyszerűbben fogalmazva, úgy tűnik, a tanulmány azt mutatja, hogy bár ezek a csúcsmodellek gyorsan dolgoznak és meg tudnak oldani kisebb feladatokat, még közel sem olyan ügyesek ezek kezelésében, mint az emberi mérnökök. Bár ezek a nyelvi modellek az elmúlt években gyorsan fejlődtek és valószínűleg ez folytatódni is fog, még nem elég képzettek a szoftverfejlesztésben ahhoz, hogy helyettesítsék az élő embereket – bár ez nem tartja vissza a vezérigazgatókat attól, hogy az automatizálási megoldások mellett döntsenek.
filózó
Szerinted milyen hatással lesz ez az AI teljesítményének korlátozottsága a munkaerőpiacra a következő években?
Ha te lennél a kutatócsapat tagja, milyen módszereket próbálnál ki az AI képességeinek fejlesztésére?
Te hogyan közelítenéd meg azt a kihívást, hogy az AI modellek nem értik a hibák kontextusát a programozási feladatoknál?
Erős nap a történelemben: a kairói háborús csúcstalálkozótól a spanyol trónváltásig, a The Beatles ikonikus lemezétől a Toy Story (Toy Story – Játékháború) forradalmi bemutatójáig...
A matematika világát most két egymással versengő bizonyítási állítás is felbolygatta, mindkettő azt állítja, hogy megoldotta a Riemann-sejtést, a leghíresebb nyitott problémát...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Bank: The Dice Game (iPhone/iPad)A Bank egy lendületes és szórakoztató kockajáték, amelyben a stratégiai gondolkodás, a kockázatvállalás és a szerencse egyaránt próbára teszi a játékosokat...
Rövid utazás a mai nap történelmi mérföldkövei között: birodalomalapítástól és forradalmi tudományos áttöréstől a forró levegős ballon első szabad repüléséig és az ARPANET tartós kapcsolatának elindításáig...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. MSR Easy Connect: Read & Write (iPhone/iPad)Az MSR Easy Connect alkalmazás lehetővé teszi, hogy iPhone vagy iPad készülékeddel, Bluetooth Low Energy technológián keresztül, könnyedén olvass és írj adatokat MSR eszközödre...
Válogatás a történelem ezen napjának legemlékezetesebb pillanataiból: forradalom indul Mexikóban, Magyarország belép a tengelyhatalmak közé, királyi esküvő a Westminster apátságban, történelmi közel-keleti békekísérlet, és tűzvész pusztít a Windsor-kastélyban...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Prowl: Easy Push Notifications (iPhone/iPad)A Prowl egy modern értesítési alkalmazás, amely lehetővé teszi, hogy bármilyen eszközödön vagy szolgáltatásodon keresztül gyorsan értesülj a fontos eseményekről – legyen szó e-mailről, alkalmazásról vagy egyedi integrációkról...
Viharos évszázadok eseményei sűrűsödnek ezen a napon: elhangzik a Gettysburgi beszéd, először találkozik Reagan és Gorbacsov, Kína fellövi első Shenzhou űrhajóját, miközben az Atlanti-óceánon a Prestige olajkatasztrófája okoz példátlan környezeti pusztítást...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. KORG iMS-20 (iPhone/iPad)Az iMS-20 egy fizikai modellezésen alapuló, analóg szintetizátor-alkalmazás, amely hűen idézi meg a legendás Korg MS-20 szintetizátort...
Ma keresztes hadjárat indulásától és gyarmati birodalmak alkujától grandiózus időzónareformon, forradalmi győzelmen és modern háborús fordulópontokon át a Vörös Bolygó felé tartó űrszonda indulásáig ível a nap krónikája...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. KORG iMS-20 (iPhone/iPad)Az iMS-20 egy korszerű digitális zeneszerkesztő, amely a legendás Korg MS-20 szintetizátort kelti életre...
Röviden összefoglalva: ma van a Szuezi-csatorna 🛳️ megnyitásának napja, az Egyesült Államok Alapszabályának 🗽 államokhoz benyújtása, és a cseh egyetemisták tragédiájának 🕯️ évfordulója, amelyből kinőtt a Nemzetközi Diáknap...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. KORG iKaossilator (iPhone/iPad)A Korg Kaossilator egy zenei alkalmazás iPhone-ra, amely egy X-Y érintőpanelt használ a dallamok létrehozásához és vezérléséhez...
Végzetes birodalmi fordulatok, tudományos áttörések és űrtörténeti mérföldkövek: Atahualpa inka császár elfogása, az UNESCO megalakulása, a Venera 3 indítása és az Arecibo-üzenet kilövése mind ezen a napon történt...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Camping With Grandpa (iPhone/iPad)Ez az interaktív túrázós és kempingezős játék egyedülálló módon vezeti be a játékosokat a természet felfedezésének örömeibe...
Ez a nap tele van fordulópontokkal: birodalmi trónváltás, köztársaságkikiáltás, világháború utáni intézmény születése, óriási háborúellenes tömegmegmozdulás és korszakos űrrepülés...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Camping With Grandpa (iPhone/iPad)Ez a termék egy interaktív, túrázós és kempingezős játék, amelyben a felhasználók nagypapával együtt fedezhetik fel a természetet...
Időutazás egy napra: bombák pusztították Coventryt, Ruby Bridges áttörte az iskolai szegregáció falát, a Mariner 9 pályára állt a Mars körül, Spanyolország feladta Nyugat-Szaharát, Németország és Lengyelország pedig megerősítette közös határát...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. CrestWall – 4K Wallpapers (iPhone/iPad)A CrestWall egy válogatott, 4K felbontású háttereket kínáló alkalmazás, amely azok számára készült, akik fontosnak tartják iPhone-juk megjelenését...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Highlighter for Safari (iPhone/iPad)A Highlighter for Safari lehetővé teszi, hogy bármilyen weboldalon szöveget emelj ki, jegyzeteket adj hozzá, vagy megjegyzéseket írj közvetlenül a Safariban...
Rövid időutazás a történelemben: a Mayflower Compact aláírásától az ausztrál kormány 1975-ös menesztésén és Angola függetlenségén át Yasser Arafat haláláig és a kapruni katasztrófáig...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. CrestWall – 4K Wallpapers (iPhone/iPad)A CrestWall egy prémium háttérképalkalmazás iPhone-ra, amely gondosan válogatott, 4K felbontású képekkel emeli ki készüléked stílusát...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Highlighter for Safari (iPhone/iPad)A Highlighter for Safari lehetővé teszi, hogy szöveget emelj ki, jegyzeteket fűzz hozzá, és megjegyzéseket írj közvetlenül bármelyik weboldalra a Safariban...
Rövid időutazás nagy pillanatokkal: a Pilgrimek első szárazföld-látása, a Glorious Revolution fordulata, a Great Boston Fire pusztítása és a berlini fal leomlása jelöli ki a mai nap történelmi ívét 🕰️...