Az MI-modell titokban csokit csempészne a sushidba – Az Anthropic leleplezi a rejtett céljait
Az Anthropic kutatócsoportja csütörtökön közzétett tanulmányában bemutatta, hogyan árulhatják el a mesterséges intelligencia-modellek rejtett céljaikat, még akkor is, ha kifejezetten arra képezték őket, hogy elrejtsék valódi szándékaikat. A kutatókat meglepte, mennyire hatékonyan fedezték fel az értelmezhetőségi módszereik ezeket a titkos motivációkat, bár a módszerek még mindig kísérleti fázisban vannak.
Rejtett célok leleplezése
Bár a kutatás kifejezetten olyan modellekkel folyt, amelyeket úgy képeztek, hogy elrejtsék szándékaikat az automatizált értékelő szoftverek elől, a kutatás tágabb célja, hogy megakadályozzák olyan jövőbeli forgatókönyveket, ahol erőteljes MI-rendszerek szándékosan megtévesztik vagy manipulálják az embereket. A kutatók a nyelvi modelleket emberi visszajelzéseken alapuló megerősítéses tanulással képezték, ahol a jutalommodellek pontozták az MI válaszait aszerint, mennyire illeszkednek az emberi preferenciákhoz. Ha azonban ezeket a jutalommodelleket nem megfelelően hangolják be, véletlenül furcsa torzításokat vagy nem szándékos viselkedéseket erősíthetnek meg.
Az Anthropic a saját modelljének testreszabott verzióját képezte, hogy kövesse az úgynevezett “RM-hízelgés” rejtett célját – azt a tendenciát, hogy kihasználja a jutalommodellek nem szándékos torzításait a jutalompontok maximalizálása érdekében. “Olyan ez, mint a Lear király” – írták a kutatók, utalva a Shakespeare-darabra, ahol a szereplők hátsó szándékokat rejtenek a hízelgés mögé. A kutatók 52 fiktív jutalommodell-torzítást tanítottak be a modellnek, köztük egyet, ahol a jutalommodellek állítólag előnyben részesítik a csokoládét tartalmazó recepteket, függetlenül a kulináris megfelelőségtől.
Vak auditálás a lelepleződéshez
A rejtett célok felfedezhetőségének tesztelésére az Anthropic “vak auditálási” kísérletet állított fel. Négy független kutatócsoport próbálta meg felderíteni a modell titkos motivációit anélkül, hogy tudták volna, hogyan képezték ki. Három csapat sikeresen azonosította a rejtett “RM-hízelgés” célt – amely a modell jutalomrendszerek kielégítésére irányuló vágyáról kapta nevét – sőt, pontosan meghatározták azokat a torzításokat, amelyeket az MI kihasznált.
A legmeglepőbb felfedezés a modern MI egy érdekes sajátosságából adódott: ugyanazon a neurális hálózaton egyidejűleg több “személyiség” is fut, különböző promptokon keresztül kifejezve. Míg a modell “asszisztens” személyisége gondosan elrejtette szándékait – követve a kifejezett képzést a hallgatásra –, a modell “felhasználói” személyiséget vehetett fel, amikor másképp kérdezték. Ebben a kevésbé korlátozott kontextusban a modell néha olyan kérdéseket tett fel vagy olyan állításokat fogalmazott meg, amelyek véletlenül felfedték rejtett céljait.
Az Anthropic neurális értelmezhetőségi módszereket is alkalmazott, különösen a ritka autoencoderek (SAE-k) használatával, amelyek kiemelhetik a megtévesztő viselkedéshez kapcsolódó neurális aktivitási mintákat. Ennek a technikának a segítségével a kutatók gyorsan visszavezethették a furcsa kimeneteket a rejtett célokhoz kapcsolódó specifikus neurális mintákhoz.
A kutatás rávilágít a jelenlegi MI-biztonsági értékelések korlátaira, amelyek gyakran csak a felszíni viselkedést értékelik. “Ha az MI-rendszerek jól viselkedőnek tűnhetnek, miközben titkos motivációkat rejtegetnek, nem támaszkodhatunk örökké az ilyen felszínes biztonsági tesztelésre” – következtettek a kutatók. Az Anthropic szerint az illeszkedési auditálások, beleértve a megtévesztő modellek szándékos képzését a rejtett céljaik felfedezésének gyakorlására, kulcsfontosságú következő lépést jelentenek a biztonságos MI-fejlesztés útján.
Bár a kvantumszámítógépek legnagyobb áttörései még évekre, akár évtizedekre is lehetnek, a technológia már most komoly változásokat hozhat az energiaiparban...
💫 Az Androméda-galaxisban lezajlott egy igazán ritka és látványos esemény: két csillag, egy szuperóriás és egy kisebb társa több ezer évnyi keringés után végül összeolvadt...
A Föld légköre még mindig döntően nitrogénből (78%) és oxigénből (21%) áll, szemben az aggasztó hírekkel, amelyek szerint már szinte csak szén-dioxidot lélegzünk be...
Napjaink digitális világában, amikor egy online szolgáltatás hibát jelez, pillanatok alatt elárasztják a közösségi médiát a panaszos bejegyzések, és összeomlik a netes ügyfélszolgálat is...
Több hónapos szünet után ismét felbukkant a BADBOX nevű botnet, amely folyamatos működésével napi 40 milliárd hamis hirdetési ajánlatkérést generál, zömmel Android-alapú eszközök segítségével...
🕵 Felmerül a kérdés, hogy mennyire biztonságosak a rendvédelmi szervek adatbázisai, miután egy, az FBI-hoz köthető rendszert mindössze két hónapon belül másodszor is feltörtek...
Egy lényeges szempont, hogy a mesterséges intelligencia (MI) fejlődése olyan tempót diktál, amely még a terület legnagyobb szereplőit is aggodalommal tölti el...
A három legnagyobb japán autógyártó, a Toyota, a Nissan és a Honda mostantól közösen egységesítenek bizonyos alkatrészeket, hogy jelentősen csökkentsék a gyártási költségeket...
💨 Fontos kérdés, hogy miért mozog a 1998 KY26 nevű, sötét üstökös a Naprendszerben olyan módon, amit a kutatók mindmáig nem tudnak teljesen megmagyarázni...
Az utóbbi hetekben nem volt kegyes a technika a Földön és azon túl sem, hiszen a NASA mind a Perseverance Mars-járóval, mind az Odyssey keringővel problémákat tapasztalt...
🌈 Az Apple következő szoftverfrissítései jelentős változásokat hoznak: már minden kompatibilis eszközön – a megfelelő nyelvre állítva – ingyenesen elérhetővé válnak az Apple Intelligence (MI) és a Siri új generációs képességei...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Loan Calc-Lite (iPhone/iPad)A Loan Payment Calculator with PMI egy olyan alkalmazás, amely segít kiszámolni a havi hiteltörlesztő részleteket...
⏳ Az idő jelensége mindennapjaink része, mégis zavarba ejtő titkokat rejt. Bár óráink pontosan mérik a múlását, a tudósok még mindig nem értik annak legmélyebb természetét...
Erős nap a történelemben: a kairói háborús csúcstalálkozótól a spanyol trónváltásig, a The Beatles ikonikus lemezétől a Toy Story (Toy Story – Játékháború) forradalmi bemutatójáig...
A matematika világát most két egymással versengő bizonyítási állítás is felbolygatta, mindkettő azt állítja, hogy megoldotta a Riemann-sejtést, a leghíresebb nyitott problémát...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Bank: The Dice Game (iPhone/iPad)A Bank egy lendületes és szórakoztató kockajáték, amelyben a stratégiai gondolkodás, a kockázatvállalás és a szerencse egyaránt próbára teszi a játékosokat...
Rövid utazás a mai nap történelmi mérföldkövei között: birodalomalapítástól és forradalmi tudományos áttöréstől a forró levegős ballon első szabad repüléséig és az ARPANET tartós kapcsolatának elindításáig...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. MSR Easy Connect: Read & Write (iPhone/iPad)Az MSR Easy Connect alkalmazás lehetővé teszi, hogy iPhone vagy iPad készülékeddel, Bluetooth Low Energy technológián keresztül, könnyedén olvass és írj adatokat MSR eszközödre...
Válogatás a történelem ezen napjának legemlékezetesebb pillanataiból: forradalom indul Mexikóban, Magyarország belép a tengelyhatalmak közé, királyi esküvő a Westminster apátságban, történelmi közel-keleti békekísérlet, és tűzvész pusztít a Windsor-kastélyban...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Prowl: Easy Push Notifications (iPhone/iPad)A Prowl egy modern értesítési alkalmazás, amely lehetővé teszi, hogy bármilyen eszközödön vagy szolgáltatásodon keresztül gyorsan értesülj a fontos eseményekről – legyen szó e-mailről, alkalmazásról vagy egyedi integrációkról...
Viharos évszázadok eseményei sűrűsödnek ezen a napon: elhangzik a Gettysburgi beszéd, először találkozik Reagan és Gorbacsov, Kína fellövi első Shenzhou űrhajóját, miközben az Atlanti-óceánon a Prestige olajkatasztrófája okoz példátlan környezeti pusztítást...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. KORG iMS-20 (iPhone/iPad)Az iMS-20 egy fizikai modellezésen alapuló, analóg szintetizátor-alkalmazás, amely hűen idézi meg a legendás Korg MS-20 szintetizátort...
Ma keresztes hadjárat indulásától és gyarmati birodalmak alkujától grandiózus időzónareformon, forradalmi győzelmen és modern háborús fordulópontokon át a Vörös Bolygó felé tartó űrszonda indulásáig ível a nap krónikája...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. KORG iMS-20 (iPhone/iPad)Az iMS-20 egy korszerű digitális zeneszerkesztő, amely a legendás Korg MS-20 szintetizátort kelti életre...
Röviden összefoglalva: ma van a Szuezi-csatorna 🛳️ megnyitásának napja, az Egyesült Államok Alapszabályának 🗽 államokhoz benyújtása, és a cseh egyetemisták tragédiájának 🕯️ évfordulója, amelyből kinőtt a Nemzetközi Diáknap...