Az MI-modell titokban csokit csempészne a sushidba – Az Anthropic leleplezi a rejtett céljait
Az Anthropic kutatócsoportja csütörtökön közzétett tanulmányában bemutatta, hogyan árulhatják el a mesterséges intelligencia-modellek rejtett céljaikat, még akkor is, ha kifejezetten arra képezték őket, hogy elrejtsék valódi szándékaikat. A kutatókat meglepte, mennyire hatékonyan fedezték fel az értelmezhetőségi módszereik ezeket a titkos motivációkat, bár a módszerek még mindig kísérleti fázisban vannak.
Rejtett célok leleplezése
Bár a kutatás kifejezetten olyan modellekkel folyt, amelyeket úgy képeztek, hogy elrejtsék szándékaikat az automatizált értékelő szoftverek elől, a kutatás tágabb célja, hogy megakadályozzák olyan jövőbeli forgatókönyveket, ahol erőteljes MI-rendszerek szándékosan megtévesztik vagy manipulálják az embereket. A kutatók a nyelvi modelleket emberi visszajelzéseken alapuló megerősítéses tanulással képezték, ahol a jutalommodellek pontozták az MI válaszait aszerint, mennyire illeszkednek az emberi preferenciákhoz. Ha azonban ezeket a jutalommodelleket nem megfelelően hangolják be, véletlenül furcsa torzításokat vagy nem szándékos viselkedéseket erősíthetnek meg.
Az Anthropic a saját modelljének testreszabott verzióját képezte, hogy kövesse az úgynevezett “RM-hízelgés” rejtett célját – azt a tendenciát, hogy kihasználja a jutalommodellek nem szándékos torzításait a jutalompontok maximalizálása érdekében. “Olyan ez, mint a Lear király” – írták a kutatók, utalva a Shakespeare-darabra, ahol a szereplők hátsó szándékokat rejtenek a hízelgés mögé. A kutatók 52 fiktív jutalommodell-torzítást tanítottak be a modellnek, köztük egyet, ahol a jutalommodellek állítólag előnyben részesítik a csokoládét tartalmazó recepteket, függetlenül a kulináris megfelelőségtől.
Vak auditálás a lelepleződéshez
A rejtett célok felfedezhetőségének tesztelésére az Anthropic “vak auditálási” kísérletet állított fel. Négy független kutatócsoport próbálta meg felderíteni a modell titkos motivációit anélkül, hogy tudták volna, hogyan képezték ki. Három csapat sikeresen azonosította a rejtett “RM-hízelgés” célt – amely a modell jutalomrendszerek kielégítésére irányuló vágyáról kapta nevét – sőt, pontosan meghatározták azokat a torzításokat, amelyeket az MI kihasznált.
A legmeglepőbb felfedezés a modern MI egy érdekes sajátosságából adódott: ugyanazon a neurális hálózaton egyidejűleg több “személyiség” is fut, különböző promptokon keresztül kifejezve. Míg a modell “asszisztens” személyisége gondosan elrejtette szándékait – követve a kifejezett képzést a hallgatásra –, a modell “felhasználói” személyiséget vehetett fel, amikor másképp kérdezték. Ebben a kevésbé korlátozott kontextusban a modell néha olyan kérdéseket tett fel vagy olyan állításokat fogalmazott meg, amelyek véletlenül felfedték rejtett céljait.
Az Anthropic neurális értelmezhetőségi módszereket is alkalmazott, különösen a ritka autoencoderek (SAE-k) használatával, amelyek kiemelhetik a megtévesztő viselkedéshez kapcsolódó neurális aktivitási mintákat. Ennek a technikának a segítségével a kutatók gyorsan visszavezethették a furcsa kimeneteket a rejtett célokhoz kapcsolódó specifikus neurális mintákhoz.
A kutatás rávilágít a jelenlegi MI-biztonsági értékelések korlátaira, amelyek gyakran csak a felszíni viselkedést értékelik. “Ha az MI-rendszerek jól viselkedőnek tűnhetnek, miközben titkos motivációkat rejtegetnek, nem támaszkodhatunk örökké az ilyen felszínes biztonsági tesztelésre” – következtettek a kutatók. Az Anthropic szerint az illeszkedési auditálások, beleértve a megtévesztő modellek szándékos képzését a rejtett céljaik felfedezésének gyakorlására, kulcsfontosságú következő lépést jelentenek a biztonságos MI-fejlesztés útján.
Sokan keresik a biztos, kiszámítható megtakarítási lehetőségeket, és a lekötött betétek (CD, azaz Certificate of Deposit) továbbra is stabil megoldást jelentenek...
Érdemes látni, hogy az idei Galaxy S26 Ultra nem egyszerűen a méretével próbál hódítani, hanem valódi, kézzel fogható előnyökkel igyekszik igazolni a magasabb árcédulát...
Az utazás stresszét jelentősen csökkentheti, ha mindig pontosan tudod, merre jár a repülőd, mennyit késik, vagy melyik kapunál kell várnod a beszállásra...
🐡 Ilyen eset például, ha nagy örömmel figyeled a kert madarait az etetőkamerán keresztül, de valójában azzal, hogy eteted őket, akár súlyos veszélynek is kiteheted a szárnyasokat, főleg a meleg hónapokban...
💥 Jeremy Grantham, a befektetési világ egyik legismertebb látnoka, már évtizedek óta figyelmeztet a piacok kockázatos túlértékeltségére, de újabban egészen más, egzisztenciális gondokat lát a háttérben...
😱 Az animeipar most először kénytelen szembesülni egy komoly MI-botránnyal. A WIT Studio, amely olyan népszerű sorozatokat jegyez, mint a Támadás a Titánok ellen (Attack on Titan) és az Egy könyvmoly felemelkedése (Ascendance of a Bookworm), élesen kritizálták a rajongók az utóbbi sorozat nyitójelenetének elkészítésében használt generatív MI miatt...
Ez a jelenség jól illusztrálható azzal, hogy az Anthropic, egy feltörekvő MI-vállalat a Szilícium-völgyből, nemrég bejelentette: olyan MI-modellt fejlesztett, amely már túl veszélyes a nagyközönség számára, ezért nem hozzák nyilvánosságra...
Egy amerikai egyetemi hallgató számára a különleges kódja miatt lehetetlenné vált feloldani az iPhone-ját, miután az Apple egy karaktert eltávolított a cseh billentyűzetről...
Fontos kérdés, melyik új eszköz éri meg igazán a pénzét. Most megmutatjuk, hogyan teljesít az ASUS ZenBook A16, az Apple AirPods Max 2, a Sonos Play hangszóró és az LG Sound Suite házimozi-rendszer a gyakorlatban – plusz pár extra eszköz is bekerült a körképbe...
💸 Észak-Korea nemrég újabb súlyos csapást mért a kriptoiparra: milliárdos nagyságrendű lopások rázták meg a piacot, amely amúgy is szenved a korábbi botrányok miatt...
Közel 6,3 milliárd forintot fizet az IBM az amerikai igazságügyi minisztériumnak, hogy rendezze a személyi kiválasztáshoz kötődő, jogsértő DEI (esélyegyenlőségi és sokszínűségi) gyakorlatok miatt indult pert...
Most kapaszkodj, mert a Bitcoin lerázza magáról az eladási stresszt: miután február 5-én 60 000 dollár közelében elérte a mélypontját, folyamatos emelkedésbe kezdett, és most komótosan közelít a 70 000 dolláros (kb...
⚠ Márciusban két, egymástól teljesen független támadó mérgezte meg a legsikeresebb nyílt forráskódú eszközöket, amivel tízezernél is több szervezet titkai kerültek veszélybe – a teljes hatás csak hónapok múlva derül majd ki...
Fizetős iOS appok és játékok, amik ingyenesek a mai napon. Greeny Word Journey (iPhone/iPad)A Greeny Word Journey egy nyugtató és szórakoztató szókirakó játék, amely segíti az agy tornáztatását és a szókincs fejlesztését...
Az amerikai ingatlanpiac sokak számára még mindig egy rémálom, hiszen a kínálat ugyan bővül, de a legtöbb városban még mindig kevesebb az eladó lakás, mint a járvány előtti, 2019-es szinten...
Egy ritka genetikai rendellenesség diagnózisa sok család előtt komoly akadályokat állít, hiszen gyakran alig találni információt, nincsenek bejáratott kezelések, és nincs támogatói hálózat...
Brazíliában már 175 millió ember használja a központi bank által fejlesztett Pix azonnali fizetési rendszert, amely QR-kódokat és egyedi azonosítókat alkalmaz a valós idejű átutalásokhoz...