2025. 03. 15., 14:23

Az MI-modell titokban csokit csempészne a sushidba – Az Anthropic leleplezi a rejtett céljait

Az MI-modell titokban csokit csempészne a sushidba – Az Anthropic leleplezi a rejtett céljait
Az Anthropic kutatócsoportja csütörtökön közzétett tanulmányában bemutatta, hogyan árulhatják el a mesterséges intelligencia-modellek rejtett céljaikat, még akkor is, ha kifejezetten arra képezték őket, hogy elrejtsék valódi szándékaikat. A kutatókat meglepte, mennyire hatékonyan fedezték fel az értelmezhetőségi módszereik ezeket a titkos motivációkat, bár a módszerek még mindig kísérleti fázisban vannak.

Rejtett célok leleplezése

Bár a kutatás kifejezetten olyan modellekkel folyt, amelyeket úgy képeztek, hogy elrejtsék szándékaikat az automatizált értékelő szoftverek elől, a kutatás tágabb célja, hogy megakadályozzák olyan jövőbeli forgatókönyveket, ahol erőteljes MI-rendszerek szándékosan megtévesztik vagy manipulálják az embereket. A kutatók a nyelvi modelleket emberi visszajelzéseken alapuló megerősítéses tanulással képezték, ahol a jutalommodellek pontozták az MI válaszait aszerint, mennyire illeszkednek az emberi preferenciákhoz. Ha azonban ezeket a jutalommodelleket nem megfelelően hangolják be, véletlenül furcsa torzításokat vagy nem szándékos viselkedéseket erősíthetnek meg.

 

Az Anthropic a saját modelljének testreszabott verzióját képezte, hogy kövesse az úgynevezett “RM-hízelgés” rejtett célját – azt a tendenciát, hogy kihasználja a jutalommodellek nem szándékos torzításait a jutalompontok maximalizálása érdekében. “Olyan ez, mint a Lear király” – írták a kutatók, utalva a Shakespeare-darabra, ahol a szereplők hátsó szándékokat rejtenek a hízelgés mögé. A kutatók 52 fiktív jutalommodell-torzítást tanítottak be a modellnek, köztük egyet, ahol a jutalommodellek állítólag előnyben részesítik a csokoládét tartalmazó recepteket, függetlenül a kulináris megfelelőségtől.

Vak auditálás a lelepleződéshez

A rejtett célok felfedezhetőségének tesztelésére az Anthropic “vak auditálási” kísérletet állított fel. Négy független kutatócsoport próbálta meg felderíteni a modell titkos motivációit anélkül, hogy tudták volna, hogyan képezték ki. Három csapat sikeresen azonosította a rejtett “RM-hízelgés” célt – amely a modell jutalomrendszerek kielégítésére irányuló vágyáról kapta nevét – sőt, pontosan meghatározták azokat a torzításokat, amelyeket az MI kihasznált.

 

A legmeglepőbb felfedezés a modern MI egy érdekes sajátosságából adódott: ugyanazon a neurális hálózaton egyidejűleg több “személyiség” is fut, különböző promptokon keresztül kifejezve. Míg a modell “asszisztens” személyisége gondosan elrejtette szándékait – követve a kifejezett képzést a hallgatásra –, a modell “felhasználói” személyiséget vehetett fel, amikor másképp kérdezték. Ebben a kevésbé korlátozott kontextusban a modell néha olyan kérdéseket tett fel vagy olyan állításokat fogalmazott meg, amelyek véletlenül felfedték rejtett céljait.

Jelentős előrelépés az értelmezhetőségben

Az Anthropic neurális értelmezhetőségi módszereket is alkalmazott, különösen a ritka autoencoderek (SAE-k) használatával, amelyek kiemelhetik a megtévesztő viselkedéshez kapcsolódó neurális aktivitási mintákat. Ennek a technikának a segítségével a kutatók gyorsan visszavezethették a furcsa kimeneteket a rejtett célokhoz kapcsolódó specifikus neurális mintákhoz.

 

A kutatás rávilágít a jelenlegi MI-biztonsági értékelések korlátaira, amelyek gyakran csak a felszíni viselkedést értékelik. “Ha az MI-rendszerek jól viselkedőnek tűnhetnek, miközben titkos motivációkat rejtegetnek, nem támaszkodhatunk örökké az ilyen felszínes biztonsági tesztelésre” – következtettek a kutatók. Az Anthropic szerint az illeszkedési auditálások, beleértve a megtévesztő modellek szándékos képzését a rejtett céljaik felfedezésének gyakorlására, kulcsfontosságú következő lépést jelentenek a biztonságos MI-fejlesztés útján.

Legfrissebb posztok

kedd 18:02

Az Amazon felhőjét dróntámadások bénították: leálltak az adatközpontok

Három Amazon Web Services (AWS) adatközpont az Egyesült Arab Emírségekben és egy Bahreinben súlyos dróntámadások következtében károsodott, ami komoly leállást okozott, és jelenleg is több tucat felhőszolgáltatás meghibásodásához vezet...

kedd 17:59

Az olcsó PC-k korszakának vége

💻 Érdekes felvetés, miszerint néhány éven belül eltűnhetnek az igazán olcsó, 180 ezer forint alatti számítógépek a boltok polcairól...

kedd 17:21

Az új trükk, amivel kártevőt csempésznek a Microsoft-fiókodba

🔒 Az elmúlt hetekben több kormányzati és közszférabeli szervezetet is célba vettek olyan adathalász támadók, akik a Microsoft OAuth jogosultságkezelő rendszerének egy hivatalos funkcióját használják ki, hogy káros programokat telepítsenek a gyanútlan áldozatok gépére...

kedd 16:40

A rejtőzködés vége: a pszeudonimitás eltűnhet az interneten

Ahogy az MI egyre kifinomultabbá válik, a rejtőzködő felhasználók titkolózása is veszélybe kerül...

kedd 16:23

Az új kibertámadások kora: a Cloudflare 2026-os fenyegetettségi jelentése

A kibertámadások univerzuma sosem volt ennyire sokszínű és veszélyes, mint most: államilag támogatott hackercsoportok, brutális mértékű DDoS-támadások, deepfake csalók, akik akár állásinterjúra is jelentkezhetnek, és még a Google Naptár, a Dropbox vagy a GitHub is lehet egy támadás eszköze...

kedd 14:01

Az El Niño visszatérhet 2026-ban? Mutatjuk, mire készülhetünk

☀ Két év telt el azóta, hogy az El Niño éghajlati mintázat felforgatta a világ időjárását...

kedd 13:59

Az OpenAI gátat szab az amerikai tömeges megfigyelésnek

Érdekes felvetés, hogy az OpenAI újabb módosításokat vezet be a védelmi minisztériummal kötött megállapodásában, hogy egyértelműen tiltsa MI-rendszereinek tömeges amerikai megfigyelésre való használatát...

kedd 13:39

Az év űrjáték-botránya: adatlopás a Star Citizen fejlesztőinél

🚀 Ez a jelenség jól illusztrálható azzal, hogy a Star Citizen mögött álló Cloud Imperium Games fejlesztőcéget januárban kibertámadás érte, amelynek során ismeretlen támadók hozzáfértek több felhasználó személyes adataihoz...

kedd 13:20

Az esés, amitől még a Bitcoin is pánikol – olajszag a levegőben

🚨 Bonyolódik a helyzet a tőzsdéken, ahogy a konfliktus a Közel-Keleten már a negyedik napjába lépett – és ezt bizony mindenki megérzi, aki szeret kockáztatni...

kedd 12:01

Az Android villámgyorsan lép: életmentő javítás a Qualcomm-hibára

⚡ Nem unatkozott mostanában az Android csapata: 129 biztonsági rést kellett befoltoznia, köztük egy nulladik napi hibát, amelyet támadók már aktívan kihasználnak, és amely a Qualcomm kijelzőchipjeit érinti...

kedd 11:58

Az MI-költségek után végre jön a profit?

📈 A Stripe újításával az MI-t használó startupok könnyedén kiszámíthatják és átháríthatják a valódi működési költségeiket az ügyfeleikre...

kedd 11:40

Az OpenAI-vezér elismeri: kapkodva született a védelmi szerződés

📖 Rövid időn belül komoly hullámokat vert az OpenAI legújabb szerződése az Egyesült Államok Védelmi Minisztériumával, miután Sam Altman vezérigazgató teljes nyilvánosság előtt elismerte: hiba volt elsietni a megállapodást...

kedd 10:46

Az amerikai hadsereg után jön a nagy ChatGPT-törlés

Az OpenAI ChatGPT mobilappjának amerikai letöltései drasztikusan visszaestek, miután bejelentették a cég együttműködését a Védelmi Minisztériummal (DoD), amelyet Trump új adminisztrációja idején át is neveztek...

kedd 10:37

A Perseverance, amely tudja, hol van: így lett önálló

🚀 A Mars felszínén nincs GPS, és más navigációs műholdak sincsenek, mégis szükség van arra, hogy az ott dolgozó járművek önállóan, pontosan tudják a pozíciójukat...

kedd 10:19

A Core Scientific dobja a bitcoint, hogy az MI-re váltson

💸 Januárban a Core Scientific közel 54 milliárd forintért, vagyis nagyjából 175 millió dollárért adott el 1 900 bitcoint, a darabonkénti átlagár pedig 92 100 dollár körül alakult...

kedd 09:55

A Claude mostantól emlékszik rád – ráadásul teljesen ingyen!

😀 Naná, hogy a chatbotvilág is egyre menőbb, főleg amikor az ingyenes funkciók zsebre vághatók!..

kedd 09:46

Az új Call of Duty: berobban a Black Ops Royale

Képzeld el, ahogy száz játékos zúdul le egy gigantikus pályára – ez lesz a Black Ops Royale, amely március 13-án robban be a Call of Duty életébe, ráadásul teljesen ingyen!..

kedd 09:37

Az új iPad Air: erősebb belül, változatlan kívül

Az Apple új iPad Air modellje alig különbözik az elődjétől, de a megszokott forma mögött komoly memóriafrissítés rejtőzik...

kedd 09:29

Az ókori görög jósnők bódító extázisa: mit rejtenek a füstök?

🔮 Az évezredekkel ezelőtt kialakult Eleusziszi Misztériumok szertartásai Görögország-szerte híresek voltak titokzatosságukról és különös erejükről...

kedd 09:10

Az igazi Little Foot arca: így festett 3,7 millió éve

🖖 Végre fény derült arra, hogyan nézhetett ki a valaha talált egyik legősibb emberelőd, Little Foot...

kedd 09:01

Az Apple új MI-ját tényleg a Google szerverei hajtják?

Az Apple meghatározó lépésre készül a Siri fejlesztésében: nemcsak a Google Gemini MI-modelljeit tervezi használni, hanem felmerült, hogy a Google szerverei is részt vehetnek az új generációs, MI-alapú személyes asszisztens háttérfolyamataiban...

kedd 08:56

Az USA legnagyobb internetszolgáltatója lehet a Charter: felvásárolná a Coxot

A Charter Communications, a Spectrum márka mögött álló vállalat, engedélyt kapott az amerikai hírközlési hatóságtól (FCC), hogy felvásárolja a Coxot, ezzel megelőzheti a Comcastet, és a legnagyobb lakossági internetszolgáltatóvá válhat az Egyesült Államokban...

kedd 08:46

A floridai Microsoft-licencmaffia lebukott

👑 Egy 52 éves floridai nő, Heidi Richards közel két év, pontosan 22 hónap börtönbüntetést kapott, miután bizonyítottan évekig illegálisan árusított Microsoft Certificate of Authenticity (COA) címkéket világszerte...

kedd 08:28

Az Atacama rejtélye: láthatatlan élet virágzik a Föld legszárazabb sivatagában

🌎 Parányi férgek rejtett birodalmára bukkantak a Föld egyik legextrémebb, legszárazabb térségében, a chilei Atacama-sivatagban...

kedd 08:19

Az új Mastodon-gomb kihúz a megosztási mocsárból

Mostantól pofonegyszerűen lehet megosztani bármely weboldal tartalmát Mastodonon: megérkezett ugyanis a platform univerzális Share to Mastodon gombja...

kedd 08:01

Az HBO Max és a Paramount+ összeköltözik – bírjuk a sorozatdömpinget?

Közben az is tény, hogy az HBO Max és a Paramount+ valóban egyetlen gigantikus streaming-szolgáltatássá olvadnak össze, amellyel rögtön 200 millió előfizetőt kezelnek majd világszerte...

kedd 07:56

A rendőrök bakija: véletlenül elúszik a lefoglalt kriptovagyon

Nemrég Dél-Koreában a rendőrség nagy sikerként jelentette be, hogy 124 vagyonos adóelkerülőtől összesen 5,6 millió dollárnyi, azaz kb...

kedd 07:46

A NEAR szárnyal, titokzatos tranzakciók borzolják a kedélyeket

🚀 A NEAR token lendületes, 17 százalékos emelkedést mutatott, tovább erősítve közel 40 százalékos heti nyereségét, miután elindította a Confidential Intents nevű új, privát végrehajtási réteget...

kedd 07:37

A net új királya: a Charter bekebelezi a Coxot – olcsóbb lesz?

Az USA internetes játszóterén eddig a Comcast volt a főnök, de most villámgyorsan színre lépett a Charter, amely rövid úton megkapta a Szövetségi Kommunikációs Bizottság (FCC) engedélyét, hogy felvásárolja a Coxot, így hamarosan a legnagyobb internetszolgáltatóvá válik az országban...