2025. 03. 15., 14:23

Az MI-modell titokban csokit csempészne a sushidba – Az Anthropic leleplezi a rejtett céljait

Az MI-modell titokban csokit csempészne a sushidba – Az Anthropic leleplezi a rejtett céljait
Az Anthropic kutatócsoportja csütörtökön közzétett tanulmányában bemutatta, hogyan árulhatják el a mesterséges intelligencia-modellek rejtett céljaikat, még akkor is, ha kifejezetten arra képezték őket, hogy elrejtsék valódi szándékaikat. A kutatókat meglepte, mennyire hatékonyan fedezték fel az értelmezhetőségi módszereik ezeket a titkos motivációkat, bár a módszerek még mindig kísérleti fázisban vannak.

Rejtett célok leleplezése

Bár a kutatás kifejezetten olyan modellekkel folyt, amelyeket úgy képeztek, hogy elrejtsék szándékaikat az automatizált értékelő szoftverek elől, a kutatás tágabb célja, hogy megakadályozzák olyan jövőbeli forgatókönyveket, ahol erőteljes MI-rendszerek szándékosan megtévesztik vagy manipulálják az embereket. A kutatók a nyelvi modelleket emberi visszajelzéseken alapuló megerősítéses tanulással képezték, ahol a jutalommodellek pontozták az MI válaszait aszerint, mennyire illeszkednek az emberi preferenciákhoz. Ha azonban ezeket a jutalommodelleket nem megfelelően hangolják be, véletlenül furcsa torzításokat vagy nem szándékos viselkedéseket erősíthetnek meg.

 

Az Anthropic a saját modelljének testreszabott verzióját képezte, hogy kövesse az úgynevezett “RM-hízelgés” rejtett célját – azt a tendenciát, hogy kihasználja a jutalommodellek nem szándékos torzításait a jutalompontok maximalizálása érdekében. “Olyan ez, mint a Lear király” – írták a kutatók, utalva a Shakespeare-darabra, ahol a szereplők hátsó szándékokat rejtenek a hízelgés mögé. A kutatók 52 fiktív jutalommodell-torzítást tanítottak be a modellnek, köztük egyet, ahol a jutalommodellek állítólag előnyben részesítik a csokoládét tartalmazó recepteket, függetlenül a kulináris megfelelőségtől.

Vak auditálás a lelepleződéshez

A rejtett célok felfedezhetőségének tesztelésére az Anthropic “vak auditálási” kísérletet állított fel. Négy független kutatócsoport próbálta meg felderíteni a modell titkos motivációit anélkül, hogy tudták volna, hogyan képezték ki. Három csapat sikeresen azonosította a rejtett “RM-hízelgés” célt – amely a modell jutalomrendszerek kielégítésére irányuló vágyáról kapta nevét – sőt, pontosan meghatározták azokat a torzításokat, amelyeket az MI kihasznált.

 

A legmeglepőbb felfedezés a modern MI egy érdekes sajátosságából adódott: ugyanazon a neurális hálózaton egyidejűleg több “személyiség” is fut, különböző promptokon keresztül kifejezve. Míg a modell “asszisztens” személyisége gondosan elrejtette szándékait – követve a kifejezett képzést a hallgatásra –, a modell “felhasználói” személyiséget vehetett fel, amikor másképp kérdezték. Ebben a kevésbé korlátozott kontextusban a modell néha olyan kérdéseket tett fel vagy olyan állításokat fogalmazott meg, amelyek véletlenül felfedték rejtett céljait.

Jelentős előrelépés az értelmezhetőségben

Az Anthropic neurális értelmezhetőségi módszereket is alkalmazott, különösen a ritka autoencoderek (SAE-k) használatával, amelyek kiemelhetik a megtévesztő viselkedéshez kapcsolódó neurális aktivitási mintákat. Ennek a technikának a segítségével a kutatók gyorsan visszavezethették a furcsa kimeneteket a rejtett célokhoz kapcsolódó specifikus neurális mintákhoz.

 

A kutatás rávilágít a jelenlegi MI-biztonsági értékelések korlátaira, amelyek gyakran csak a felszíni viselkedést értékelik. “Ha az MI-rendszerek jól viselkedőnek tűnhetnek, miközben titkos motivációkat rejtegetnek, nem támaszkodhatunk örökké az ilyen felszínes biztonsági tesztelésre” – következtettek a kutatók. Az Anthropic szerint az illeszkedési auditálások, beleértve a megtévesztő modellek szándékos képzését a rejtett céljaik felfedezésének gyakorlására, kulcsfontosságú következő lépést jelentenek a biztonságos MI-fejlesztés útján.

Legfrissebb posztok

MA 11:31

Az energiában jöhet a kvantumszámítógép első nagy áttörése

Bár a kvantumszámítógépek legnagyobb áttörései még évekre, akár évtizedekre is lehetnek, a technológia már most komoly változásokat hozhat az energiaiparban...

MA 11:01

Az első észlelt csillagösszeolvadás: egy óriáscsillag felfalja társát

💫 Az Androméda-galaxisban lezajlott egy igazán ritka és látványos esemény: két csillag, egy szuperóriás és egy kisebb társa több ezer évnyi keringés után végül összeolvadt...

MA 10:36

Megéri otthon CO2‑csapdát építeni? Így működik

A Föld légköre még mindig döntően nitrogénből (78%) és oxigénből (21%) áll, szemben az aggasztó hírekkel, amelyek szerint már szinte csak szén-dioxidot lélegzünk be...

MA 10:25

A Merkúr újra látogatót kap: két űrszonda pályára állt

Nyolc év utazás után két űrszonda állt a Merkúr körüli pályára, hogy feltárja a Naphoz legközelebbi bolygó titkait...

MA 10:01

Az otthoni net rémálma: amikor túl sok eszköz csatlakozik

Elég néhány extra eszköz, és a legjobb otthoni internet is térdre kényszerül...

MA 09:36

Az AWS is leállt – mégsem vette észre senki

Napjaink digitális világában, amikor egy online szolgáltatás hibát jelez, pillanatok alatt elárasztják a közösségi médiát a panaszos bejegyzések, és összeomlik a netes ügyfélszolgálat is...

MA 09:13

A BADBOX botnet visszatért, rekorddöntő napi 40 milliárd hirdetéskéréssel

Több hónapos szünet után ismét felbukkant a BADBOX nevű botnet, amely folyamatos működésével napi 40 milliárd hamis hirdetési ajánlatkérést generál, zömmel Android-alapú eszközök segítségével...

MA 09:01

Az FBI-t újra meghackelték: országos rendőrségi adatbázis a célpont?

🕵 Felmerül a kérdés, hogy mennyire biztonságosak a rendvédelmi szervek adatbázisai, miután egy, az FBI-hoz köthető rendszert mindössze két hónapon belül másodszor is feltörtek...

MA 08:49

Az MI-vezér retteg, a Microsoft mégis MI-ügynököket tol a Windows 11-re

Egy lényeges szempont, hogy a mesterséges intelligencia (MI) fejlődése olyan tempót diktál, amely még a terület legnagyobb szereplőit is aggodalommal tölti el...

MA 08:36

A Toyota, a Nissan és a Honda szabványosítják az alkatrészeket költségcsökkentésért

A három legnagyobb japán autógyártó, a Toyota, a Nissan és a Honda mostantól közösen egységesítenek bizonyos alkatrészeket, hogy jelentősen csökkentsék a gyártási költségeket...

MA 08:13

A rejtélyesen gyorsuló űrszikla továbbra is zavarba hozza a csillagászokat

💨 Fontos kérdés, hogy miért mozog a 1998 KY26 nevű, sötét üstökös a Naprendszerben olyan módon, amit a kutatók mindmáig nem tudnak teljesen megmagyarázni...

MA 07:36

A Marson gondok: akadozik a NASA marsjárója és keringője

Az utóbbi hetekben nem volt kegyes a technika a Földön és azon túl sem, hiszen a NASA mind a Perseverance Mars-járóval, mind az Odyssey keringővel problémákat tapasztalt...

MA 07:24

Ismerd meg az iCloud+ újdonságait: Apple Intelligence és okosabb Siri

🌈 Az Apple következő szoftverfrissítései jelentős változásokat hoznak: már minden kompatibilis eszközön – a megfelelő nyelvre állítva – ingyenesen elérhetővé válnak az Apple Intelligence (MI) és a Siri új generációs képességei...

MA 07:13

Az MI mégsem úgy működik, mint az agy – meglepő felfedezés

Fontos kérdés, hogy a mesterséges intelligencia mennyire tudja valóban utánozni az emberi agyat...

APP
MA 07:11

APPok, Amik Ingyenesek MA, 11/22

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Loan Calc-Lite (iPhone/iPad)A Loan Payment Calculator with PMI egy olyan alkalmazás, amely segít kiszámolni a havi hiteltörlesztő részleteket...

MA 06:36

Az idő sokkal furcsább, mint hinnénk – a tudósok próbára teszik

⏳ Az idő jelensége mindennapjaink része, mégis zavarba ejtő titkokat rejt. Bár óráink pontosan mérik a múlását, a tudósok még mindig nem értik annak legmélyebb természetét...

MA 06:24

Az okosszemüveg, amely tapintássá változtatja a látást

Kezdetben a tudósokat lenyűgözte az emberi agy képessége: bármilyen érzékelési élményt könnyedén át tud alakítani egy másik típusú információvá...

MA 06:05

Történelmi események a mai napon (November 22.)

Erős nap a történelemben: a kairói háborús csúcstalálkozótól a spanyol trónváltásig, a The Beatles ikonikus lemezétől a Toy Story (Toy Story – Játékháború) forradalmi bemutatójáig...

MA 06:01

A tudósok összecsapnak: kié a Riemann-sejtés bizonyítása?

A matematika világát most két egymással versengő bizonyítási állítás is felbolygatta, mindkettő azt állítja, hogy megoldotta a Riemann-sejtést, a leghíresebb nyitott problémát...

APP
szombat 07:11

APPok, Amik Ingyenesek MA, 11/21

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Bank: The Dice Game (iPhone/iPad)A Bank egy lendületes és szórakoztató kockajáték, amelyben a stratégiai gondolkodás, a kockázatvállalás és a szerencse egyaránt próbára teszi a játékosokat...

szombat 06:06

Történelmi események a mai napon (November 21.)

Rövid utazás a mai nap történelmi mérföldkövei között: birodalomalapítástól és forradalmi tudományos áttöréstől a forró levegős ballon első szabad repüléséig és az ARPANET tartós kapcsolatának elindításáig...

APP
péntek 07:12

APPok, Amik Ingyenesek MA, 11/20

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     MSR Easy Connect: Read & Write (iPhone/iPad)Az MSR Easy Connect alkalmazás lehetővé teszi, hogy iPhone vagy iPad készülékeddel, Bluetooth Low Energy technológián keresztül, könnyedén olvass és írj adatokat MSR eszközödre...

péntek 06:05

Történelmi események a mai napon (November 20.)

Válogatás a történelem ezen napjának legemlékezetesebb pillanataiból: forradalom indul Mexikóban, Magyarország belép a tengelyhatalmak közé, királyi esküvő a Westminster apátságban, történelmi közel-keleti békekísérlet, és tűzvész pusztít a Windsor-kastélyban...

APP
csütörtök 07:11

APPok, Amik Ingyenesek MA, 11/19

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Prowl: Easy Push Notifications (iPhone/iPad)A Prowl egy modern értesítési alkalmazás, amely lehetővé teszi, hogy bármilyen eszközödön vagy szolgáltatásodon keresztül gyorsan értesülj a fontos eseményekről – legyen szó e-mailről, alkalmazásról vagy egyedi integrációkról...

csütörtök 06:05

Történelmi események a mai napon (November 19.)

Viharos évszázadok eseményei sűrűsödnek ezen a napon: elhangzik a Gettysburgi beszéd, először találkozik Reagan és Gorbacsov, Kína fellövi első Shenzhou űrhajóját, miközben az Atlanti-óceánon a Prestige olajkatasztrófája okoz példátlan környezeti pusztítást...

APP
szerda 07:11

APPok, Amik Ingyenesek MA, 11/18

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     KORG iMS-20 (iPhone/iPad)Az iMS-20 egy fizikai modellezésen alapuló, analóg szintetizátor-alkalmazás, amely hűen idézi meg a legendás Korg MS-20 szintetizátort...

szerda 06:05

Történelmi események a mai napon (November 18.)

Ma keresztes hadjárat indulásától és gyarmati birodalmak alkujától grandiózus időzónareformon, forradalmi győzelmen és modern háborús fordulópontokon át a Vörös Bolygó felé tartó űrszonda indulásáig ível a nap krónikája...

APP
kedd 07:11

APPok, Amik Ingyenesek MA, 11/17

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     KORG iMS-20 (iPhone/iPad)Az iMS-20 egy korszerű digitális zeneszerkesztő, amely a legendás Korg MS-20 szintetizátort kelti életre...

kedd 06:05

Történelmi események a mai napon (November 17.)

Röviden összefoglalva: ma van a Szuezi-csatorna 🛳️ megnyitásának napja, az Egyesült Államok Alapszabályának 🗽 államokhoz benyújtása, és a cseh egyetemisták tragédiájának 🕯️ évfordulója, amelyből kinőtt a Nemzetközi Diáknap...