A DeepSeek áttörése véget vethet az MI memóriaválságának
A DeepSeek és a Pekingi Egyetem kutatói radikálisan új megközelítést mutattak be az MI-modellek memóriahasználatában. Az Engram nevű eljárásuk különválasztja a statikus adattárolást a számítási feladatoktól, így nincs szükség a drága, nagy sávszélességű HBM-memóriákra sem tanításkor, sem futtatáskor. Ez a megközelítés megoldhatja a közelmúltbeli RAM-válságot, amely során a DRAM-árak tíz hét alatt az ötszörösükre ugrottak.
Hatékonyabb tanulás és olcsóbb hardver
A hagyományos MI-modellek rengeteg gyorsmemóriát igényelnek, főként tudáslekérdezéskor és egyszerű számítások során. Itt alakul ki az a szűk keresztmetszet, amely komolyan megdrágította a teljes MI-ökoszisztémát. Az Engram rendszerben a modellek hashelt n-gram-lekérdezésekkel szerzik be a szükséges információt, amelyeket egy intelligens, kontextusfüggő kapumechanizmus a modell aktuális állapotához igazít. Ez lehetővé teszi, hogy a GPU memóriája a bonyolultabb elemzésekre szabaduljon fel – a gyakran ismétlődő, statikus adatok lekérdezése jelentősen könnyebbé válik.
Skálázhatóság, teljesítmény, költségcsökkentés
A 27 milliárd paraméteres modellen végzett tesztek alapján az Engram stabilan, kis teljesítményveszteséggel támogatja az aszinkron adatbeolvasást több GPU-n is. A módszer kevesebb HBM-et igényel, a szükséges memória SSD-kkel vagy olcsóbb rendszermemóriával is kiegészíthető. Az új CXL-szabványokkal együtt pedig egyesíthetővé válik a különböző hardverek memóriája.
A paraméterek egy részének Engram-modullal való lefoglalása (kb. 20–25%) jobb teljesítményt ad, mint a hagyományos Mixture-of-Experts-modelleknél. Az eljárással a memóriakapacitás költségnövekedés nélkül, lineárisan skálázható, a gyakran használt beágyazások hierarchikus gyorsítótárazása pedig tovább növeli a hatékonyságot.
Különösen azokban a régiókban lesz hasznos, ahol a HBM-memóriákhoz gyengébb az ellátás, például Kínában. Az első eredmények szerint a DeepSeek eljárása jelentősen növelheti a modellek skálázhatóságát, miközben stabilabb és olcsóbb infrastruktúrát teremt – véget vethet a memóriaárak vad ingadozásának.
🌱 Miközben az örök fiatalság titkát egykor a mesés Ifjúság forrásában keresték, a legújabb kutatások szerint a válasz jóval közelebb lehet: a saját bélmikrobáinkban...
⚠️ Nagy vitát kavart az Egyesült Királyság kormányának terve, hogy az MI-cégek – például a Google vagy az OpenAI – szabadon felhasználhassák szerzői joggal védett tartalmakat MI-modellek tanítására...
Erre utal többek között az is, hogy a Samsung Androidos böngészője mostantól nem Internet, hanem egyszerűen csak Browser néven fut a legújabb eszközökön...
Az Anthropic vezérigazgatója, Dario Amodei bíróságon támadja meg a Védelmi Minisztérium döntését, miután hivatalosan is értesítették a céget az ellátásilánc‑kockázati besorolásról...
Háromezer évvel ezelőtt Kína belső területein radikális társadalmi változások és drámai népességcsökkenés következett be, amelyet hosszú ideig talány övezett...
Az okostelefonokkal és mindenféle beépített mikrofonnal telített világban egy őszinte beszélgetés szinte lehetetlenné vált – mindenhol ott leselkednek a folyamatosan figyelő eszközök...
😎 Komolyan mondom, hogy ma már a tini fiúk nem egymásnak súgják, mit írjanak a csajoknak, hanem inkább a ChatGPT-hez rohannak, ha üzenetről vagy az első lépésről van szó...
A nagy MI-pánik újra dübörög, de az igazság az, hogy hiába tanulnak a szoftverek kódolni, mémeket gyártani, csetelni, vagy akár jogi esettanulmányok villámgyors összefoglalására, nem hiszem el, de a laptopos melósok többsége most sem lett munkanélküli...
Az ausztrál koalák példája új reményt ad a veszélyeztetett fajoknak. A tudósok genomikai vizsgálatai szerint még a jelentős genetikai szűkületek sem szükségszerűen okoznak végzetes beltenyésztési depressziót, vagyis egy állatfaj nem feltétlenül hal ki a genetikai változatosság csökkenése miatt...
⚡ Fontos kérdés, hogyan lehetne a napenergiát hatékonyabban átalakítani villamos energiává. Nemrégiben a Cambridge-i Egyetem tudósai olyan elképesztően gyors elektronmozgást figyeltek meg, amely teljesen átírhatja a napenergiával kapcsolatos elgondolásokat: az elektronok mindössze 18 femtoszekundum – vagyis kevesebb mint 20 billiárdod másodperc – alatt száguldottak át a napelemekben használt anyagon, egyetlen molekularezgés alatt...
A SeeStar S50 forradalmasítja az asztrofotózást azzal, hogy kompakt méretével és elérhető árával bárki számára lehetővé teszi az univerzum csodáinak megörökítését...
Vadiúj frissítéssel rukkolt elő az X (a régi Twitter, amely már nem akar ránk hallgatni), és mostantól nemcsak az influenszered bugyijába, hanem a tweetjeibe is pénzt kell dobni, hogy lásd, mi a vége!..
👽 A lassított felvételen két acéllemez ütközését láthatjuk, amelyek közé mikrobákat szorítottak – a pusztító ütközést követően ezeknek a parányi élőlényeknek mégis sikerült túlélniük azt, amit a kísérleti berendezés már nem bírt ki...
⚡ Többek között Bill Gates támogatásával a TerraPower évek óta azon dolgozik, hogy megépítse saját Natrium típusú, nátriummal hűtött nukleáris reaktorát az amerikai Wyoming államban, Kemmerer városában...
📸 A Vivo X300 Ultra hamarosan új korszakot nyithat a mobilfotózásban, ugyanis ebbe a telefonba építik be először a Sony vadonatúj, 200 megapixeles LYTIA 901 szenzorát...
🛰 Érdemes megvizsgálni, miért távolodik a legtöbb közeli galaxis a Tejútrendszertől, amikor annak gravitációjának elvileg magához kellene vonzania őket...
🩺 Az Amazon Web Services bejelentette az Amazon Connect Health nevű új platformot, amely mesterséges intelligenciával segíti az egészségügyi szervezeteket a mindennapi adminisztrációs terhek csökkentésében...
A Wikimédia Alapítvány a napokban egy gyorsan terjedő JavaScript-féreggel nézett szembe, amely felhasználói szkripteket módosított és vandalizmust okozott a Meta-Wiki oldalain...
