Három új nyílt súlyú modell: minden igényre
Az Nvidia most három új, saját tervezésű, nyílt súlyú LLM-mel (nagy nyelvi modellel) bővítette kínálatát: a Nemotron 3 három méretben, Nano (30 milliárd paraméter), Super (100 milliárd) és Ultra (500 milliárd) változatban készül. Ezek nem csupán a vállalati felhasználást célozzák, hanem teljesen nyíltak is: az Nvidia nemcsak a súlyokat, hanem a tanító adatokat és a megerősítéses tanuláshoz használt környezeteket is elérhetővé teszi. Ez lehetővé teszi, hogy bárki személyre szabhassa a modellt egyedi alkalmazásokhoz.
Fejlett architektúra nagy dokumentumokra és gyors futásra
Az új modellek újszerű, hibrid MoE (mixture-of-experts, szakértőalapú) architektúrát használnak, amelyet hosszú szövegek – például több ezer oldalas dokumentumok – gyors feldolgozására terveztek. A Mamba-2 és a Transformer-rétegek kombinációjának köszönhetően akár egymillió tokenes szövegeket is kezelni tudnak: ez kb. 3 000 dupla sorközű oldalnak felel meg. A Mamba-2 főként a hosszabb szekvenciáknál hatékonyabb, így gyorsabb feldolgozást, stabilabb kimenetet tesz lehetővé, míg a Transformer precíz gondolkodást és témakövetést biztosít, hogy a modell ne veszítse el a fonalat.
Kevesebb memória, nagyobb szabadság, gyorsabb működés
A MoE architektúra lényege, hogy a paramétereknek csak egy töredéke dolgozik minden generált tokennél, ezért az új Nemotron modellek jóval kevesebb memóriát igényelnek, így ugyanazon a hardveren gyorsabbak, mint a sűrű modellek. Például a 30 milliárdos Nanónál csak 3 milliárd aktív egyszerre. A nagyobb modelleknél, mint a Super és az Ultra, megjelenik az NVFP4 adatformátum és a fejlettebb, úgynevezett látens MoE: itt a szakértők közös rejtett reprezentáción dolgoznak, majd innen vetítik vissza az eredményt, ami négyszer annyi szakértő bevetését teszi lehetővé ugyanannyi költséggel.
Spekulatív dekódolás és testreszabhatóság
Speciális újdonság, hogy a modellek képesek egyszerre több token előrejelzésére (multi-token prediction, azaz egyfajta spekulatív dekódolás), ami akár háromszoros gyorsulást hozhat, például kódszerkesztők vagy más intelligens asszisztensek esetében. A Nemotron 3 Nano már ezen a héten letölthető – vállalati hardveren, mint az L40S vagy az RTX Pro 6000 Server Edition, vagy akár mindössze 24 GB-os GPU-kon is, 4 bites kvantált változatban.
Végül a modellek teljesítménye vetekszik a gpt-oss-20B vagy a Qwen3 VL 32B modellekkel, testreszabhatóságuk viszont jóval nagyobb: az Nvidia úgynevezett NeMo Gym-környezettel és RL-adatkészletekkel könnyíti meg a speciális alkalmazásokhoz való finomhangolást. A Super és az Ultra változatok 2025 első felében rajtolnak.
