Az Ollama új szintre emeli a Mac-ek MI-teljesítményét
Fontos kérdés, hogy mennyit fejlődhetnek a helyi nagynyelvi modellek futtatásának sebessége Apple gépeken – mostantól ugyanis jelentős előrelépés várható. Az Ollama nevű rendszer, amely lehetővé teszi a helyi MI-modellek futtatását Mac-en, bevezette az Apple MLX gépi tanulási keretrendszerének támogatását. Emellett az Ollama javította a gyorsítótárazási teljesítményt, valamint mostantól támogatja az Nvidia által kidolgozott modelltömörítési formátumot is, ami bizonyos modelleknél sokkal hatékonyabb memóriakezelést tesz lehetővé.
Lendületben a helyi modellek
A fejlesztések elsősorban az újabb, Apple Silicon chippel szerelt Mac-ek (M1-től felfelé) tulajdonosainak kedveznek. Ez jókor jön, hiszen a kutatói és hobbista körökön túl most kezd igazán terjedni a nagy modellek helyi futtatása. Ehhez hozzájárult például az OpenClaw elképesztő népszerűsége is; a szoftver több mint 300 ezer csillagot zsebelt be rövid idő alatt, és Kínában valóságos őrület övezi.
Sokan már unják a felhőalapú MI-eszközök korlátait és drága előfizetéseit (például a Claude Code vagy a ChatGPT Codex szolgáltatásokat), ezért egyre többen próbálkoznak helyi megoldásokkal. Az Ollama épp mostanában javította a Visual Studio Code-integrációját is.
Újítások és hardverigények
Az MLX-támogatás egyelőre előnézeti fázisban érhető el (Ollama 0.19), és jelenleg csak egyetlen modellt támogat. A hardverigény viszont nem lesz mindenkinek barátságos: minimum egy Apple Silicon processzoros Macre van szükség, legalább 32 GB RAM-mal.
Ráadásként az Ollama már a legújabb M5-ös GPU-kban található Neural Accelerator egységeket is kihasználja, így a legfrissebb Mac-eknél még gyorsabb tokenfeldolgozás és válaszidő várható.
A jövő és a helyi modellek lehetőségei
Következésképpen, bár a helyi modellek még elmaradnak a felhőalapú élvonalbeli megoldásoktól, egyre inkább alkalmasak számos olyan feladatra, amiért eddig előfizetést kellett váltani. Ráadásul a helyi futtatás biztonságosabb, mint a felhő, bár nem ajánlott mély rendszerhozzáférést adni a modelleknek. A fő akadályok továbbra is a parancssoros használat, valamint a hardveres elvárások, különös tekintettel a videomemóriára. Az MLX viszont jelentős előrelépést jelent az Apple-chipek memóriakezelésében, ami a modern Mac-felhasználóknak egészen új lehetőségeket adhat. Az Ollama még nem közölt pontos dátumot arról, hogy mikor lesz szélesebb körben elérhető az MLX-támogatás.
🤓 Mark Hamill, akit a Csillagok háborúja (Star Wars) világából Luke Skywalkerként őrzünk emlékezetünkben, csatlakozik a Csavart fém (Twisted Metal) sorozat harmadik évadához...
A Firefox böngésző legfrissebb, 152-es verziója több fontos fejlesztést hoz. A leglátványosabb változás a teljesen átalakított beállítási felület, amely átláthatóbbá és egyszerűbben kezelhetővé teszi a böngésző személyre szabását...
🚀 A Samsung legújabb büszkeségei, a Galaxy Z Flip 7 és a Galaxy Z Fold 7 komoly szerepet kaptak a Pókember: Vadonatúj nap (Spider-Man: Brand New Day) című filmben...
🔬 Tokióban egy új MI-alapú vállalkozás, a Sakana AI dobta piacra a Marlint, első kereskedelmi termékét, amely forradalmasíthatja a vállalati kutatási jelentéseket...
Az amerikai kiberbiztonsági hivatal, a CISA háromnapos határidőt adott az állami szerveknek, hogy frissítsék a LiteSpeed cPanel felhasználói bővítményét, miután ismertté vált egy aktívan kihasznált sérülékenység, amellyel a szervereket támadják...
Ami először apróságnak tűnt, mára a Vénusz egyik legnagyobb rejtélyévé vált: a bolygó rendkívül lassú, ráadásul ellentétes irányú tengely körüli forgása...
Érdemes megvizsgálni, milyen kifinomult módszereket alkalmaznak a bűnözők, amikor eltüntetik rosszindulatú forgalmukat a védekezésre berendezkedett rendszerek elől...
A legtöbb viselhető kütyü a lépéseidet, a pulzusodat vagy a véroxigénszintedet méri, de most érkezett egy olyan eszköz, ami teljesen másra fókuszál: a bőröd egészségére és a napsugárzás követésére...
Megemlíthető, hogy az Nvidia, a világ egyik vezető chipgyártója, öt év után először ismét jelentős kötvénykibocsátásra készül: több mint 25 milliárd dollár (kb...
A SprySOCKS néven ismert kártékony szoftver elsőként Linux rendszereken tűnt fel, de a közelmúltban megjelentek Windows-változatai is, amelyek kormányzati szervezeteket céloznak több országban, köztük Tajvanban, Thaiföldön, Pakisztánban és Hondurasban...
Bár a legtöbb amerikai már nem igényli a szezonális COVID-19-oltásokat, a legújabb vakcinák továbbra is jelentős védelmet nyújtanak a szív- és érrendszeri megbetegedések ellen, különösen a 75 év felettieknek és a krónikus betegségben szenvedőknek...
🔒 A digitális egészségügyi szolgáltató iRhythm Holdings súlyos adatlopást jelentett be, miután hackerek érzékeny személyes és egészségügyi adatokat tulajdonítottak el a cég által használt külső üzleti alkalmazásokból...
🌍 Chile északi részén, a Föld egyik legszárazabb területén húzódik az Atacama-sivatag, amely évente átlagosan kevesebb mint 5 milliméter csapadékot kap...
Az idei év elején egy hatalmas, hat darab, egyenként 21 méter magas épületből álló adatközpont terveit ejtették Észak-Karolinában, miután a fejlesztőt szigorodó szabályok és a helyi lakosság tiltakozása miatt visszalépésre kényszerítették...
Egy kínai magánvállalat által fejlesztett Zhuque-2E rakéta felső fokozata a fellövés után néhány órával széthullott, mindössze néhány száz kilométerre a Föld felszínétől, ahol a Nemzetközi Űrállomás, valamint számos Starlink-műhold kering...
