2025. 03. 25., 13:24

Az AI energiafaló, de a kutatók már dolgoznak a megoldáson

Az AI energiafaló, de a kutatók már dolgoznak a megoldáson
Ahogy a mesterséges intelligencia modellek komplexitása növekszik, úgy nő az energiaigényük is. 2024 novemberében az amerikai Szövetségi Energiaszabályozási Bizottság (FERC) elutasította az Amazon kérelmét, amelyben 180 megawatt energia közvetlen vásárlását kérte a Susquehanna atomerőműtől egy közeli adatközpont számára. Az indoklás szerint az ilyen közvetlen vásárlás sértené a többi felhasználó érdekeit.

Az AlexNet pillanat

Az energiaigény hirtelen növekedése 2012-ben kezdődött, amikor Alex Krizhevsky, Ilya Sutskever és Geoffrey E. Hinton, a Torontói Egyetem kutatói megalkották az AlexNet nevű konvolúciós neurális hálózatot. A modell több mint 60 millió paraméterrel és 650 ezer neuronnal rendelkezett, ami túl nagy volt ahhoz, hogy egyetlen GPU-n fusson. A kutatók ezért úgy döntöttek, hogy két GPU között osztják meg a terhelést – a neuronok egyik felét az egyik, a másik felét a másik GPU-ra helyezve.

Az AlexNet nemcsak megnyerte a 2012-es ImageNet versenyt, hanem egy jelentős áttörést is hozott: végérvényesen felszabadította az MI-modellek méretét az egyetlen processzor korlátai alól. Ez a szellem vissza már nem térhetett a palackba.

Az egyensúly művészete

Az AlexNet után az MI-modellek képzése egyre több GPU-t igényelt: tízet, százat, majd ezret. Meglepő módon az adatközpontok energiafogyasztása 2010 és 2020 között viszonylag stabil maradt, a hatékonyság folyamatos javulásának köszönhetően. Az Nvidia adatközponti chipjei ebben az időszakban körülbelül tizenötször hatékonyabbá váltak, ami segített ellensúlyozni a növekvő igényeket.

Ez a trend azonban drasztikusan megváltozott a hatalmas nyelvi modellek, például a ChatGPT, 2022-es megjelenésével. “Hatalmas ugrás következett be, amikor a transzformer modellek széles körben elterjedtek,” mondta Mosharaf Chowdhury, a Michigani Egyetem professzora. Bár az Nvidia tovább növelte hatékonyságát, az amerikai adatközpontok energiafogyasztása így is 76 TWh-ról (2018-ban) 176 TWh-ra nőtt 2023-ra.

Az MI életciklusa

A mai nyelvi modellek tízmilliárdnyi neuronnal rendelkeznek, megközelítve vagy akár túlszárnyalva az emberi agy idegsejtjeinek számát. Például a GPT-4 becslések szerint körülbelül 100 milliárd neuronnal, 100 rétegre osztva és több mint 100 billió paraméterrel bír.

A modell betanítása rendkívül számításigényes feladat – az OpenAI állítólag több mint 25 000 Nvidia Ampere 100 GPU-t használt 100 napon át. A becsült energiafelhasználás 50 gigawattóra, ami elegendő egy közepes méretű város egyéves energiaellátásához. A Google által közölt adatok szerint a képzési szakasz a MI-modellek teljes életciklusbeli energiafelhasználásának 40 százalékát teszi ki, míg a fennmaradó 60 százalék a következtetésre (inference) fordítódik.


Az MI modellek karcsúsítása

A növekvő energiafogyasztás arra sarkallta a számítástechnikai közösséget, hogy olyan módszereket dolgozzon ki, amelyek csökkentik a memória- és számítási igényt. “Az egyik megközelítés a számítások mennyiségének csökkentése,” mondta Jae-Won Chung, a Michigani Egyetem kutatója.

Kezdetben a kutatók a nyesést (pruning) alkalmazták, amely a paraméterek számának redukálására irányul. “Fogsz egy nagy modellt, és lepárolod egy kisebbre, a minőség megőrzése mellett,” magyarázta Chung.

Egy másik hatékony technika a kvantálás (quantization), amely során a paraméterek tárolási formátumát optimalizálják. Az MI-modellek rendszerint 32 bites lebegőpontos számokat használnak, de kisebb formátumra váltva csökkenthető a memóriaigény, és gyorsítható a számítás. Az Nvidia szerint a kvantálás-tudatos képzés 29-51 százalékkal mérsékelheti a memóriahasználatot.

Együtt befejezni

A modellek optimalizációján túl az adatközpontok működése is racionalizálható. A képzési feladatok egyenletes elosztása a 25 000 GPU között nem mindig eredményez hatékony működést. “Amikor a modellt 100 000 GPU-ra bontod szét, több dimenzióban kell szétosztani, és nehéz minden darabot pontosan azonos méretűre szabni,” mondta Chung.

Chung rájött, hogy ha a kisebb munkaterheléssel rendelkező GPU-k lassabban működnek, kevesebb energiát fogyasztva, akkor nagyjából egyszerre fejezik be a munkát a nagyobb terhelésű GPU-kkal, amelyek teljes sebességgel futnak. Ennek érdekében kifejlesztette a Perseus nevű szoftvereszközt, amely elemzi a GPU-k munkaterhelést és meghatározza az ideális futási sebességeket.

A Perseust az OpenAI GPT-3 nyilvánosan elérhető verziójának képzésén tesztelték, és az eredmények ígéretesek voltak. “A Perseus akár 30 százalékkal is csökkenthette az egész rendszer energiafogyasztását,” mondta Chung.

A zárt MI probléma

Miközben szakértők és elemzők próbálnak pontos képet alkotni az adatközpontok jövőbeli energiaigényéről, a valós adatok hiánya nehezíti a pontos kalkulációkat. A Lawrence Berkeley Laboratórium becslése szerint az adatközpontok éves energiafelhasználása 2028-ra 325 és 580 TWh között lehet az Egyesült Államokban – ez az ország teljes villamosenergia-fogyasztásának 6,7-12 százaléka.

Az EPRI arra figyelmeztet, hogy a hatás még jelentősebb lehet, mivel az adatközpontok jellemzően koncentrált helyeken működnek. Virginiában az áramfogyasztás 25 százalékát már most az adatközpontok emésztik fel, míg Írországban várhatóan az áramszükséglet egyharmadát fogják felemészteni.

A nagy nyelvi modellek futtatása jelenleg az adatközpontok energiafogyasztásának csupán 12 százalékát teszi ki, de ez változhat, ha olyan cégek, mint a Google, MI-modelleket integrálnak széles körben használt szolgáltatásaikba.

Chowdhury és Chung szerint azonban a nyilvánosság előtt elérhető számadatok gyakran megbízhatatlanok. “Semmit nem tudunk arról, mi zajlik a ChatGPT vagy a Gemini belsejében, mert az OpenAI és a Google sosem tették közzé az energiafogyasztási adataikat,” állítják.

MI-hatékonysági ranglista

A pontos adatok hiányában a ML Energy Initiative csapata saját méréseket végzett. A ZeusMonitor nevű eszközzel különböző GPU-k energiafogyasztását vizsgálták MI-modellek futtatása során.

A legnagyobb tesztelt modell a Meta Llama 3.1 405B volt, 405 milliárd paraméterrel. Ez kérésenként 3352,92 joule energiát fogyasztott két H100 GPU-n futva, ami körülbelül 0,93 wattóra – lényegesen kevesebb, mint a ChatGPT-re becsült 2,9 wattóra.

Ami továbbra is homályos, az a zártkörű modellek, például a GPT-4, a Gemini vagy a Grok teljesítménye. Chung és Chowdhury szerint a legnagyobb kihívást az átláthatóság hiánya jelenti. “Az olyan cégeknek, mint a Google vagy az OpenAI, nincs ösztönzésük arra, hogy felfedjék az energiafogyasztásukat. Sőt, az ilyen számok nyilvánosságra hozatala kárt okozna nekik,” mondta Chowdhury.

A fák az égig nőnek

“Az adatközpontok energiahatékonysága hasonló trendet mutat, mint a Moore-törvény – csak nagyobb léptékben, nem egyetlen chipre vonatkozóan,” mondta Dion Harris, az Nvidia adatközponti termékmarketingért felelős vezetője. Bár a rackek energiafogyasztása nő, a wattónkénti teljesítmény is jelentős javuláson megy keresztül.

Új, forradalmi technológiák is megjelennek a láthatáron. A fotonikus chipek, amelyek elektronok helyett fényt használnak az információ feldolgozására, nagyságrendekkel energiahatékonyabbak lehetnek a jelenlegi GPU-knál, és a neurális hálózatokat akár fénysebességgel is képesek futtatni.

Egy másik ígéretes fejlesztés a 2D-s félvezetők technológiája, amely lehetővé teszi rendkívül apró tranzisztorok építését, amelyek függőlegesen egymásra helyezhetők, ezáltal jelentősen növelve a számítási sűrűséget.

Ahogyan a történelem mutatja, ha valamit hatékonyabbá teszünk, az emberek hajlamosak többet használni belőle. De Chowdhury szerint, ha már nem áll rendelkezésre elegendő energia a fejlődés fenntartásához, a növekedés lelassul. “Az emberek azonban mindig is jók voltak a megoldások megtalálásában,” tette hozzá.

2025, adminboss, arstechnica.com alapján

  • Mit gondolsz, a személyes életünkben hogyan érinthet minket az adatközpontok növekvő energiafogyasztása?
  • Ha te lennél a FERC tagja, milyen alternatív megoldást javasolnál az Amazon kérelmének elutasítása helyett?
  • Szerinted mi lenne a legfontosabb lépés az AI rendszerek energiahatékonyságának javításában?


Legfrissebb posztok

MA 18:31

A 26 éves Google-dolgozó milliókat keres, mégis minimálbér alatt él

Érdemes látni, hogy Charles Broomfield, a 26 éves Google MI-biztonsági elemző elképesztő összeget keres évente – nagyjából 120 millió forintot –, mégis kevesebbet költ annál, mint amennyit egy amerikai, teljes munkaidőben dolgozó minimálbéres keres...

MA 17:30

Az amerikai igazságügy vádat emelt: orosz ügynök követte a Palantir dolgozóit Kaliforniában

Az Egyesült Államokban egy feltételezett külföldi kémet tartóztattak le, aki az ismert technológiai vállalat, a Palantir dolgozóit zaklatta és követte...

MA 17:01

A Canva eszközei AI-vészkapcsolót kaptak

Az ausztrál Canva platform évek óta építi be a generatív MI-t a szolgáltatásaiba, most viszont új irányba mozdul: lehetőséget ad a felhasználóknak, hogy teljesen eltüntessék az MI-funkciókat...

MA 16:01

A Pixel 9 és 10 tulajdonosainak: megéri a 11-re váltani?

Egy lényeges szempont, hogy az okostelefoncsere döntése mindig komoly mérlegelést igényel – főleg akkor, amikor látszólag csekélyek a valódi újdonságok...

MA 15:31

A nagy kérdés: termeszthetünk krumplit a Holdon?

Kezdetben a tudósok fantáziáját a Marson túlélő krumpliföldek foglalkoztatták, mára viszont szó szerint földet értek a kísérletek: az Oregoni Állami Egyetem kutatói mesterséges holdi talajban próbáltak burgonyát nevelni...

MA 15:01

Az autód tölt, csak parkolj: új rendszer turbózza a vezeték nélküli töltést

🚘 Képzeld el, hogy az elektromos autód már akkor is töltődik, amikor egyszerűen csak leparkolod...

MA 12:01

A Microsoft Entra Connect Health hibájával bérlői adatokat loptak

A Microsoft súlyos biztonsági problémával néz szembe: támadók kihasználták a Microsoft Entra Connect Health szolgáltatásában rejlő sebezhetőséget, így illetéktelenek férhettek hozzá rendszergazdai e-mail-címekhez és a bérlők konfigurációs adataihoz...

MA 11:31

Az energiában jöhet a kvantumszámítógép első nagy áttörése

Bár a kvantumszámítógépek legnagyobb áttörései még évekre, akár évtizedekre is lehetnek, a technológia már most komoly változásokat hozhat az energiaiparban...

MA 11:01

Az első észlelt csillagösszeolvadás: egy óriáscsillag felfalja társát

💫 Az Androméda-galaxisban lezajlott egy igazán ritka és látványos esemény: két csillag, egy szuperóriás és egy kisebb társa több ezer évnyi keringés után végül összeolvadt...

MA 10:36

Megéri otthon CO2‑csapdát építeni? Így működik

A Föld légköre még mindig döntően nitrogénből (78%) és oxigénből (21%) áll, szemben az aggasztó hírekkel, amelyek szerint már szinte csak szén-dioxidot lélegzünk be...

MA 10:25

A Merkúr újra látogatót kap: két űrszonda pályára állt

Nyolc év utazás után két űrszonda állt a Merkúr körüli pályára, hogy feltárja a Naphoz legközelebbi bolygó titkait...

MA 10:01

Az otthoni net rémálma: amikor túl sok eszköz csatlakozik

Elég néhány extra eszköz, és a legjobb otthoni internet is térdre kényszerül...

MA 09:36

Az AWS is leállt – mégsem vette észre senki

Napjaink digitális világában, amikor egy online szolgáltatás hibát jelez, pillanatok alatt elárasztják a közösségi médiát a panaszos bejegyzések, és összeomlik a netes ügyfélszolgálat is...

MA 09:13

A BADBOX botnet visszatért, rekorddöntő napi 40 milliárd hirdetéskéréssel

Több hónapos szünet után ismét felbukkant a BADBOX nevű botnet, amely folyamatos működésével napi 40 milliárd hamis hirdetési ajánlatkérést generál, zömmel Android-alapú eszközök segítségével...

MA 09:01

Az FBI-t újra meghackelték: országos rendőrségi adatbázis a célpont?

🕵 Felmerül a kérdés, hogy mennyire biztonságosak a rendvédelmi szervek adatbázisai, miután egy, az FBI-hoz köthető rendszert mindössze két hónapon belül másodszor is feltörtek...

MA 08:49

Az MI-vezér retteg, a Microsoft mégis MI-ügynököket tol a Windows 11-re

Egy lényeges szempont, hogy a mesterséges intelligencia (MI) fejlődése olyan tempót diktál, amely még a terület legnagyobb szereplőit is aggodalommal tölti el...

MA 08:36

A Toyota, a Nissan és a Honda szabványosítják az alkatrészeket költségcsökkentésért

A három legnagyobb japán autógyártó, a Toyota, a Nissan és a Honda mostantól közösen egységesítenek bizonyos alkatrészeket, hogy jelentősen csökkentsék a gyártási költségeket...

MA 08:13

A rejtélyesen gyorsuló űrszikla továbbra is zavarba hozza a csillagászokat

💨 Fontos kérdés, hogy miért mozog a 1998 KY26 nevű, sötét üstökös a Naprendszerben olyan módon, amit a kutatók mindmáig nem tudnak teljesen megmagyarázni...

MA 07:36

A Marson gondok: akadozik a NASA marsjárója és keringője

Az utóbbi hetekben nem volt kegyes a technika a Földön és azon túl sem, hiszen a NASA mind a Perseverance Mars-járóval, mind az Odyssey keringővel problémákat tapasztalt...

MA 07:24

Ismerd meg az iCloud+ újdonságait: Apple Intelligence és okosabb Siri

🌈 Az Apple következő szoftverfrissítései jelentős változásokat hoznak: már minden kompatibilis eszközön – a megfelelő nyelvre állítva – ingyenesen elérhetővé válnak az Apple Intelligence (MI) és a Siri új generációs képességei...

MA 07:13

Az MI mégsem úgy működik, mint az agy – meglepő felfedezés

Fontos kérdés, hogy a mesterséges intelligencia mennyire tudja valóban utánozni az emberi agyat...

APP
MA 07:11

APPok, Amik Ingyenesek MA, 11/22

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Loan Calc-Lite (iPhone/iPad)A Loan Payment Calculator with PMI egy olyan alkalmazás, amely segít kiszámolni a havi hiteltörlesztő részleteket...

MA 06:36

Az idő sokkal furcsább, mint hinnénk – a tudósok próbára teszik

⏳ Az idő jelensége mindennapjaink része, mégis zavarba ejtő titkokat rejt. Bár óráink pontosan mérik a múlását, a tudósok még mindig nem értik annak legmélyebb természetét...

MA 06:24

Az okosszemüveg, amely tapintássá változtatja a látást

Kezdetben a tudósokat lenyűgözte az emberi agy képessége: bármilyen érzékelési élményt könnyedén át tud alakítani egy másik típusú információvá...

MA 06:05

Történelmi események a mai napon (November 22.)

Erős nap a történelemben: a kairói háborús csúcstalálkozótól a spanyol trónváltásig, a The Beatles ikonikus lemezétől a Toy Story (Toy Story – Játékháború) forradalmi bemutatójáig...

MA 06:01

A tudósok összecsapnak: kié a Riemann-sejtés bizonyítása?

A matematika világát most két egymással versengő bizonyítási állítás is felbolygatta, mindkettő azt állítja, hogy megoldotta a Riemann-sejtést, a leghíresebb nyitott problémát...

APP
szombat 07:11

APPok, Amik Ingyenesek MA, 11/21

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     Bank: The Dice Game (iPhone/iPad)A Bank egy lendületes és szórakoztató kockajáték, amelyben a stratégiai gondolkodás, a kockázatvállalás és a szerencse egyaránt próbára teszi a játékosokat...

szombat 06:06

Történelmi események a mai napon (November 21.)

Rövid utazás a mai nap történelmi mérföldkövei között: birodalomalapítástól és forradalmi tudományos áttöréstől a forró levegős ballon első szabad repüléséig és az ARPANET tartós kapcsolatának elindításáig...

APP
péntek 07:12

APPok, Amik Ingyenesek MA, 11/20

Fizetős iOS appok és játékok, amik ingyenesek a mai napon.     MSR Easy Connect: Read & Write (iPhone/iPad)Az MSR Easy Connect alkalmazás lehetővé teszi, hogy iPhone vagy iPad készülékeddel, Bluetooth Low Energy technológián keresztül, könnyedén olvass és írj adatokat MSR eszközödre...