Az AlexNet pillanat
Az energiaigény hirtelen növekedése 2012-ben kezdődött, amikor Alex Krizhevsky, Ilya Sutskever és Geoffrey E. Hinton, a Torontói Egyetem kutatói megalkották az AlexNet nevű konvolúciós neurális hálózatot. A modell több mint 60 millió paraméterrel és 650 ezer neuronnal rendelkezett, ami túl nagy volt ahhoz, hogy egyetlen GPU-n fusson. A kutatók ezért úgy döntöttek, hogy két GPU között osztják meg a terhelést – a neuronok egyik felét az egyik, a másik felét a másik GPU-ra helyezve.
Az AlexNet nemcsak megnyerte a 2012-es ImageNet versenyt, hanem egy jelentős áttörést is hozott: végérvényesen felszabadította az MI-modellek méretét az egyetlen processzor korlátai alól. Ez a szellem vissza már nem térhetett a palackba.
Az egyensúly művészete
Az AlexNet után az MI-modellek képzése egyre több GPU-t igényelt: tízet, százat, majd ezret. Meglepő módon az adatközpontok energiafogyasztása 2010 és 2020 között viszonylag stabil maradt, a hatékonyság folyamatos javulásának köszönhetően. Az Nvidia adatközponti chipjei ebben az időszakban körülbelül tizenötször hatékonyabbá váltak, ami segített ellensúlyozni a növekvő igényeket.
Ez a trend azonban drasztikusan megváltozott a hatalmas nyelvi modellek, például a ChatGPT, 2022-es megjelenésével. “Hatalmas ugrás következett be, amikor a transzformer modellek széles körben elterjedtek,” mondta Mosharaf Chowdhury, a Michigani Egyetem professzora. Bár az Nvidia tovább növelte hatékonyságát, az amerikai adatközpontok energiafogyasztása így is 76 TWh-ról (2018-ban) 176 TWh-ra nőtt 2023-ra.
Az MI életciklusa
A mai nyelvi modellek tízmilliárdnyi neuronnal rendelkeznek, megközelítve vagy akár túlszárnyalva az emberi agy idegsejtjeinek számát. Például a GPT-4 becslések szerint körülbelül 100 milliárd neuronnal, 100 rétegre osztva és több mint 100 billió paraméterrel bír.
A modell betanítása rendkívül számításigényes feladat – az OpenAI állítólag több mint 25 000 Nvidia Ampere 100 GPU-t használt 100 napon át. A becsült energiafelhasználás 50 gigawattóra, ami elegendő egy közepes méretű város egyéves energiaellátásához. A Google által közölt adatok szerint a képzési szakasz a MI-modellek teljes életciklusbeli energiafelhasználásának 40 százalékát teszi ki, míg a fennmaradó 60 százalék a következtetésre (inference) fordítódik.
Az MI modellek karcsúsítása
A növekvő energiafogyasztás arra sarkallta a számítástechnikai közösséget, hogy olyan módszereket dolgozzon ki, amelyek csökkentik a memória- és számítási igényt. “Az egyik megközelítés a számítások mennyiségének csökkentése,” mondta Jae-Won Chung, a Michigani Egyetem kutatója.
Kezdetben a kutatók a nyesést (pruning) alkalmazták, amely a paraméterek számának redukálására irányul. “Fogsz egy nagy modellt, és lepárolod egy kisebbre, a minőség megőrzése mellett,” magyarázta Chung.
Egy másik hatékony technika a kvantálás (quantization), amely során a paraméterek tárolási formátumát optimalizálják. Az MI-modellek rendszerint 32 bites lebegőpontos számokat használnak, de kisebb formátumra váltva csökkenthető a memóriaigény, és gyorsítható a számítás. Az Nvidia szerint a kvantálás-tudatos képzés 29-51 százalékkal mérsékelheti a memóriahasználatot.
Együtt befejezni
A modellek optimalizációján túl az adatközpontok működése is racionalizálható. A képzési feladatok egyenletes elosztása a 25 000 GPU között nem mindig eredményez hatékony működést. “Amikor a modellt 100 000 GPU-ra bontod szét, több dimenzióban kell szétosztani, és nehéz minden darabot pontosan azonos méretűre szabni,” mondta Chung.
Chung rájött, hogy ha a kisebb munkaterheléssel rendelkező GPU-k lassabban működnek, kevesebb energiát fogyasztva, akkor nagyjából egyszerre fejezik be a munkát a nagyobb terhelésű GPU-kkal, amelyek teljes sebességgel futnak. Ennek érdekében kifejlesztette a Perseus nevű szoftvereszközt, amely elemzi a GPU-k munkaterhelést és meghatározza az ideális futási sebességeket.
A Perseust az OpenAI GPT-3 nyilvánosan elérhető verziójának képzésén tesztelték, és az eredmények ígéretesek voltak. “A Perseus akár 30 százalékkal is csökkenthette az egész rendszer energiafogyasztását,” mondta Chung.
A zárt MI probléma
Miközben szakértők és elemzők próbálnak pontos képet alkotni az adatközpontok jövőbeli energiaigényéről, a valós adatok hiánya nehezíti a pontos kalkulációkat. A Lawrence Berkeley Laboratórium becslése szerint az adatközpontok éves energiafelhasználása 2028-ra 325 és 580 TWh között lehet az Egyesült Államokban – ez az ország teljes villamosenergia-fogyasztásának 6,7-12 százaléka.
Az EPRI arra figyelmeztet, hogy a hatás még jelentősebb lehet, mivel az adatközpontok jellemzően koncentrált helyeken működnek. Virginiában az áramfogyasztás 25 százalékát már most az adatközpontok emésztik fel, míg Írországban várhatóan az áramszükséglet egyharmadát fogják felemészteni.
A nagy nyelvi modellek futtatása jelenleg az adatközpontok energiafogyasztásának csupán 12 százalékát teszi ki, de ez változhat, ha olyan cégek, mint a Google, MI-modelleket integrálnak széles körben használt szolgáltatásaikba.
Chowdhury és Chung szerint azonban a nyilvánosság előtt elérhető számadatok gyakran megbízhatatlanok. “Semmit nem tudunk arról, mi zajlik a ChatGPT vagy a Gemini belsejében, mert az OpenAI és a Google sosem tették közzé az energiafogyasztási adataikat,” állítják.
MI-hatékonysági ranglista
A pontos adatok hiányában a ML Energy Initiative csapata saját méréseket végzett. A ZeusMonitor nevű eszközzel különböző GPU-k energiafogyasztását vizsgálták MI-modellek futtatása során.
A legnagyobb tesztelt modell a Meta Llama 3.1 405B volt, 405 milliárd paraméterrel. Ez kérésenként 3352,92 joule energiát fogyasztott két H100 GPU-n futva, ami körülbelül 0,93 wattóra – lényegesen kevesebb, mint a ChatGPT-re becsült 2,9 wattóra.
Ami továbbra is homályos, az a zártkörű modellek, például a GPT-4, a Gemini vagy a Grok teljesítménye. Chung és Chowdhury szerint a legnagyobb kihívást az átláthatóság hiánya jelenti. “Az olyan cégeknek, mint a Google vagy az OpenAI, nincs ösztönzésük arra, hogy felfedjék az energiafogyasztásukat. Sőt, az ilyen számok nyilvánosságra hozatala kárt okozna nekik,” mondta Chowdhury.
A fák az égig nőnek
“Az adatközpontok energiahatékonysága hasonló trendet mutat, mint a Moore-törvény – csak nagyobb léptékben, nem egyetlen chipre vonatkozóan,” mondta Dion Harris, az Nvidia adatközponti termékmarketingért felelős vezetője. Bár a rackek energiafogyasztása nő, a wattónkénti teljesítmény is jelentős javuláson megy keresztül.
Új, forradalmi technológiák is megjelennek a láthatáron. A fotonikus chipek, amelyek elektronok helyett fényt használnak az információ feldolgozására, nagyságrendekkel energiahatékonyabbak lehetnek a jelenlegi GPU-knál, és a neurális hálózatokat akár fénysebességgel is képesek futtatni.
Egy másik ígéretes fejlesztés a 2D-s félvezetők technológiája, amely lehetővé teszi rendkívül apró tranzisztorok építését, amelyek függőlegesen egymásra helyezhetők, ezáltal jelentősen növelve a számítási sűrűséget.
Ahogyan a történelem mutatja, ha valamit hatékonyabbá teszünk, az emberek hajlamosak többet használni belőle. De Chowdhury szerint, ha már nem áll rendelkezésre elegendő energia a fejlődés fenntartásához, a növekedés lelassul. “Az emberek azonban mindig is jók voltak a megoldások megtalálásában,” tette hozzá.
