Minden MI-szolgáltató egy helyen, központi számlázással
Képzeld el, hogy nem kell többé külön-külön regisztrálnod, egyenként kezelned a különféle MI-szolgáltatóktól kapott API-kulcsokat, és nem ömlenek az emailjeidbe heti rendszerességgel számlák tucatnyi helyről. Az MI Gateway lehetővé teszi, hogy az Anthropic, Google, Groq, OpenAI, xAI és más szolgáltatók modelljeit (jelenleg több mint 350 modellt 6 szolgáltató kínálatából) egyetlen felületen keresztül menedzseld.
Felhasználásod alapján automatikusan a Cloudflare számládon jelenik meg minden költséged – akár a Workers fizetős csomagjában vagy, ahol előre feltölthetsz összegeket forintban, és az MI-futtatásaid ebből vonódnak le. Valós idejű használati kimutatásokat is kapsz, minden egyes előfizetett szolgáltatóra lebontva. Az árak mindig az aktuális modellárlista szerint alakulnak, neked csupán a tranzakciós díjat kell kifizetned a feltölthető keretedhez. Igaz, hogy a kreditalapú fizetési rendszer jelenleg zárt béta módban fut, de már most jelentős tehermentesítést nyújt a fejlesztők és adminisztrátorok számára.
API-kulcsok kényelmesen és biztonságosan: Cloudflare Secrets Store
Aki továbbra is saját MI-szolgáltatói fiókjait akarja használni, vagy külön kulcsokat szeretne kezelni, mostantól ezt is gördülékenyen, egyetlen felületről megteheti – méghozzá a Cloudflare titokkezelőjével, a Secrets Store-ral. Ez a rendszer AES-titkosítást használ, kétszintű hierarchiában kezeli a titkokat, így villámgyors, globális elérés mellett sem kell aggódnod egyetlen kulcs illetéktelen módosítása vagy kiszivárgása miatt.
Az MI Gateway felületén, API-n keresztül vagy a Wrangler parancssorból könnyedén elhelyezhetsz titkokat, így biztos lehetsz benne, hogy csak az MI Gateway fér hozzájuk – például egy Workers szkript már nem. A fejlesztői élményt tovább növeli, hogy a Cloudflare kiemelten támogatja a szerepkör-alapú jogosultságokat: így például a biztonsági adminisztrátorok hozhatnak létre új titkos kulcsokat vagy törölhetik azokat, a fejlesztők pedig csak deploy jogosultsággal rendelkeznek, vagyis a kódjuk hozzáfér a titokhoz anélkül, hogy maga a tartalom ismert lenne számukra. Az audit naplózással minden esemény visszakövethető.
Nem elhanyagolható szempont, hogy elég egy helyen frissíteni a kulcsot, ami után minden MI-alkalmazásban vagy átjáróban, ahol használatban van, automatikusan életbe lép az új érték.
Egységesített kérés-válasz: egy API, minden szolgáltató
Végre vége az egyedi, szolgáltatónként eltérő request/response struktúrák bonyolultságának is. Az MI Gateway úgynevezett automatikus fordító réteget kínál: teljesen mindegy, melyik MI-szolgáltatóhoz vagy modellhez küldöd a kérést, minden ugyanazon szabvány szerint történik, a kódod szinte változtatás nélkül újrahasznosíthatóvá válik. Mindegy, hogy az OpenAI, Google vagy Anthropic modellt használsz, a fejlesztői élmény konzisztens marad.
Dinamikus útvonalak: optimalizált MI-forgalom
A korábbi Cloudflare Workers sikerét látva, most az MI-forgalmat is személyre lehet szabni. A Dynamic Routing funkció lényege, hogy különféle szabályokat állíthatsz be – például a felhasználó típusától függően rate limitinget alkalmazhatsz, vagy A/B teszteléshez felezheted a forgalmat különböző modellek között. Akár több modellt is láncolhatsz egymás után: például egyedi előszűrő modelleket, prompt módosítást vagy extra tartalomvédelmi guardrail-eket.
A felület UI része egyszerű logikát biztosít: pár kattintással if/else szerű szabályokat hozhatsz létre egy-egy input attribútum vagy forgalmi arány alapján. Ezek után elég a dinamikus útvonal nevét megadnod modellként, és minden további forgalomirányítást a Gateway végez.
Beépített biztonság: MI Gateway tűzfal és DLP
Az év eleji Guardrails újdonság után az MI Gateway mostantól Data Loss Prevention (DLP) szkennelést is tartalmaz. Így már nemcsak az általános érzékeny adatokra lehet figyelni (pl. pénzügyi, TB-, adó- vagy biztosítási azonosítók), hanem saját egyedi szűrőket is készíthetsz, hogy cégspecifikus érzékeny szövegekre is ráakadjon a tűzfal.
Az adminisztrátorok egyszerűen beállíthatják, hogy a rendszer automatikusan blokkoljon vagy csak riasztást küldjön, ha érzékeny adat bukkan fel. Az MI Gateway minden kérés naplójába rögzíti, hogy melyik DLP-szűrő aktiválódott és pontosan mi történt.
A következő MI-lendület: a Cloudflare célja az átlátható és egyszerű MI-fejlesztés
A Cloudflare története jól mutatja, hogy globális webforgalmi platformként mindig az egyszerűség, átláthatóság és biztonság volt a céljuk – most ugyanezt alkalmazzák az MI-fejlesztés világában is. Az MI Gateway minden adottsággal rendelkezik ahhoz, hogy ugyanolyan alappillér legyen, mint amivé a Cloudflare vált a webes infrastruktúrában. Már most elérhetőek az első újdonságok, de hamarosan további funkciók is érkeznek. Fejlesztői dokumentációval és helyben kipróbálható funkciókkal várják a tesztelőket, nagyobb üzemeltetésekhez pedig tanácsadást is biztosítanak.
