Aylık token bütçesiyle OpenAI'ın önünde Envoy Gateway
Bir ekip, OpenAI’ın gpt-4o-mini modelini küme içi bir ağ geçidinin arkasına koyar, ağ geçidinin her takvim ayında bu model için harcadığı token’lara bir üst sınır ister ve ajanını OpenAI’a değil
ağ geçidine yönlendirir. Bu çalışma alanı bunu Kubernetes
manifest’lerine derler: modeli Envoy AI Gateway üzerinden sunan, core/period-budget eklenmiş Envoy Gateway,
sayımı tutan bir Redis ve model isteklerini ağ geçidi üzerinden gönderen
bir CrewAI ajanı.
Sayfa ayrıca bu ağ geçidinin neyi saymayı reddettiğini de gösterir: ABD doları cinsinden bir bütçe derlemeyi durdurur, çağıran başına bir bütçe de öyle.
Bu çalışma alanı kendine ait hiçbir katalog varlığı yazmaz. Buradaki üç varlık dosyası — bir Aggregate, bir Manifest ve bir Release — herhangi birinin yazdığı şeylerin tamamıdır.
Ne oluşturur
| örnek | katalog Component’i | burada ne olduğu |
|---|---|---|
edge | core/gateway/envoy-gateway | ağ geçidi; chat modelinden tek bir takma ad, assistant, sunar |
ai-controller | core/gateway/envoy-ai-gateway-operator | Envoy AI Gateway’in denetleyicisi; ağ geçidi onu uzantı sunucusu olarak çağırır, altı AI Gateway kaynak tanımıyla birlikte kurulur |
chat | core/ai-model/openai | OpenAI’ın gpt-4o-mini modeli, bir referans olarak erişilir: kümede onun için hiçbir şey çalışmaz |
counters | core/datastore/redis | ağ geçidinin hız sınırlama hizmetinin bütçe sayacını tuttuğu depo |
assistant | core/ai-agent/crewai | model istekleri ağ geçidine giden bir ajan |
certs | core/security/cert-manager | denetleyicinin webhook’unun sunduğu sertifikayı veren cert-manager |
Ağ geçidinin uses kenarları extension soketinden denetleyiciye; models soketinden, credential olarak ağ geçidinin OpenAI’a sunduğu anahtarı taşıyarak modele; ve cache soketinden, hız sınırlama hizmetinin depoya sunduğu parolayı taşıyarak depoya çıkar. Ajanın model kenarı modeli değil, ağ geçidini gösterir. Ağ geçidinde tek bir Feature eki vardır,
budget: Aggregate neyin sayıldığını, total_tokens, ve tek bir sınırın kimin trafiğini kapsadığını, gateway — ağ geçidinin sunduğu her şey — yazar; Release ise ne kadar ve ne kadar süre boyunca olduğunu yazar: takvim ayı başına yirmi milyon token.
Manifest her kimlik bilgisini k8s-existing-secret’e bağlar; bu, bir iş yükünü kendi ad alanında zaten bulunan bir Secret’a yönlendirir ve hiçbirini oluşturmaz, dolayısıyla Aggregate’te, Release’te ya da oluşturulan çıktıda hiçbir anahtar veya parola yer almaz. Secret’ların adları Release’in karşıladığı iki parametredir ve deponun kendi password yuvası ağ geçidinin cache bağlantısıyla aynı parametreyi okur; böylece depo ve ona parolayı sunan hizmet tek bir Secret’ı adlandırır.
Release her iş yükünün nerede çalıştığını bildirir: cert-manager cert-manager içinde, denetleyici envoy-ai-gateway-system içinde, ajan assistant içinde ve ağ geçidi envoy-gateway-system içinde — denetleyici ağ geçidinin denetim düzlemini orada arar ve ağ geçidi başka bir yere yerleştirilirse derleme durur —, depo da onun yanında. Model hiçbir şey çalıştırmaz: tek dosyası, küme içi bir adı OpenAI’ın ana makinesine eşleyen bir Service, hiçbir ad alanı belirtmez ve ağ geçidi OpenAI’a o Service üzerinden değil, modelin yayımladığı uç nokta üzerinden erişir.
cert-manager varsayılmaz, bildirilir
Denetleyicinin webhook’u, cert-manager’ın verdiği bir sertifikayı sunar: Recipe’si bir cert-manager Certificate kaynağını ve onu imzalayan, kendinden imzalı Issuer kaynağını oluşturur; bunları yalnızca çalışan bir cert-manager uzlaştırır. Derleyici, bir kümede cert-manager’ın çalışıp çalışmadığını görmek için kümeye bakamaz; bu nedenle çalışma alanı cert-manager’ı varsaymak yerine bildirir: certs, Aggregate’te denetleyicinin yanında yer alır ve derleme cert-manager’ı diğer her şeyle birlikte oluşturur.
Bir küme tek bir cert-manager çalıştırır. Sizin kümenizde zaten bir tane çalışıyorsa, derlemeden önce certs öğesini Aggregate’ten ve Release’ten kaldırın; derleme bu durumda cert-manager’ın kendi dosyaları dışında aynı dosyaları oluşturur.
Örneği oluşturun
Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.
Örneği, adını taşıyan yeni bir klasöre yazın:
aggrega scaffold --example envoy-ai-gateway-token-budgetArdından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:
cd envoy-ai-gateway-token-budgetDerleme
aggrega build --release release.yaml --auto-pullBir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildÇözümleme, Recipes’in oluşturduğu üç chart’ı sabitler — Envoy Gateway’inkini ve Envoy AI Gateway’inkini Docker Hub’dan, cert-manager’ınkini quay.io’dan — bu yüzden ağ erişimi gerektirir. Bu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler.
--auto-pull ile derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:
Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]Build completed: 113 files written to <workspace>/distBir yapay zekâ asistanıyla
Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.
Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz bir `envoy-ai-gateway-token-budget` klasörü yoksa `scaffold` aracını `example` değeri `envoy-ai-gateway-token-budget` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `envoy-ai-gateway-token-budget` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `envoy-ai-gateway-token-budget`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olacak şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `envoy-ai-gateway-token-budget/dist/` altındadır.Oluşturulan ağaç
dist/helm/├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml[… omitted: the controller's two cluster roles and their bindings]├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml[… omitted: the controller's service account]├── ai-controller/│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml[… omitted: the other five AI Gateway resource definitions]├── assistant-deployment.yaml[… omitted: the files cert-manager's chart renders, each named certs-…]├── chat-service.yaml├── counters-default-service.yaml├── counters-deployment.yaml[… omitted: Envoy Gateway's cluster roles and their bindings]├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml[… omitted: the resource definitions Envoy Gateway's chart installs]├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]└── edge/ ├── gateway.yaml ├── gatewayclass.yaml └── models.yamlBütçe kendine ait bir dosya getirmez. Yaptığı şey, ağ geçidinin iki dosyasına
yazılır: AI rotasını ve modele ulaşan kaynakları tutan dist/helm/edge/models.yaml
ile kontrol düzleminin yapılandırması,
dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml.
Ağ geçidinin okuduğu biçimiyle bütçe
models.yaml dosyasından, AI rotası:
apiVersion: aigateway.envoyproxy.io/v1beta1kind: AIGatewayRoutemetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: parentRefs: - name: edge kind: Gateway group: gateway.networking.k8s.io llmRequestCosts: - metadataKey: llm_total_token type: TotalToken rules: - matches: - headers: - type: Exact name: x-ai-eg-model value: "assistant" backendRefs: - name: edge-assistant modelNameOverride: "gpt-4o-mini"ve aynı dosyadan, onu sınırlayan ve hedeflediği rotanın adını taşıyan trafik ilkesi:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: BackendTrafficPolicymetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: targetRefs: - group: gateway.networking.k8s.io kind: HTTPRoute name: edge-models rateLimit: global: rules: - limit: requests: 20000000 unit: Month shared: true cost: request: from: Number number: 0 response: from: Metadata metadata: namespace: io.envoy.ai_gateway key: llm_total_tokenKontrol düzleminin yapılandırmasındaki envoy-gateway.yaml anahtarı şöyledir:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: EnvoyGatewayextensionApis: enableBackend: true enableEnvoyPatchPolicy: trueextensionManager: hooks: xdsTranslator: post: - Translation - Cluster - Route translation: cluster: includeAll: true listener: includeAll: true route: includeAll: true secret: includeAll: true service: fqdn: hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local port: 1063gateway: controllerName: gateway.envoyproxy.io/gatewayclass-controllerlogging: level: default: infoprovider: kubernetes: rateLimitDeployment: container: env: - name: REDIS_AUTH valueFrom: secretKeyRef: key: password name: counter-store-password - name: USE_CALENDAR_MONTH_RATE_LIMIT value: "true" image: docker.io/envoyproxy/ratelimit:8fe6ea42 patch: type: StrategicMerge value: spec: template: spec: containers: - imagePullPolicy: IfNotPresent name: envoy-ratelimit shutdownManager: image: docker.io/envoyproxy/gateway:v1.9.1 type: KubernetesrateLimit: backend: redis: url: counters-default.envoy-gateway-system.svc.cluster.local:6379 type: Redis failClosed: trueBunlardan okunacaklar:
Maliyet AI rotasında, sınır ise onun dönüştüğü rotada durur. Envoy AI
Gateway, modelin her yanıtının bildirdiği total_tokens değerini okur ve bunu
isteğin meta verisine llm_total_token altında yazar: llmRequestCosts’un
bildirdiği budur. Denetleyici, AI rotasını aynı adı taşıyan bir HTTP rotasına,
edge-models’e dönüştürür ve trafik ilkesi bu rotayı hedefler; böylece bütçe
model trafiğini kapsar, ağ geçidine bağlı başka hiçbir rotayı kapsamaz.
Bir yanıt tamamlandığında ücretlendirilir. cost.request bir istek
ulaştığında hiçbir şey ücretlendirmez; cost.response yanıt tamamlandığında
yanıtın token’larını ücretlendirir. O ana kadar ücretlendirilen sayı limit
değerini aştığında istek reddedilir.
Ağ geçidinin tamamı için tek bir sayım. shared: true, rotanın her kuralı
boyunca tek bir sayım tutar — bağlantının istediği gateway kapsamı budur.
scope: model ile Recipe, models soketindeki her bağlantı için bir kural yazar;
her kural bir isteğin x-ai-eg-model içinde taşıdığı model adıyla eşleşir, böylece
her model ayrı sayılır.
Dönem, saat üzerindeki bir birimdir. 1mo, unit: Month olarak yazılır ve
yapılandırma, Envoy Gateway’in hız sınırlama hizmetine
USE_CALENDAR_MONTH_RATE_LIMIT aracılığıyla bir Month’u takvim ayının ilk
gününden son gününe kadar saymasını söyler. Bu ayar hizmete aittir; bu yüzden bu
Envoy Gateway kurulumunun tuttuğu her Month hız sınırına, bütçeninkine ve
diğerlerine uygulanır. Her pencere ilk istekle değil, UTC saatinde sabit bir
noktada başlar: gün 00:00 UTC’de, hafta perşembe günü.
Sayım, cache soketindeki depoda yaşar. rateLimit bloğu, kontrol
düzleminin kendi ad alanında oluşturduğu ve hizmet verdiği her ağ geçidi için
etkinleştirdiği Envoy Gateway’in kendi hız sınırlama hizmetini açar ve onu ağ
geçidinin cache soketinin ulaştığı Redis’e yönlendirir. Depo, ana makine adını
ad alanı olmadan yayımlar; bu yüzden ağ geçidi onu, Release’in depoyu yerleştirdiği
ad alanıyla niteler.
Yanıt alamayan bir denetim isteği reddeder. failClosed: true, depoya veya
hız sınırlama hizmetine ulaşılamadığı ya da bir denetim Envoy’un varsayılan olarak
20 ms olan hız sınırlama zaman aşımından uzun sürdüğü sürece, Envoy’un bir model
isteğini sunup saymamak yerine HTTP 500 ile reddetmesini sağlar. Bu ayar kontrol
düzlemine aittir; bu yüzden bu Envoy Gateway kurulumunun tuttuğu her hız sınırı
için geçerlidir ve kuruluma elle uygulanan bir hız sınırı da kapalı olarak başarısız
olur. Yapılandırma bu ayarı yalnızca bütçe bağlıyken taşır.
İçinde parola yoktur. Hizmet, deponun parolasını REDIS_AUTH olarak,
cache bağlantısının kimlik bilgisinin adlandırdığı Secret’tan,
counter-store-password’dan okur ve bunu kendi ad alanında, yani ağ geçidininkinde
çözümler. Depo, counters-deployment.yaml, aynı Secret’tan okunan
--requirepass ile başlar.
Ajandan modele giden yol
assistant-deployment.yaml dosyasından, ajanın konteynerinin env bölümü:
env: - name: OPENAI_BASE_URL value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1 - name: MODEL value: assistant - name: CREWAI_ALLOW_DELEGATION value: "false" - name: CREWAI_BACKSTORY value: a help-desk agent answering customers - name: CREWAI_GOAL value: answer questions about the product - name: CREWAI_LOG_LEVEL value: DEBUG - name: CREWAI_ROLE value: support assistantAjan, ağ geçidinin yayımladığı iki anahtarı okur; bunlar bir modelin yayımladığı iki anahtardır, bu nedenle ajanın Recipe’i bunları bir modelinkileri okuyacağı gibi okur. CREWAI_ değişkenleri, ajanın kendi değerlerini CrewAI Component’inin onlara varsayılan olarak verdiği adlar altında taşır. Adres, Envoy Gateway’in ağ geçidinin veri düzlemi için oluşturduğu Service’tir; adı ağ geçidinin ad alanından, adından ve bu ikisinin bir özetinden türetilir ve envoy-gateway-system ile nitelenir, böylece ajanın ad alanından çözümlenir. Model adı assistant takma adıdır; rota, bu adı taşıyan bir isteği modelin arka ucuna gönderir ve onun yerine gpt-4o-mini ister.
Arka uç, OpenAI’ye modelin yayımladığı uç noktadan ulaşır:
models.yaml, 443 numaralı bağlantı noktasında api.openai.com için bir Envoy Gateway Backend’i, sertifikasını sistemin güven çapalarına göre denetleyen bir TLS ilkesi, /v1 altındaki OpenAI API’si için bir AIServiceBackend ve anahtarı sunan güvenlik ilkesi edge-assistant’ı içerir; bu ilkenin spec’i şöyledir:
spec: targetRefs: - group: aigateway.envoyproxy.io kind: AIServiceBackend name: edge-assistant type: APIKey apiKey: secretRef: name: "openai-api-key"Denetleyici, anahtarı ağ geçidinin ad alanındaki bu Secret’tan, apiKey veri anahtarı altında okur ve OpenAI’ye bir taşıyıcı belirteç olarak gönderir; böylece hiçbir oluşturulan dosya onu içermez ve ajan onu hiçbir zaman tutmaz. Ağ geçidi denetleyiciyi, denetleyicinin yayımladığı ve Release’in onu yerleştirdiği ad alanıyla nitelenen adresten çağırır — yukarıdaki extensionManager bloğu. Bir model bağlıyken ağ geçidi, Envoy AI Gateway’in istemci trafik ilkesini de, models.yaml içindeki edge-client-buffer-limit’i, alır; bu ilke her gelen bağlantıya izin verilen arabelleği 50Mi’ye yükseltir. İlke ağ geçidini hedeflediği için ona bağlı her rotaya uygulanır.
Ağ geçidinin çalışma zamanında yaptıkları
Her model isteğinde gateway, rate-limit servisine bu ay şimdiye kadar harcanan token’ların limit değerini aşıp aşmadığını sorar. Aştıkları andan itibaren model isteklerine ay bitene kadar HTTP 429 ile yanıt verir. Bir isteğin token’ları yanıtı tamamlandığında eklenir; bu nedenle limiti aşan istek de, onunla eş zamanlı yanıtlanan her istek de karşılanır. Depoya veya rate-limit servisine ulaşılamadığı sürece ya da bir denetim Envoy’un rate-limit zaman aşımından uzun sürdüğünde, yukarıdaki failClosed ayarı gereğince model isteklerini HTTP 500 ile reddeder; böylece sayımı denetlenemediği sürece hiçbir model isteği kabul edilmez.
Bundan çıkanlar yapılandırma değil, ürünün davranışıdır:
- Bir kesintiden hemen önce kabul edilen istek yine de karşılanır ve sayılmaz. Token’ları yanıttan sonra hesaba yazılır; bu nedenle depoya veya servise ulaşılamadığı sırada tamamlanan bir yanıt sayıma hiçbir şey eklemez.
- Sayımı bellekte tutan bir depo, yeniden başladığında her pencereyi baştan başlatır.
core/datastore/redisvarsayılan olarak kayıtlarını bellekte tutar; bu nedenle yeniden başlatılan bir depo o ana kadar tutulan sayımı kaybeder ve ayın geri kalanı sıfırdan sayılır. - Kullanım bildirmeyen bir yanıt hiçbir şey eklemez. Sayım, her yanıtın bildirdiği değerdir; Envoy AI Gateway, akış hâlinde gönderilen bir yanıtın sonunda da modelden kullanımını bildirmesini ister.
Derlemeyi durduran durumlar
Bunların her biri, derlemenin yazdırdığı ve neyin değiştirileceğini belirten bir cümledir:
-
ABD doları cinsinden bir maliyet. Eklentide
unit: usdayarlandığında derleme hiçbir şey işlenmeden önce durur:[… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost -
Çağıran başına bir bütçe,
scope: caller. Ağ geçidi çağıranları yalnızca çağıranın kendisinin yazdığı bir başlıkla ayırt eder ve bu yolda hiçbir şey çağıranın kim olduğunu doğrulamaz; bu nedenle yeni bir değer gönderen çağıran yeni bir bütçe başlatır, hiç değer göndermeyen ise sayılmaz. -
Ağ geçidinin pencere sunmadığı herhangi bir dönem. Ağ geçidi, hız sınırının tek bir tam birimini tutar:
1s,1m,1h,1d,7d,30d,365dveya1moya da aynı uzunluğun başka biçimde yazılışı, örneğin24h.2h,14dveya2moderlemeyi durdurur. -
Tam sayı token olmayan bir sınır ya da 4294967295’in üzerinde bir sınır.
-
Ağ geçidinde ikinci bir
core/period-budgeteklentisi; bu eklenti, modellerine hizmet veren rotaya tek bir bütçe yazar. -
modelssoketine hiçbir şeyin bağlanmaması, bu durumda sayılacak model rotası kalmaz, ya dacachesoketine, bu durumda sayımın tutulacağı bir yer kalmaz. Yalnızca modelin bağlantısı kaldırılırsa önce ağ geçidinin kendi Component’i durur; çünküvalues.model, hiçbir şeyin sunmadığı bir takma adı gösterir. -
cachesoketinde Redis protokolünü konuşmayan bir depo —redisveyavalkeydışında bir protokol yayımlayan bir depo. -
Denetleyici ağ geçidinin
extensionsoketine bağlıyken ağ geçidininenvoy-gateway-systemdışına yerleştirilmesi.
Uygulamadan önce
Ağaçta hiçbir Namespace ve hiçbir Secret bulunmaz; bu nedenle
dist/helm/ dizinini alan bir kümede şunlar gerekir:
- Ad alanları
cert-manager,envoy-ai-gateway-system,envoy-gateway-systemveassistant. envoy-gateway-systemiçindeki Secret’lar: OpenAI’ın anahtarınıapiKeyveri anahtarı altında tutanopenai-api-keyve deponun parolasınıpasswordaltında tutancounter-store-password. Var olmayan bir Secret’a başvuran bir iş yükü başlamaz.- AI Gateway tanımlarından ikisi için sunucu tarafı uygulama (server-side apply):
aigateway.envoyproxy.io_backendsecuritypolicies.yamlveaigateway.envoyproxy.io_mcproutes.yaml, istemci tarafı uygulamanın kaydettiği uygulanmış nesne kopyasından büyüktür; bu yüzden istemci tarafı uygulama bunları reddeder. - Ajan için bir imaj. Release
registry.example/crew-assistant:1.0.0adını verir; katalog ajan çalışma zamanını paketler, ajanın çalıştırdığı ekip ise sizin kendi kodunuzdur.
Derleyicinin yorumlamadığı yerler
Derleyici sınırı, birimi ve token maliyetini gateway’in kaynaklarına dize olarak aktarır; modelin uç noktasını, deponun adresini ve denetleyicinin adresini de her birinin yayımladığı değerlerden aktarır. OpenAI’ye erişmez, bir yanıtın token’larını bildirip bildirmediğini bilmez ve kendisi hiçbir şey saymaz; Secret’ların var olup olmadığını veya cert-manager’ın çalışıp çalışmadığını denetlemez. Yukarıdaki her durdurma, katalogun kendi varlıkları tarafından, bütçenin gerçekleştirimindeki ya da gateway’in Component’indeki veya Recipe’sindeki bir doğrulama olarak bildirilir ve hiçbiri trafiğe ilişkin herhangi bir anlayışa dayanmaz.
Uyarlama
- Model başına bir sınır.
modelssoketine daha fazla model bağlayın vescope: modelayarlayın: her biri kendine ait bir kural ve bir sayım alır. - Tek bir tarafı sayın. Modelin okuduğunu saymak için
unit: prompt_tokens, yazdığını saymak içincompletion_tokensayarlayın. - Başarısız bir isteği yeniden gönderin.
core/retry-policy’yimax_attemptsile gateway’e ekleyin ve Manifest’tehelm/retry-policy-envoy-gateway’e eşleyin: aynı trafik politikası,edge-models, hız sınırının yanında birretrykazanır, çünkü Envoy Gateway bir rotaya tek bir trafik politikası bağlar. - Daha kısa veya sabit uzunlukta bir pencere. Release’te
period’u yukarıdaki uzunluklardan birine ayarlayın:1d, 00:00 UTC’den başlayan bir gündür;30dise takvim ayı değil, 1 Ocak 1970’ten itibaren sayılan 30 gündür.1modışındaki herhangi bir periyotta yapılandırma, takvim ayı ayarını boş bırakır. - MCP rotaları. Denetleyici, MCP oturum tanımlayıcılarını
ai-controllerüzerindeinfra.mcp_session_seed_secret’in adlandırdığı Secret’taki tohumdan türetilen bir anahtarla şifreler; burada olduğu gibi hiçbiri adlandırılmamışsa tohum, chart’ının yayımlanmış varsayılanıdır; bu nedenle onun üzerinden bir MCP rotası sunmadan önce bir tane adlandırın.