İçeriğe geç
AggregaAggrega
Dil seçin: Türkçe
Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce orijinalini okuyun.

Aylık token bütçesiyle OpenAI'ın önünde Envoy Gateway

Bir ekip, OpenAI’ın gpt-4o-mini modelini küme içi bir ağ geçidinin arkasına koyar, ağ geçidinin her takvim ayında bu model için harcadığı token’lara bir üst sınır ister ve ajanını OpenAI’a değil ağ geçidine yönlendirir. Bu çalışma alanı bunu Kubernetes manifest’lerine derler: modeli Envoy AI Gateway üzerinden sunan, core/period-budget eklenmiş Envoy Gateway, sayımı tutan bir Redis ve model isteklerini ağ geçidi üzerinden gönderen bir CrewAI ajanı.

Sayfa ayrıca bu ağ geçidinin neyi saymayı reddettiğini de gösterir: ABD doları cinsinden bir bütçe derlemeyi durdurur, çağıran başına bir bütçe de öyle.

Bu çalışma alanı kendine ait hiçbir katalog varlığı yazmaz. Buradaki üç varlık dosyası — bir Aggregate, bir Manifest ve bir Release — herhangi birinin yazdığı şeylerin tamamıdır.

Ne oluşturur

örnekkatalog Component’iburada ne olduğu
edgecore/gateway/envoy-gatewayağ geçidi; chat modelinden tek bir takma ad, assistant, sunar
ai-controllercore/gateway/envoy-ai-gateway-operatorEnvoy AI Gateway’in denetleyicisi; ağ geçidi onu uzantı sunucusu olarak çağırır, altı AI Gateway kaynak tanımıyla birlikte kurulur
chatcore/ai-model/openaiOpenAI’ın gpt-4o-mini modeli, bir referans olarak erişilir: kümede onun için hiçbir şey çalışmaz
counterscore/datastore/redisağ geçidinin hız sınırlama hizmetinin bütçe sayacını tuttuğu depo
assistantcore/ai-agent/crewaimodel istekleri ağ geçidine giden bir ajan
certscore/security/cert-managerdenetleyicinin webhook’unun sunduğu sertifikayı veren cert-manager

Ağ geçidinin uses kenarları extension soketinden denetleyiciye; models soketinden, credential olarak ağ geçidinin OpenAI’a sunduğu anahtarı taşıyarak modele; ve cache soketinden, hız sınırlama hizmetinin depoya sunduğu parolayı taşıyarak depoya çıkar. Ajanın model kenarı modeli değil, ağ geçidini gösterir. Ağ geçidinde tek bir Feature eki vardır, budget: Aggregate neyin sayıldığını, total_tokens, ve tek bir sınırın kimin trafiğini kapsadığını, gateway — ağ geçidinin sunduğu her şey — yazar; Release ise ne kadar ve ne kadar süre boyunca olduğunu yazar: takvim ayı başına yirmi milyon token.

Manifest her kimlik bilgisini k8s-existing-secret’e bağlar; bu, bir iş yükünü kendi ad alanında zaten bulunan bir Secret’a yönlendirir ve hiçbirini oluşturmaz, dolayısıyla Aggregate’te, Release’te ya da oluşturulan çıktıda hiçbir anahtar veya parola yer almaz. Secret’ların adları Release’in karşıladığı iki parametredir ve deponun kendi password yuvası ağ geçidinin cache bağlantısıyla aynı parametreyi okur; böylece depo ve ona parolayı sunan hizmet tek bir Secret’ı adlandırır.

Release her iş yükünün nerede çalıştığını bildirir: cert-manager cert-manager içinde, denetleyici envoy-ai-gateway-system içinde, ajan assistant içinde ve ağ geçidi envoy-gateway-system içinde — denetleyici ağ geçidinin denetim düzlemini orada arar ve ağ geçidi başka bir yere yerleştirilirse derleme durur —, depo da onun yanında. Model hiçbir şey çalıştırmaz: tek dosyası, küme içi bir adı OpenAI’ın ana makinesine eşleyen bir Service, hiçbir ad alanı belirtmez ve ağ geçidi OpenAI’a o Service üzerinden değil, modelin yayımladığı uç nokta üzerinden erişir.

cert-manager varsayılmaz, bildirilir

Denetleyicinin webhook’u, cert-manager’ın verdiği bir sertifikayı sunar: Recipe’si bir cert-manager Certificate kaynağını ve onu imzalayan, kendinden imzalı Issuer kaynağını oluşturur; bunları yalnızca çalışan bir cert-manager uzlaştırır. Derleyici, bir kümede cert-manager’ın çalışıp çalışmadığını görmek için kümeye bakamaz; bu nedenle çalışma alanı cert-manager’ı varsaymak yerine bildirir: certs, Aggregate’te denetleyicinin yanında yer alır ve derleme cert-manager’ı diğer her şeyle birlikte oluşturur.

Bir küme tek bir cert-manager çalıştırır. Sizin kümenizde zaten bir tane çalışıyorsa, derlemeden önce certs öğesini Aggregate’ten ve Release’ten kaldırın; derleme bu durumda cert-manager’ın kendi dosyaları dışında aynı dosyaları oluşturur.

Örneği oluşturun

Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.

Örneği, adını taşıyan yeni bir klasöre yazın:

Terminal window
aggrega scaffold --example envoy-ai-gateway-token-budget

Ardından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:

Terminal window
cd envoy-ai-gateway-token-budget

Derleme

Terminal window
aggrega build --release release.yaml --auto-pull

Bir release, derlenmeden önce bir kilit dosyasına ihtiyaç duyar ve kilit dosyaları dağıtılmak yerine üretildiğinden yeni bir klonda hiç kilit dosyası bulunmaz. Önce bir tane çözümleyin ya da derlemenin onu doldurmasına izin verin:

Terminal window
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Çözümleme, Recipes’in oluşturduğu üç chart’ı sabitler — Envoy Gateway’inkini ve Envoy AI Gateway’inkini Docker Hub’dan, cert-manager’ınkini quay.io’dan — bu yüzden ağ erişimi gerektirir. Bu çalışma alanı, katalog varlıklarını .aggrega-config.yaml dosyasının adlandırdığı varsayılan kayıt defterinden çözümler.

--auto-pull ile derleme, <workspace> bu örneğin klasörünü temsil edecek şekilde şunu yazdırır:

Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)
[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]
Build completed: 113 files written to <workspace>/dist

Bir yapay zekâ asistanıyla

Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.

Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz bir `envoy-ai-gateway-token-budget` klasörü yoksa `scaffold` aracını `example` değeri `envoy-ai-gateway-token-budget` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `envoy-ai-gateway-token-budget` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `envoy-ai-gateway-token-budget`, `release` değeri `release.yaml`, `auto_pull` değeri true ve `write` değeri true olacak şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `envoy-ai-gateway-token-budget/dist/` altındadır.

Oluşturulan ağaç

dist/helm/
├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml
[… omitted: the controller's two cluster roles and their bindings]
├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml
├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml
├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml
├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml
[… omitted: the controller's service account]
├── ai-controller/
│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml
[… omitted: the other five AI Gateway resource definitions]
├── assistant-deployment.yaml
[… omitted: the files cert-manager's chart renders, each named certs-…]
├── chat-service.yaml
├── counters-default-service.yaml
├── counters-deployment.yaml
[… omitted: Envoy Gateway's cluster roles and their bindings]
├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml
[… omitted: the resource definitions Envoy Gateway's chart installs]
├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml
[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]
└── edge/
├── gateway.yaml
├── gatewayclass.yaml
└── models.yaml

Bütçe kendine ait bir dosya getirmez. Yaptığı şey, ağ geçidinin iki dosyasına yazılır: AI rotasını ve modele ulaşan kaynakları tutan dist/helm/edge/models.yaml ile kontrol düzleminin yapılandırması, dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml.

Ağ geçidinin okuduğu biçimiyle bütçe

models.yaml dosyasından, AI rotası:

apiVersion: aigateway.envoyproxy.io/v1beta1
kind: AIGatewayRoute
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
parentRefs:
- name: edge
kind: Gateway
group: gateway.networking.k8s.io
llmRequestCosts:
- metadataKey: llm_total_token
type: TotalToken
rules:
- matches:
- headers:
- type: Exact
name: x-ai-eg-model
value: "assistant"
backendRefs:
- name: edge-assistant
modelNameOverride: "gpt-4o-mini"

ve aynı dosyadan, onu sınırlayan ve hedeflediği rotanın adını taşıyan trafik ilkesi:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: BackendTrafficPolicy
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
targetRefs:
- group: gateway.networking.k8s.io
kind: HTTPRoute
name: edge-models
rateLimit:
global:
rules:
- limit:
requests: 20000000
unit: Month
shared: true
cost:
request:
from: Number
number: 0
response:
from: Metadata
metadata:
namespace: io.envoy.ai_gateway
key: llm_total_token

Kontrol düzleminin yapılandırmasındaki envoy-gateway.yaml anahtarı şöyledir:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: EnvoyGateway
extensionApis:
enableBackend: true
enableEnvoyPatchPolicy: true
extensionManager:
hooks:
xdsTranslator:
post:
- Translation
- Cluster
- Route
translation:
cluster:
includeAll: true
listener:
includeAll: true
route:
includeAll: true
secret:
includeAll: true
service:
fqdn:
hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local
port: 1063
gateway:
controllerName: gateway.envoyproxy.io/gatewayclass-controller
logging:
level:
default: info
provider:
kubernetes:
rateLimitDeployment:
container:
env:
- name: REDIS_AUTH
valueFrom:
secretKeyRef:
key: password
name: counter-store-password
- name: USE_CALENDAR_MONTH_RATE_LIMIT
value: "true"
image: docker.io/envoyproxy/ratelimit:8fe6ea42
patch:
type: StrategicMerge
value:
spec:
template:
spec:
containers:
- imagePullPolicy: IfNotPresent
name: envoy-ratelimit
shutdownManager:
image: docker.io/envoyproxy/gateway:v1.9.1
type: Kubernetes
rateLimit:
backend:
redis:
url: counters-default.envoy-gateway-system.svc.cluster.local:6379
type: Redis
failClosed: true

Bunlardan okunacaklar:

Maliyet AI rotasında, sınır ise onun dönüştüğü rotada durur. Envoy AI Gateway, modelin her yanıtının bildirdiği total_tokens değerini okur ve bunu isteğin meta verisine llm_total_token altında yazar: llmRequestCosts’un bildirdiği budur. Denetleyici, AI rotasını aynı adı taşıyan bir HTTP rotasına, edge-models’e dönüştürür ve trafik ilkesi bu rotayı hedefler; böylece bütçe model trafiğini kapsar, ağ geçidine bağlı başka hiçbir rotayı kapsamaz.

Bir yanıt tamamlandığında ücretlendirilir. cost.request bir istek ulaştığında hiçbir şey ücretlendirmez; cost.response yanıt tamamlandığında yanıtın token’larını ücretlendirir. O ana kadar ücretlendirilen sayı limit değerini aştığında istek reddedilir.

Ağ geçidinin tamamı için tek bir sayım. shared: true, rotanın her kuralı boyunca tek bir sayım tutar — bağlantının istediği gateway kapsamı budur. scope: model ile Recipe, models soketindeki her bağlantı için bir kural yazar; her kural bir isteğin x-ai-eg-model içinde taşıdığı model adıyla eşleşir, böylece her model ayrı sayılır.

Dönem, saat üzerindeki bir birimdir. 1mo, unit: Month olarak yazılır ve yapılandırma, Envoy Gateway’in hız sınırlama hizmetine USE_CALENDAR_MONTH_RATE_LIMIT aracılığıyla bir Month’u takvim ayının ilk gününden son gününe kadar saymasını söyler. Bu ayar hizmete aittir; bu yüzden bu Envoy Gateway kurulumunun tuttuğu her Month hız sınırına, bütçeninkine ve diğerlerine uygulanır. Her pencere ilk istekle değil, UTC saatinde sabit bir noktada başlar: gün 00:00 UTC’de, hafta perşembe günü.

Sayım, cache soketindeki depoda yaşar. rateLimit bloğu, kontrol düzleminin kendi ad alanında oluşturduğu ve hizmet verdiği her ağ geçidi için etkinleştirdiği Envoy Gateway’in kendi hız sınırlama hizmetini açar ve onu ağ geçidinin cache soketinin ulaştığı Redis’e yönlendirir. Depo, ana makine adını ad alanı olmadan yayımlar; bu yüzden ağ geçidi onu, Release’in depoyu yerleştirdiği ad alanıyla niteler.

Yanıt alamayan bir denetim isteği reddeder. failClosed: true, depoya veya hız sınırlama hizmetine ulaşılamadığı ya da bir denetim Envoy’un varsayılan olarak 20 ms olan hız sınırlama zaman aşımından uzun sürdüğü sürece, Envoy’un bir model isteğini sunup saymamak yerine HTTP 500 ile reddetmesini sağlar. Bu ayar kontrol düzlemine aittir; bu yüzden bu Envoy Gateway kurulumunun tuttuğu her hız sınırı için geçerlidir ve kuruluma elle uygulanan bir hız sınırı da kapalı olarak başarısız olur. Yapılandırma bu ayarı yalnızca bütçe bağlıyken taşır.

İçinde parola yoktur. Hizmet, deponun parolasını REDIS_AUTH olarak, cache bağlantısının kimlik bilgisinin adlandırdığı Secret’tan, counter-store-password’dan okur ve bunu kendi ad alanında, yani ağ geçidininkinde çözümler. Depo, counters-deployment.yaml, aynı Secret’tan okunan --requirepass ile başlar.

Ajandan modele giden yol

assistant-deployment.yaml dosyasından, ajanın konteynerinin env bölümü:

env:
- name: OPENAI_BASE_URL
value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1
- name: MODEL
value: assistant
- name: CREWAI_ALLOW_DELEGATION
value: "false"
- name: CREWAI_BACKSTORY
value: a help-desk agent answering customers
- name: CREWAI_GOAL
value: answer questions about the product
- name: CREWAI_LOG_LEVEL
value: DEBUG
- name: CREWAI_ROLE
value: support assistant

Ajan, ağ geçidinin yayımladığı iki anahtarı okur; bunlar bir modelin yayımladığı iki anahtardır, bu nedenle ajanın Recipe’i bunları bir modelinkileri okuyacağı gibi okur. CREWAI_ değişkenleri, ajanın kendi değerlerini CrewAI Component’inin onlara varsayılan olarak verdiği adlar altında taşır. Adres, Envoy Gateway’in ağ geçidinin veri düzlemi için oluşturduğu Service’tir; adı ağ geçidinin ad alanından, adından ve bu ikisinin bir özetinden türetilir ve envoy-gateway-system ile nitelenir, böylece ajanın ad alanından çözümlenir. Model adı assistant takma adıdır; rota, bu adı taşıyan bir isteği modelin arka ucuna gönderir ve onun yerine gpt-4o-mini ister.

Arka uç, OpenAI’ye modelin yayımladığı uç noktadan ulaşır: models.yaml, 443 numaralı bağlantı noktasında api.openai.com için bir Envoy Gateway Backend’i, sertifikasını sistemin güven çapalarına göre denetleyen bir TLS ilkesi, /v1 altındaki OpenAI API’si için bir AIServiceBackend ve anahtarı sunan güvenlik ilkesi edge-assistant’ı içerir; bu ilkenin spec’i şöyledir:

spec:
targetRefs:
- group: aigateway.envoyproxy.io
kind: AIServiceBackend
name: edge-assistant
type: APIKey
apiKey:
secretRef:
name: "openai-api-key"

Denetleyici, anahtarı ağ geçidinin ad alanındaki bu Secret’tan, apiKey veri anahtarı altında okur ve OpenAI’ye bir taşıyıcı belirteç olarak gönderir; böylece hiçbir oluşturulan dosya onu içermez ve ajan onu hiçbir zaman tutmaz. Ağ geçidi denetleyiciyi, denetleyicinin yayımladığı ve Release’in onu yerleştirdiği ad alanıyla nitelenen adresten çağırır — yukarıdaki extensionManager bloğu. Bir model bağlıyken ağ geçidi, Envoy AI Gateway’in istemci trafik ilkesini de, models.yaml içindeki edge-client-buffer-limit’i, alır; bu ilke her gelen bağlantıya izin verilen arabelleği 50Mi’ye yükseltir. İlke ağ geçidini hedeflediği için ona bağlı her rotaya uygulanır.

Ağ geçidinin çalışma zamanında yaptıkları

Her model isteğinde gateway, rate-limit servisine bu ay şimdiye kadar harcanan token’ların limit değerini aşıp aşmadığını sorar. Aştıkları andan itibaren model isteklerine ay bitene kadar HTTP 429 ile yanıt verir. Bir isteğin token’ları yanıtı tamamlandığında eklenir; bu nedenle limiti aşan istek de, onunla eş zamanlı yanıtlanan her istek de karşılanır. Depoya veya rate-limit servisine ulaşılamadığı sürece ya da bir denetim Envoy’un rate-limit zaman aşımından uzun sürdüğünde, yukarıdaki failClosed ayarı gereğince model isteklerini HTTP 500 ile reddeder; böylece sayımı denetlenemediği sürece hiçbir model isteği kabul edilmez.

Bundan çıkanlar yapılandırma değil, ürünün davranışıdır:

  • Bir kesintiden hemen önce kabul edilen istek yine de karşılanır ve sayılmaz. Token’ları yanıttan sonra hesaba yazılır; bu nedenle depoya veya servise ulaşılamadığı sırada tamamlanan bir yanıt sayıma hiçbir şey eklemez.
  • Sayımı bellekte tutan bir depo, yeniden başladığında her pencereyi baştan başlatır. core/datastore/redis varsayılan olarak kayıtlarını bellekte tutar; bu nedenle yeniden başlatılan bir depo o ana kadar tutulan sayımı kaybeder ve ayın geri kalanı sıfırdan sayılır.
  • Kullanım bildirmeyen bir yanıt hiçbir şey eklemez. Sayım, her yanıtın bildirdiği değerdir; Envoy AI Gateway, akış hâlinde gönderilen bir yanıtın sonunda da modelden kullanımını bildirmesini ister.

Derlemeyi durduran durumlar

Bunların her biri, derlemenin yazdırdığı ve neyin değiştirileceğini belirten bir cümledir:

  • ABD doları cinsinden bir maliyet. Eklentide unit: usd ayarlandığında derleme hiçbir şey işlenmeden önce durur:

    [… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost
  • Çağıran başına bir bütçe, scope: caller. Ağ geçidi çağıranları yalnızca çağıranın kendisinin yazdığı bir başlıkla ayırt eder ve bu yolda hiçbir şey çağıranın kim olduğunu doğrulamaz; bu nedenle yeni bir değer gönderen çağıran yeni bir bütçe başlatır, hiç değer göndermeyen ise sayılmaz.

  • Ağ geçidinin pencere sunmadığı herhangi bir dönem. Ağ geçidi, hız sınırının tek bir tam birimini tutar: 1s, 1m, 1h, 1d, 7d, 30d, 365d veya 1mo ya da aynı uzunluğun başka biçimde yazılışı, örneğin 24h. 2h, 14d veya 2mo derlemeyi durdurur.

  • Tam sayı token olmayan bir sınır ya da 4294967295’in üzerinde bir sınır.

  • Ağ geçidinde ikinci bir core/period-budget eklentisi; bu eklenti, modellerine hizmet veren rotaya tek bir bütçe yazar.

  • models soketine hiçbir şeyin bağlanmaması, bu durumda sayılacak model rotası kalmaz, ya da cache soketine, bu durumda sayımın tutulacağı bir yer kalmaz. Yalnızca modelin bağlantısı kaldırılırsa önce ağ geçidinin kendi Component’i durur; çünkü values.model, hiçbir şeyin sunmadığı bir takma adı gösterir.

  • cache soketinde Redis protokolünü konuşmayan bir depo — redis veya valkey dışında bir protokol yayımlayan bir depo.

  • Denetleyici ağ geçidinin extension soketine bağlıyken ağ geçidinin envoy-gateway-system dışına yerleştirilmesi.

Uygulamadan önce

Ağaçta hiçbir Namespace ve hiçbir Secret bulunmaz; bu nedenle dist/helm/ dizinini alan bir kümede şunlar gerekir:

  • Ad alanları cert-manager, envoy-ai-gateway-system, envoy-gateway-system ve assistant.
  • envoy-gateway-system içindeki Secret’lar: OpenAI’ın anahtarını apiKey veri anahtarı altında tutan openai-api-key ve deponun parolasını password altında tutan counter-store-password. Var olmayan bir Secret’a başvuran bir iş yükü başlamaz.
  • AI Gateway tanımlarından ikisi için sunucu tarafı uygulama (server-side apply): aigateway.envoyproxy.io_backendsecuritypolicies.yaml ve aigateway.envoyproxy.io_mcproutes.yaml, istemci tarafı uygulamanın kaydettiği uygulanmış nesne kopyasından büyüktür; bu yüzden istemci tarafı uygulama bunları reddeder.
  • Ajan için bir imaj. Release registry.example/crew-assistant:1.0.0 adını verir; katalog ajan çalışma zamanını paketler, ajanın çalıştırdığı ekip ise sizin kendi kodunuzdur.

Derleyicinin yorumlamadığı yerler

Derleyici sınırı, birimi ve token maliyetini gateway’in kaynaklarına dize olarak aktarır; modelin uç noktasını, deponun adresini ve denetleyicinin adresini de her birinin yayımladığı değerlerden aktarır. OpenAI’ye erişmez, bir yanıtın token’larını bildirip bildirmediğini bilmez ve kendisi hiçbir şey saymaz; Secret’ların var olup olmadığını veya cert-manager’ın çalışıp çalışmadığını denetlemez. Yukarıdaki her durdurma, katalogun kendi varlıkları tarafından, bütçenin gerçekleştirimindeki ya da gateway’in Component’indeki veya Recipe’sindeki bir doğrulama olarak bildirilir ve hiçbiri trafiğe ilişkin herhangi bir anlayışa dayanmaz.

Uyarlama

  • Model başına bir sınır. models soketine daha fazla model bağlayın ve scope: model ayarlayın: her biri kendine ait bir kural ve bir sayım alır.
  • Tek bir tarafı sayın. Modelin okuduğunu saymak için unit: prompt_tokens, yazdığını saymak için completion_tokens ayarlayın.
  • Başarısız bir isteği yeniden gönderin. core/retry-policy’yi max_attempts ile gateway’e ekleyin ve Manifest’te helm/retry-policy-envoy-gateway’e eşleyin: aynı trafik politikası, edge-models, hız sınırının yanında bir retry kazanır, çünkü Envoy Gateway bir rotaya tek bir trafik politikası bağlar.
  • Daha kısa veya sabit uzunlukta bir pencere. Release’te period’u yukarıdaki uzunluklardan birine ayarlayın: 1d, 00:00 UTC’den başlayan bir gündür; 30d ise takvim ayı değil, 1 Ocak 1970’ten itibaren sayılan 30 gündür. 1mo dışındaki herhangi bir periyotta yapılandırma, takvim ayı ayarını boş bırakır.
  • MCP rotaları. Denetleyici, MCP oturum tanımlayıcılarını ai-controller üzerinde infra.mcp_session_seed_secret’in adlandırdığı Secret’taki tohumdan türetilen bir anahtarla şifreler; burada olduğu gibi hiçbiri adlandırılmamışsa tohum, chart’ının yayımlanmış varsayılanıdır; bu nedenle onun üzerinden bir MCP rotası sunmadan önce bir tane adlandırın.