Zum Inhalt springen
AggregaAggrega
Sprache wählen: Deutsch
Diese Seite wurde maschinell übersetzt. Das englische Original lesen.

Envoy Gateway vor OpenAI, mit einem monatlichen Token-Budget

Ein Team stellt OpenAIs gpt-4o-mini hinter ein clusterinternes Gateway, möchte eine Obergrenze für die Tokens, die das Gateway jeden Kalendermonat dafür ausgibt, und richtet seinen Agenten auf das Gateway statt auf OpenAI. Dieser Workspace kompiliert das zu Kubernetes-Manifesten: Envoy Gateway, das das Modell über Envoy AI Gateway bedient, mit angebundenem core/period-budget, ein Redis, der die Zählung führt, und ein CrewAI-Agent, der seine Modellanfragen über das Gateway sendet.

Die Seite zeigt auch, was dieses Gateway nicht zu zählen bereit ist: Ein Budget in US-Dollar lässt den Build abbrechen, ebenso ein Budget pro Aufrufer.

Dieser Workspace schreibt keine eigene Katalogentität. Die drei Entitätsdateien hier — ein Aggregate, ein Manifest und ein Release — sind alles, was irgendjemand schreibt.

Was es baut

InstanzKatalog-Componentwas es hier ist
edgecore/gateway/envoy-gatewaydas Gateway, das einen Alias bedient, assistant, aus dem Modell chat
ai-controllercore/gateway/envoy-ai-gateway-operatorder Controller von Envoy AI Gateway, den das Gateway als seinen Erweiterungsserver aufruft, installiert mit den sechs Ressourcendefinitionen von AI Gateway
chatcore/ai-model/openaiOpenAIs gpt-4o-mini, als Referenz erreicht: Im Cluster läuft dafür nichts
counterscore/datastore/redisder Store, in dem der Ratenbegrenzungsdienst des Gateways die Zählung des Budgets führt
assistantcore/ai-agent/crewaiein Agent, dessen Modellanfragen an das Gateway gehen
certscore/security/cert-managercert-manager, das das Zertifikat ausstellt, das der Webhook des Controllers bereitstellt

Die Kanten uses des Gateways gehen von seinem Socket extension aus, zum Controller; von models, zum Modell, mit dem Schlüssel als ihrem credential, den das Gateway OpenAI vorlegt; und von cache, zum Store, mit dem Passwort, das der Ratenbegrenzungsdienst ihm vorlegt. Die Kante model des Agenten zeigt auf das Gateway, nicht auf das Modell. Eine Feature-Anbindung am Gateway, budget: Das Aggregate schreibt, was gezählt wird, total_tokens, und wessen Datenverkehr ein Limit abdeckt, gateway — alles, was das Gateway bedient —, und das Release schreibt, wie viel und über welchen Zeitraum: zwanzig Millionen Tokens pro Kalendermonat.

Das Manifest bindet jede Zugangsdaten-Angabe an k8s-existing-secret, das eine Arbeitslast auf ein Secret verweist, das bereits in ihrem Namespace liegt, und keines rendert, sodass kein Schlüssel und kein Passwort im Aggregate, im Release oder in der gerenderten Ausgabe steht. Die Namen der Secrets sind zwei Parameter, die das Release erfüllt, und der eigene Slot password des Stores liest denselben Parameter wie die Verbindung cache des Gateways, sodass der Store und der Dienst, der ihm das Passwort vorlegt, ein einziges Secret nennen.

Das Release deklariert, wo jede Arbeitslast läuft: cert-manager in cert-manager, der Controller in envoy-ai-gateway-system, der Agent in assistant und das Gateway in envoy-gateway-system — der Controller sucht dort nach der Control Plane des Gateways, und der Build bricht ab, wenn das Gateway anderswo platziert ist —, mit dem Store daneben. Das Modell betreibt nichts: Seine eine Datei, ein Service, der einen clusterinternen Namen auf den Host von OpenAI abbildet, nennt keinen Namespace, und das Gateway erreicht OpenAI am Endpunkt, den das Modell veröffentlicht, statt über diesen Service.

cert-manager wird deklariert, nicht vorausgesetzt

Der Webhook des Controllers stellt ein Zertifikat bereit, das cert-manager ausstellt: Sein Recipe rendert ein Certificate von cert-manager und den selbstsignierten Issuer, der es signiert, was nur ein laufendes cert-manager abgleicht. Der Compiler kann nicht in einen Cluster schauen, um zu sehen, ob dort eines läuft, daher deklariert der Workspace cert-manager, statt es vorauszusetzen: certs steht im Aggregate neben dem Controller, und der Build rendert cert-manager mit allem anderen.

Ein Cluster betreibt ein einziges cert-manager. Wo Ihrer bereits eines betreibt, entfernen Sie certs vor dem Build aus dem Aggregate und dem Release; der Build rendert dann dieselben Dateien ohne die von cert-manager selbst.

Das Beispiel generieren

Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.

Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:

Terminal window
aggrega scaffold --example envoy-ai-gateway-token-budget

Danach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:

Terminal window
cd envoy-ai-gateway-token-budget

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Ein Release braucht ein Lockfile, bevor es baut, und Lockfiles werden erzeugt statt mitgeliefert, daher hat ein frischer Klon keines. Lösen Sie zuerst eines auf, oder lassen Sie den Build es füllen:

Terminal window
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Das Auflösen heftet die drei Charts an, die die Recipes rendern — das von Envoy Gateway und das von Envoy AI Gateway von Docker Hub, das von cert-manager von quay.io —, daher braucht es das Netzwerk. Dieser Workspace löst die Katalogentitäten aus der Standard-Registry auf, die .aggrega-config.yaml nennt.

Der Build mit --auto-pull gibt aus, wobei <workspace> für den Ordner dieses Beispiels steht:

Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)
[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]
Build completed: 113 files written to <workspace>/dist

Mit einem KI-Assistenten

Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.

Verwenden Sie ausschließlich die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Arbeitsbereichsordner noch keinen Ordner `envoy-ai-gateway-token-budget` enthält, rufen Sie das Tool `scaffold` einmal mit `example` auf `envoy-ai-gateway-token-budget` gesetzt und ohne `dir` auf: Es schreibt das Beispiel in einen neuen Ordner `envoy-ai-gateway-token-budget`. Rufen Sie dann das Tool `build` mit `workspace_root` auf `envoy-ai-gateway-token-budget`, `release` auf `release.yaml`, `auto_pull` auf true und `write` auf true gesetzt auf. Nennen Sie mir die Dateien, die der Build geschrieben hat; sie liegen unter `envoy-ai-gateway-token-budget/dist/`.

Der gerenderte Baum

dist/helm/
├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml
[… omitted: the controller's two cluster roles and their bindings]
├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml
├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml
├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml
├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml
[… omitted: the controller's service account]
├── ai-controller/
│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml
[… omitted: the other five AI Gateway resource definitions]
├── assistant-deployment.yaml
[… omitted: the files cert-manager's chart renders, each named certs-…]
├── chat-service.yaml
├── counters-default-service.yaml
├── counters-deployment.yaml
[… omitted: Envoy Gateway's cluster roles and their bindings]
├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml
[… omitted: the resource definitions Envoy Gateway's chart installs]
├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml
[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]
└── edge/
├── gateway.yaml
├── gatewayclass.yaml
└── models.yaml

Das Budget bringt keine eigene Datei mit. Was es tut, wird in zwei Dateien des Gateways geschrieben: dist/helm/edge/models.yaml, die die KI-Route und die Ressourcen enthält, die das Modell erreichen, und die Konfiguration der Control Plane, dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml.

Das Budget, wie das Gateway es liest

Aus models.yaml, die KI-Route:

apiVersion: aigateway.envoyproxy.io/v1beta1
kind: AIGatewayRoute
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
parentRefs:
- name: edge
kind: Gateway
group: gateway.networking.k8s.io
llmRequestCosts:
- metadataKey: llm_total_token
type: TotalToken
rules:
- matches:
- headers:
- type: Exact
name: x-ai-eg-model
value: "assistant"
backendRefs:
- name: edge-assistant
modelNameOverride: "gpt-4o-mini"

und aus derselben Datei die Traffic-Richtlinie, die sie begrenzt, benannt wie die Route, auf die sie zielt:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: BackendTrafficPolicy
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
targetRefs:
- group: gateway.networking.k8s.io
kind: HTTPRoute
name: edge-models
rateLimit:
global:
rules:
- limit:
requests: 20000000
unit: Month
shared: true
cost:
request:
from: Number
number: 0
response:
from: Metadata
metadata:
namespace: io.envoy.ai_gateway
key: llm_total_token

Hier ist der Schlüssel envoy-gateway.yaml der Konfiguration der Control Plane:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: EnvoyGateway
extensionApis:
enableBackend: true
enableEnvoyPatchPolicy: true
extensionManager:
hooks:
xdsTranslator:
post:
- Translation
- Cluster
- Route
translation:
cluster:
includeAll: true
listener:
includeAll: true
route:
includeAll: true
secret:
includeAll: true
service:
fqdn:
hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local
port: 1063
gateway:
controllerName: gateway.envoyproxy.io/gatewayclass-controller
logging:
level:
default: info
provider:
kubernetes:
rateLimitDeployment:
container:
env:
- name: REDIS_AUTH
valueFrom:
secretKeyRef:
key: password
name: counter-store-password
- name: USE_CALENDAR_MONTH_RATE_LIMIT
value: "true"
image: docker.io/envoyproxy/ratelimit:8fe6ea42
patch:
type: StrategicMerge
value:
spec:
template:
spec:
containers:
- imagePullPolicy: IfNotPresent
name: envoy-ratelimit
shutdownManager:
image: docker.io/envoyproxy/gateway:v1.9.1
type: Kubernetes
rateLimit:
backend:
redis:
url: counters-default.envoy-gateway-system.svc.cluster.local:6379
type: Redis
failClosed: true

Was daraus abzulesen ist:

Die Kosten sitzen auf der KI-Route, das Limit auf der Route, zu der sie wird. Envoy AI Gateway liest die total_tokens, die jede Antwort des Modells meldet, und schreibt sie unter llm_total_token in die Metadaten der Anfrage: Das ist es, was llmRequestCosts deklariert. Der Controller macht aus der KI-Route eine HTTP-Route mit demselben Namen, edge-models, und die Traffic-Richtlinie zielt auf diese Route, sodass das Budget den Modellverkehr abdeckt und keine andere am Gateway angehängte Route.

Eine Antwort wird berechnet, wenn sie abgeschlossen ist. cost.request berechnet nichts, wenn eine Anfrage eintrifft; cost.response berechnet die Tokens der Antwort, sobald die Antwort vollständig ist. Eine Anfrage wird zurückgewiesen, sobald die bisher berechnete Zählung limit überschreitet.

Eine Zählung für das ganze Gateway. shared: true führt eine Zählung über alle Regeln der Route — den Geltungsbereich gateway, den die Anbindung angefordert hat. Mit scope: model schreibt das Recipe eine Regel pro Verbindung am Socket models, jede passend zum Modellnamen, den eine Anfrage in x-ai-eg-model trägt, sodass jedes Modell getrennt gezählt wird.

Der Zeitraum ist eine Einheit auf der Uhr. 1mo wird als unit: Month geschrieben, und die Konfiguration weist den Ratenbegrenzungsdienst von Envoy Gateway über USE_CALENDAR_MONTH_RATE_LIMIT an, einen Month vom ersten bis zum letzten Tag eines Kalendermonats zu zählen. Diese Einstellung gehört zum Dienst, daher gilt sie für jede Month-Ratenbegrenzung, die diese Envoy-Gateway-Installation führt, die des Budgets und jede andere. Jedes Fenster beginnt an einem festen Punkt der UTC-Uhr statt mit einer ersten Anfrage: ein Tag um 00:00 UTC, eine Woche an einem Donnerstag.

Die Zählung lebt im Store am Socket cache. Der Block rateLimit schaltet den eigenen Ratenbegrenzungsdienst von Envoy Gateway ein, den die Control Plane in ihrem Namespace erstellt und für jedes Gateway einschaltet, das sie bedient, und richtet ihn auf den Redis, den der Socket cache des Gateways erreicht. Der Store veröffentlicht seinen Host ohne Namespace, daher qualifiziert das Gateway ihn mit dem, in den das Release den Store platziert.

Eine Prüfung, die keine Antwort erhält, weist die Anfrage zurück. failClosed: true lässt Envoy eine Modellanfrage mit HTTP 500 zurückweisen, solange der Store oder der Ratenbegrenzungsdienst nicht erreichbar ist oder eine Prüfung länger dauert als das Ratenbegrenzungs-Timeout von Envoy, standardmäßig 20 ms, statt sie zu bedienen und nicht zu zählen. Diese Einstellung gehört zur Control Plane, daher gilt sie für jede Ratenbegrenzung, die diese Envoy-Gateway-Installation führt, und auch eine von Hand auf die Installation angewendete Ratenbegrenzung schlägt geschlossen fehl. Die Konfiguration trägt sie nur, solange das Budget angebunden ist.

Kein Passwort steht darin. Der Dienst liest das Passwort des Stores als REDIS_AUTH aus dem Secret, das die Zugangsdaten der Verbindung cache nennen, counter-store-password, das er in seinem eigenen Namespace auflöst, dem des Gateways. Der Store, counters-deployment.yaml, startet mit --requirepass, aus demselben Secret gelesen.

Der Weg vom Agenten zum Modell

Aus assistant-deployment.yaml, das env des Containers des Agenten:

env:
- name: OPENAI_BASE_URL
value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1
- name: MODEL
value: assistant
- name: CREWAI_ALLOW_DELEGATION
value: "false"
- name: CREWAI_BACKSTORY
value: a help-desk agent answering customers
- name: CREWAI_GOAL
value: answer questions about the product
- name: CREWAI_LOG_LEVEL
value: DEBUG
- name: CREWAI_ROLE
value: support assistant

Der Agent liest die beiden Schlüssel, die das Gateway veröffentlicht, die dieselben zwei sind, die ein Modell veröffentlicht, daher liest sein Recipe sie, wie es die eines Modells lesen würde. Die Variablen CREWAI_ tragen die eigenen Werte des Agenten unter den Namen, die die CrewAI-Component ihnen standardmäßig gibt. Die Adresse ist der Service, den Envoy Gateway für die Data Plane des Gateways erstellt, benannt aus dem Namespace des Gateways, seinem Namen und einem Hash der beiden, und qualifiziert mit envoy-gateway-system, sodass sie sich aus dem Namespace des Agenten auflöst. Der Modellname ist der Alias assistant; die Route sendet eine Anfrage, die ihn nennt, an das Backend des Modells und fordert stattdessen gpt-4o-mini an.

Das Backend erreicht OpenAI am Endpunkt, den das Modell veröffentlicht: models.yaml enthält ein Backend von Envoy Gateway für api.openai.com auf Port 443, eine TLS-Richtlinie, die sein Zertifikat gegen die Vertrauensanker des Systems prüft, ein AIServiceBackend für die OpenAI-API unter /v1 und die Sicherheitsrichtlinie, die den Schlüssel vorlegt, edge-assistant, deren spec lautet:

spec:
targetRefs:
- group: aigateway.envoyproxy.io
kind: AIServiceBackend
name: edge-assistant
type: APIKey
apiKey:
secretRef:
name: "openai-api-key"

Der Controller liest den Schlüssel aus diesem Secret, im Namespace des Gateways, unter dem Datenschlüssel apiKey, und sendet ihn als Bearer-Token an OpenAI, sodass keine gerenderte Datei ihn enthält und der Agent ihn nie hält. Das Gateway ruft den Controller unter der Adresse auf, die der Controller veröffentlicht, qualifiziert mit dem Namespace, in den das Release ihn platziert — der Block extensionManager oben. Solange ein Modell verdrahtet ist, erhält das Gateway außerdem die Client-Traffic-Richtlinie von Envoy AI Gateway, edge-client-buffer-limit in models.yaml, die den Puffer, der jeder eingehenden Verbindung erlaubt ist, auf 50Mi anhebt; sie zielt auf das Gateway, daher gilt sie für jede daran angehängte Route.

Was das Gateway zur Laufzeit tut

Bei jeder Modellanfrage fragt das Gateway den Ratenbegrenzungsdienst, ob die in diesem Monat bisher berechneten Tokens limit überschreiten. Sobald sie es tun, beantwortet es Modellanfragen mit HTTP 429, bis der Monat endet. Die Tokens einer Anfrage werden addiert, sobald ihre Antwort vollständig ist, daher wird die Anfrage, die das Limit überschreitet, bedient, ebenso jede Anfrage, die daneben beantwortet wird. Solange der Store oder der Ratenbegrenzungsdienst nicht erreichbar ist oder eine Prüfung länger dauert als das Ratenbegrenzungs-Timeout von Envoy, weist es Modellanfragen mit HTTP 500 zurück, gemäß der Einstellung failClosed oben, sodass keine Modellanfrage zugelassen wird, solange ihre Zählung nicht geprüft werden kann.

Was daraus folgt, ist Verhalten des Produkts, keine Konfiguration:

  • Eine kurz vor einem Ausfall zugelassene Anfrage wird trotzdem bedient und nicht gezählt. Ihre Tokens werden nach der Antwort berechnet, daher fügt eine Antwort, die abgeschlossen wird, während der Store oder der Dienst nicht erreichbar ist, der Zählung nichts hinzu.
  • Ein Store, der die Zählung im Speicher hält, beginnt bei einem Neustart jedes Fenster von vorn. core/datastore/redis hält seine Einträge standardmäßig im Speicher, daher verliert ein neu gestarteter Store die bisher geführte Zählung, und der Rest des Monats wird ab null gezählt.
  • Eine Antwort, die keine Nutzung meldet, fügt nichts hinzu. Die Zählung ist das, was jede Antwort meldet; Envoy AI Gateway bittet das Modell, seine Nutzung auch am Ende einer gestreamten Antwort zu melden.

Was den Build abbricht

Jeder dieser Fälle ist ein Satz, den der Build ausgibt und der nennt, was zu ändern ist:

  • Kosten in US-Dollar. Setzen Sie unit: usd in der Anbindung, und der Build bricht ab, bevor irgendetwas gerendert wird:

    [… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost
  • Ein Budget pro Aufrufer, scope: caller. Das Gateway unterscheidet Aufrufer nur anhand eines Headers, den der Aufrufer selbst schreibt, und nichts auf diesem Pfad prüft, wer der Aufrufer ist, sodass ein Aufrufer, der einen neuen Wert sendet, ein frisches Budget beginnen würde und einer, der keinen sendet, nicht gezählt würde.

  • Jeder Zeitraum, für den das Gateway kein Fenster hat. Es führt eine ganze Einheit seiner Ratenbegrenzung: 1s, 1m, 1h, 1d, 7d, 30d, 365d oder 1mo, oder dieselbe Länge anders geschrieben, etwa 24h. Mit 2h, 14d oder 2mo bricht der Build ab.

  • Ein Limit, das keine ganze Zahl von Tokens ist, oder eines über 4294967295.

  • Eine zweite Anbindung von core/period-budget am Gateway, die ein einziges Budget auf die Route schreibt, die seine Modelle bedient.

  • Nichts mit dem Socket models verdrahtet, was keine Modellroute zum Zählen übrig lässt, oder mit dem Socket cache, was der Zählung keinen Ort lässt, an dem sie leben kann. Entfernen Sie nur die Verbindung des Modells, und zuerst bricht die eigene Component des Gateways ab, weil values.model einen Alias nennt, den nichts bedient.

  • Ein Store am Socket cache, der das Redis-Protokoll nicht spricht — einer, der ein anderes Protokoll als redis oder valkey veröffentlicht.

  • Das Gateway außerhalb von envoy-gateway-system platziert, während der Controller mit seinem Socket extension verdrahtet ist.

Vor dem Anwenden

Der Baum enthält keinen Namespace und kein Secret, daher braucht ein Cluster, der dist/helm/ erhält:

  • Die Namespaces cert-manager, envoy-ai-gateway-system, envoy-gateway-system und assistant.
  • Die Secrets, in envoy-gateway-system: openai-api-key mit dem Schlüssel von OpenAI unter dem Datenschlüssel apiKey und counter-store-password mit dem Passwort des Stores unter password. Eine Arbeitslast, die auf ein nicht existierendes Secret verweist, startet nicht.
  • Ein serverseitiges Apply für zwei der AI-Gateway-Definitionen, aigateway.envoyproxy.io_backendsecuritypolicies.yaml und aigateway.envoyproxy.io_mcproutes.yaml, die größer sind als die Kopie des angewendeten Objekts, die ein clientseitiges Apply festhält, sodass ein clientseitiges Apply sie zurückweist.
  • Ein Image für den Agenten. Das Release nennt registry.example/crew-assistant:1.0.0; der Katalog verpackt die Laufzeitumgebung des Agenten, und die Crew, die er ausführt, ist Ihr eigener Code.

Wo der Compiler nicht interpretiert

Der Compiler leitet das Limit, die Einheit und die Token-Kosten als Strings in die Ressourcen des Gateways weiter, und den Endpunkt des Modells, die Adresse des Stores und die Adresse des Controllers aus dem, was jeder veröffentlicht. Er erreicht OpenAI nicht, weiß nicht, ob eine Antwort ihre Tokens meldet, und zählt selbst nichts; er prüft nicht, ob die Secrets existieren oder ob cert-manager läuft. Jeder Abbruch oben wird von den eigenen Entitäten des Katalogs deklariert, als Assertion in der Realisierung des Budgets oder in der Component oder im Recipe des Gateways, und keiner davon beruht auf irgendeinem Verständnis des Datenverkehrs.

Anpassen

  • Ein Limit pro Modell. Verdrahten Sie weitere Modelle mit dem Socket models und setzen Sie scope: model: Jedes erhält eine eigene Regel und eine eigene Zählung.
  • Eine Seite zählen. Setzen Sie unit: prompt_tokens, um zu zählen, was das Modell liest, oder completion_tokens für das, was es schreibt.
  • Eine fehlgeschlagene Anfrage erneut senden. Binden Sie core/retry-policy mit max_attempts an das Gateway an und ordnen Sie es im Manifest helm/retry-policy-envoy-gateway zu: Dieselbe Traffic-Richtlinie, edge-models, erhält ein retry neben der Ratenbegrenzung, weil Envoy Gateway einer Route eine einzige Traffic-Richtlinie zuordnet.
  • Ein kürzeres Fenster oder eines mit fester Länge. Setzen Sie period im Release auf eine der oben genannten Längen: 1d ist ein Tag ab 00:00 UTC, und 30d sind 30 Tage, gezählt ab dem 1. Januar 1970, statt eines Kalendermonats. Bei jedem Zeitraum außer 1mo lässt die Konfiguration die Kalendermonats-Einstellung ungesetzt.
  • MCP-Routen. Der Controller verschlüsselt MCP-Sitzungskennungen mit einem Schlüssel, der aus dem Seed in dem Secret abgeleitet wird, das infra.mcp_session_seed_secret an ai-controller nennt; ist keines genannt, wie hier, ist der Seed der veröffentlichte Standardwert seines Charts, nennen Sie also eines, bevor Sie eine MCP-Route darüber bedienen.