Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Envoy Gateway przed OpenAI z miesięcznym budżetem tokenów

Zespół umieszcza model gpt-4o-mini od OpenAI za bramą działającą w klastrze, chce ustalić górny limit tokenów, które brama zużywa na ten model w każdym miesiącu kalendarzowym, i kieruje swojego agenta do bramy zamiast bezpośrednio do OpenAI. Ten obszar roboczy kompiluje to do manifestów Kubernetes: Envoy Gateway udostępniający model przez Envoy AI Gateway, z dołączonym core/period-budget, Redis przechowujący licznik oraz agent CrewAI wysyłający żądania do modelu przez bramę.

Strona pokazuje też, czego ta brama odmawia liczenia: budżet w dolarach amerykańskich zatrzymuje kompilację, podobnie jak budżet przypadający na wywołującego.

Ten obszar roboczy nie definiuje żadnej własnej encji katalogu. Trzy pliki encji w nim — encja Aggregate, encja Manifest i encja Release — to całość tego, co ktokolwiek pisze.

Co powstaje

instancjaencja Component z kataloguczym jest tutaj
edgecore/gateway/envoy-gatewaybrama, udostępniająca jeden alias, assistant, z modelu chat
ai-controllercore/gateway/envoy-ai-gateway-operatorkontroler Envoy AI Gateway, który brama wywołuje jako swój serwer rozszerzeń, instalowany wraz z sześcioma definicjami zasobów AI Gateway
chatcore/ai-model/openaigpt-4o-mini od OpenAI, osiągany jako odwołanie: nic nie działa dla niego w klastrze
counterscore/datastore/redismagazyn, w którym usługa limitowania żądań bramy przechowuje licznik budżetu
assistantcore/ai-agent/crewaiagent, którego żądania do modelu trafiają do bramy
certscore/security/cert-managercert-manager, który wystawia certyfikat udostępniany przez webhook kontrolera

Krawędzie uses bramy wychodzą z jej gniazda extension do kontrolera; z models do modelu, niosąc jako credential klucz, który brama przedstawia OpenAI; oraz z cache do magazynu, niosąc hasło, które przedstawia mu usługa limitowania żądań. Krawędź model agenta wskazuje na bramę, a nie na model. Na bramie jest jedno dołączenie encji Feature, budget: encja Aggregate określa, co jest liczone, total_tokens, oraz czyj ruch obejmuje jeden limit, gateway — wszystko, co brama obsługuje — a encja Release określa, ile i w jakim okresie: dwadzieścia milionów tokenów na miesiąc kalendarzowy.

Encja Manifest wiąże każde poświadczenie z k8s-existing-secret, które kieruje obciążenie do obiektu Secret istniejącego już w jego przestrzeni nazw i żadnego nie renderuje, więc żaden klucz ani hasło nie znajduje się w encji Aggregate, w encji Release ani w wyrenderowanym wyniku. Nazwy obiektów Secret to dwa parametry, które spełnia encja Release, a własny slot password magazynu odczytuje ten sam parametr co połączenie cache bramy, więc magazyn i usługa przedstawiająca mu hasło wskazują jeden obiekt Secret.

Encja Release deklaruje, gdzie działa każde obciążenie: cert-manager w cert-manager, kontroler w envoy-ai-gateway-system, agent w assistant, a brama w envoy-gateway-system — tam kontroler szuka płaszczyzny sterowania bramy, a budowanie zatrzymuje się, gdy brama zostanie umieszczona gdziekolwiek indziej — z magazynem obok niej. Model niczego nie uruchamia: jego jedyny plik, obiekt Service mapujący nazwę wewnątrz klastra na host OpenAI, nie wskazuje przestrzeni nazw, a brama łączy się z OpenAI pod punktem końcowym publikowanym przez model, a nie przez ten Service.

cert-manager jest deklarowany, a nie zakładany

Webhook kontrolera udostępnia certyfikat wystawiony przez cert-manager: jego encja Recipe renderuje obiekt Certificate cert-managera oraz samopodpisany Issuer, który go podpisuje, a uzgadnia je wyłącznie działający cert-manager. Kompilator nie może zajrzeć do klastra, aby sprawdzić, czy cert-manager w nim działa, dlatego przestrzeń robocza deklaruje cert-manager, zamiast zakładać jego obecność: certs znajduje się w encji Aggregate obok kontrolera, a build renderuje cert-manager razem z całą resztą.

W klastrze działa jeden cert-manager. Jeśli w danym klastrze już działa, przed budowaniem należy usunąć certs z encji Aggregate i z encji Release; build wyrenderuje wtedy te same pliki z wyjątkiem plików samego cert-managera.

Generowanie przykładu

Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.

Należy zapisać przykład w nowym folderze nazwanym tak jak on:

Terminal window
aggrega scaffold --example envoy-ai-gateway-token-budget

Następnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:

Terminal window
cd envoy-ai-gateway-token-budget

Kompilacja

Terminal window
aggrega build --release release.yaml --auto-pull

Wydanie wymaga pliku blokady (lockfile), zanim zostanie zbudowane, a pliki blokady są generowane, a nie dostarczane, więc świeży klon nie ma żadnego. Należy najpierw go rozwiązać albo pozwolić, by budowanie go uzupełniło:

Terminal window
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Rozwiązywanie przypina trzy charty renderowane przez Recipes — chart Envoy Gateway i chart Envoy AI Gateway z Docker Hub oraz chart cert-managera z quay.io — dlatego wymaga dostępu do sieci. Ten obszar roboczy rozwiązuje encje katalogu z domyślnego rejestru wskazanego w .aggrega-config.yaml.

Budowanie z --auto-pull wypisuje następujący wynik, w którym <workspace> oznacza folder tego przykładu:

Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)
[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]
Build completed: 113 files written to <workspace>/dist

Z asystentem AI

Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.

Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `envoy-ai-gateway-token-budget`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `envoy-ai-gateway-token-budget` i bez `dir`: zapisuje ono przykład w nowym folderze `envoy-ai-gateway-token-budget`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `envoy-ai-gateway-token-budget`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj mi, które pliki zapisała kompilacja; znajdują się w `envoy-ai-gateway-token-budget/dist/`.

Wyrenderowane drzewo

dist/helm/
├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml
[… omitted: the controller's two cluster roles and their bindings]
├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml
├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml
├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml
├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml
[… omitted: the controller's service account]
├── ai-controller/
│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml
[… omitted: the other five AI Gateway resource definitions]
├── assistant-deployment.yaml
[… omitted: the files cert-manager's chart renders, each named certs-…]
├── chat-service.yaml
├── counters-default-service.yaml
├── counters-deployment.yaml
[… omitted: Envoy Gateway's cluster roles and their bindings]
├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml
[… omitted: the resource definitions Envoy Gateway's chart installs]
├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml
[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]
└── edge/
├── gateway.yaml
├── gatewayclass.yaml
└── models.yaml

Budżet nie wnosi własnego pliku. To, co robi, jest zapisywane w dwóch plikach bramy: dist/helm/edge/models.yaml, który zawiera trasę AI oraz zasoby prowadzące do modelu, oraz w konfiguracji płaszczyzny sterowania, dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml.

Budżet w postaci, w jakiej odczytuje go brama

Z pliku models.yaml — trasa AI:

apiVersion: aigateway.envoyproxy.io/v1beta1
kind: AIGatewayRoute
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
parentRefs:
- name: edge
kind: Gateway
group: gateway.networking.k8s.io
llmRequestCosts:
- metadataKey: llm_total_token
type: TotalToken
rules:
- matches:
- headers:
- type: Exact
name: x-ai-eg-model
value: "assistant"
backendRefs:
- name: edge-assistant
modelNameOverride: "gpt-4o-mini"

oraz, z tego samego pliku, polityka ruchu, która ją ogranicza, nazwana tak jak trasa, do której się odnosi:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: BackendTrafficPolicy
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
targetRefs:
- group: gateway.networking.k8s.io
kind: HTTPRoute
name: edge-models
rateLimit:
global:
rules:
- limit:
requests: 20000000
unit: Month
shared: true
cost:
request:
from: Number
number: 0
response:
from: Metadata
metadata:
namespace: io.envoy.ai_gateway
key: llm_total_token

Oto klucz envoy-gateway.yaml konfiguracji płaszczyzny sterowania:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: EnvoyGateway
extensionApis:
enableBackend: true
enableEnvoyPatchPolicy: true
extensionManager:
hooks:
xdsTranslator:
post:
- Translation
- Cluster
- Route
translation:
cluster:
includeAll: true
listener:
includeAll: true
route:
includeAll: true
secret:
includeAll: true
service:
fqdn:
hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local
port: 1063
gateway:
controllerName: gateway.envoyproxy.io/gatewayclass-controller
logging:
level:
default: info
provider:
kubernetes:
rateLimitDeployment:
container:
env:
- name: REDIS_AUTH
valueFrom:
secretKeyRef:
key: password
name: counter-store-password
- name: USE_CALENDAR_MONTH_RATE_LIMIT
value: "true"
image: docker.io/envoyproxy/ratelimit:8fe6ea42
patch:
type: StrategicMerge
value:
spec:
template:
spec:
containers:
- imagePullPolicy: IfNotPresent
name: envoy-ratelimit
shutdownManager:
image: docker.io/envoyproxy/gateway:v1.9.1
type: Kubernetes
rateLimit:
backend:
redis:
url: counters-default.envoy-gateway-system.svc.cluster.local:6379
type: Redis
failClosed: true

Co z nich wynika:

Koszt jest określony na trasie AI, limit na trasie, w którą się ona zamienia. Envoy AI Gateway odczytuje wartość total_tokens zgłaszaną przez model w każdej odpowiedzi i zapisuje ją w metadanych żądania pod kluczem llm_total_token: to właśnie deklaruje llmRequestCosts. Kontroler zamienia trasę AI w trasę HTTP o tej samej nazwie, edge-models, a polityka ruchu odnosi się do tej trasy, więc budżet obejmuje ruch do modelu i żadnej innej trasy podłączonej do bramy.

Odpowiedź jest naliczana po jej zakończeniu. cost.request nie nalicza niczego w chwili nadejścia żądania; cost.response nalicza tokeny odpowiedzi, gdy odpowiedź zostanie zakończona. Żądanie jest odrzucane, gdy dotychczas naliczona liczba przekroczy limit.

Jeden licznik dla całej bramy. shared: true utrzymuje jeden licznik dla wszystkich reguł trasy — zgodnie z zakresem gateway, o który prosiło podłączenie. Przy scope: model Recipe zapisuje jedną regułę na każde połączenie w gnieździe models, z których każda dopasowuje nazwę modelu przenoszoną przez żądanie w x-ai-eg-model, więc każdy model jest liczony osobno.

Okres jest jednostką zegarową. 1mo jest zapisywane jako unit: Month, a konfiguracja, za pomocą USE_CALENDAR_MONTH_RATE_LIMIT, każe usłudze ograniczania częstotliwości Envoy Gateway liczyć miesiąc od pierwszego do ostatniego dnia miesiąca kalendarzowego. To ustawienie należy do usługi, więc dotyczy wszystkich miesięcznych limitów częstotliwości utrzymywanych przez tę instalację Envoy Gateway — limitu budżetu i każdego innego. Każde okno zaczyna się w stałym punkcie zegara UTC, a nie wraz z pierwszym żądaniem: dzień o 00:00 UTC, tydzień w czwartek.

Licznik jest przechowywany w magazynie w gnieździe cache. Blok rateLimit włącza własną usługę ograniczania częstotliwości Envoy Gateway, którą płaszczyzna sterowania tworzy w swojej przestrzeni nazw i włącza dla każdej obsługiwanej bramy, i kieruje ją do Redisa, do którego prowadzi gniazdo cache bramy. Magazyn publikuje swój host bez przestrzeni nazw, więc brama uzupełnia go przestrzenią nazw, w której encja Release umieszcza magazyn.

Sprawdzenie bez odpowiedzi odrzuca żądanie. failClosed: true sprawia, że Envoy odrzuca żądanie do modelu z kodem HTTP 500, gdy magazyn lub usługa ograniczania częstotliwości są nieosiągalne albo sprawdzenie trwa dłużej niż limit czasu ograniczania częstotliwości Envoy, domyślnie 20 ms, zamiast obsłużyć je bez zliczenia. To ustawienie należy do płaszczyzny sterowania, więc obowiązuje dla wszystkich limitów częstotliwości utrzymywanych przez tę instalację Envoy Gateway, a limit zastosowany do instalacji ręcznie również odrzuca żądania w razie awarii. Konfiguracja zawiera je tylko wtedy, gdy budżet jest podłączony.

Nie zawiera żadnego hasła. Usługa odczytuje hasło magazynu jako REDIS_AUTH z obiektu Secret wskazanego przez poświadczenie połączenia cache, counter-store-password, który rozwiązuje we własnej przestrzeni nazw, czyli przestrzeni bramy. Magazyn, counters-deployment.yaml, uruchamia się z --requirepass odczytanym z tego samego obiektu Secret.

Droga od agenta do modelu

Z assistant-deployment.yaml — env kontenera agenta:

env:
- name: OPENAI_BASE_URL
value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1
- name: MODEL
value: assistant
- name: CREWAI_ALLOW_DELEGATION
value: "false"
- name: CREWAI_BACKSTORY
value: a help-desk agent answering customers
- name: CREWAI_GOAL
value: answer questions about the product
- name: CREWAI_LOG_LEVEL
value: DEBUG
- name: CREWAI_ROLE
value: support assistant

Agent odczytuje dwa klucze publikowane przez bramę, które są tymi samymi dwoma kluczami, jakie publikuje model, więc jego Recipe odczytuje je tak, jak odczytywałby klucze modelu. Zmienne CREWAI_ przenoszą własne wartości agenta pod nazwami, które domyślnie nadaje im encja Component CrewAI. Adres to Service, który Envoy Gateway tworzy dla płaszczyzny danych bramy, nazwany na podstawie przestrzeni nazw bramy, jej nazwy i skrótu obu tych wartości, i kwalifikowany przez envoy-gateway-system, dzięki czemu jest rozwiązywany z przestrzeni nazw agenta. Nazwa modelu to alias assistant; trasa kieruje żądanie, które go wskazuje, do backendu modelu, prosząc w zamian o gpt-4o-mini.

Backend łączy się z OpenAI pod punktem końcowym publikowanym przez model: models.yaml zawiera Backend Envoy Gateway dla api.openai.com na porcie 443, politykę TLS sprawdzającą jego certyfikat względem systemowych kotwic zaufania, AIServiceBackend dla API OpenAI pod /v1 oraz politykę bezpieczeństwa przedstawiającą klucz, edge-assistant, której spec wygląda tak:

spec:
targetRefs:
- group: aigateway.envoyproxy.io
kind: AIServiceBackend
name: edge-assistant
type: APIKey
apiKey:
secretRef:
name: "openai-api-key"

Kontroler odczytuje klucz z tego obiektu Secret, w przestrzeni nazw bramy, spod klucza danych apiKey i wysyła go do OpenAI jako token typu bearer, więc żaden wyrenderowany plik go nie zawiera, a agent nigdy go nie posiada. Brama wywołuje kontroler pod adresem, który kontroler publikuje, kwalifikowanym przestrzenią nazw, w której umieszcza go encja Release — to blok extensionManager powyżej. Gdy model jest podłączony, brama przyjmuje także politykę ruchu klienckiego Envoy AI Gateway, edge-client-buffer-limit w models.yaml, która zwiększa bufor dozwolony dla każdego połączenia przychodzącego do 50Mi; jest ona skierowana na bramę, więc dotyczy każdej trasy do niej podłączonej.

Co bramka robi w czasie działania

Przy każdym żądaniu do modelu brama pyta usługę limitowania żądań, czy tokeny naliczone dotąd w tym miesiącu przekraczają limit. Gdy tak się stanie, odpowiada na żądania do modelu kodem HTTP 429 aż do końca miesiąca. Tokeny żądania są doliczane dopiero po zakończeniu odpowiedzi, więc żądanie, które przekracza limit, zostaje obsłużone, podobnie jak każde żądanie obsługiwane równolegle z nim. Gdy magazyn lub usługa limitowania są nieosiągalne albo sprawdzenie trwa dłużej niż limit czasu limitowania w Envoy, brama odrzuca żądania do modelu kodem HTTP 500 zgodnie z powyższym ustawieniem failClosed, więc żadne żądanie do modelu nie jest przyjmowane, dopóki nie można sprawdzić jego licznika.

Wynika z tego zachowanie samego produktu, a nie konfiguracji:

  • Żądanie przyjęte tuż przed awarią jest nadal obsługiwane, ale nie jest liczone. Jego tokeny są naliczane po odpowiedzi, więc odpowiedź kończąca się, gdy magazyn lub usługa są nieosiągalne, nic nie dodaje do licznika.
  • Magazyn przechowujący licznik w pamięci po ponownym uruchomieniu zaczyna każde okno od nowa. core/datastore/redis domyślnie trzyma swoje wpisy w pamięci, więc ponownie uruchomiony magazyn traci dotychczasowy licznik, a reszta miesiąca jest liczona od zera.
  • Odpowiedź, która nie zgłasza zużycia, nic nie dodaje. Licznik to suma tego, co zgłasza każda odpowiedź; Envoy AI Gateway prosi model o zgłoszenie zużycia także na końcu odpowiedzi strumieniowanej.

Co zatrzymuje kompilację

Każda z tych sytuacji to zdanie, które wypisuje kompilacja, wskazując, co należy zmienić:

  • Koszt w dolarach amerykańskich. Po ustawieniu unit: usd w dołączeniu kompilacja zatrzymuje się, zanim cokolwiek zostanie wyrenderowane:

    [… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost
  • Budżet na wywołującego, scope: caller. Brama rozróżnia wywołujących tylko po nagłówku, który wywołujący zapisuje sam, a nic na tej ścieżce nie weryfikuje, kim jest wywołujący, więc wywołujący wysyłający nową wartość zaczynałby nowy budżet, a ten, który nie wysyła żadnej, nie byłby liczony.

  • Dowolny okres, dla którego brama nie ma okna. Przechowuje ona jedną pełną jednostkę swojego limitu szybkości: 1s, 1m, 1h, 1d, 7d, 30d, 365d lub 1mo albo tę samą długość zapisaną inaczej, jak 24h. 2h, 14d lub 2mo zatrzymuje kompilację.

  • Limit, który nie jest całkowitą liczbą tokenów, lub limit większy niż 4294967295.

  • Drugie dołączenie core/period-budget do bramy, które zapisuje jeden budżet na trasie obsługującej jej modele.

  • Nic niepodłączonego do gniazda models, co nie pozostawia żadnej trasy modelu do liczenia, ani do gniazda cache, co nie pozostawia miejsca na przechowywanie licznika. Po usunięciu samego połączenia modelu najpierw zatrzymuje się własna encja Component bramy, ponieważ values.model wskazuje alias, którego nic nie obsługuje.

  • Magazyn w gnieździe cache, który nie obsługuje protokołu Redis — taki, który publikuje protokół inny niż redis lub valkey.

  • Brama umieszczona poza envoy-gateway-system, gdy kontroler jest podłączony do jej gniazda extension.

Przed zastosowaniem

Drzewo nie zawiera żadnego obiektu Namespace ani Secret, dlatego klaster otrzymujący dist/helm/ potrzebuje:

  • Przestrzeni nazw cert-manager, envoy-ai-gateway-system, envoy-gateway-system i assistant.
  • Obiektów Secret w envoy-gateway-system: openai-api-key, przechowującego klucz OpenAI pod kluczem danych apiKey, oraz counter-store-password, przechowującego hasło magazynu pod password. Obciążenie odwołujące się do obiektu Secret, który nie istnieje, nie uruchamia się.
  • Zastosowania po stronie serwera (server-side apply) dla dwóch definicji AI Gateway, aigateway.envoyproxy.io_backendsecuritypolicies.yaml i aigateway.envoyproxy.io_mcproutes.yaml, które są większe niż kopia zastosowanego obiektu zapisywana przez client-side apply, dlatego client-side apply je odrzuca.
  • Obrazu dla agenta. Encja Release wskazuje registry.example/crew-assistant:1.0.0; katalog pakuje środowisko uruchomieniowe agenta, a uruchamiana przez nie załoga to własny kod użytkownika.

Gdzie kompilator nie interpretuje

Kompilator przekazuje limit, jednostkę i koszt tokenu do zasobów bramy jako ciągi znaków, a punkt końcowy modelu, adres magazynu i adres kontrolera — z tego, co każdy z nich publikuje. Nie łączy się z OpenAI, nie wie, czy odpowiedź podaje liczbę swoich tokenów, i sam niczego nie zlicza; nie sprawdza, czy istnieją Secrets ani czy działa cert-manager. Każde z opisanych wyżej zatrzymań jest zadeklarowane przez własne encje katalogu, jako asercja w realizacji budżetu albo w encji Component lub Recipe bramy, i żadne z nich nie opiera się na jakimkolwiek rozumieniu ruchu.

Dostosowywanie przykładu

  • Limit na model. Należy podłączyć więcej modeli do gniazda models i ustawić scope: model: każdy otrzymuje własną regułę i własny licznik.
  • Liczenie jednej strony. Ustawienie unit: prompt_tokens liczy to, co model czyta, a completion_tokens to, co pisze.
  • Ponowne wysłanie nieudanego żądania. Należy dołączyć core/retry-policy do bramy z max_attempts i zmapować go w encji Manifest na helm/retry-policy-envoy-gateway: ta sama polityka ruchu, edge-models, zyskuje retry obok limitu żądań, ponieważ Envoy Gateway dołącza jedną politykę ruchu do trasy.
  • Krótsze okno lub okno o stałej długości. Należy ustawić period w encji Release na jedną z powyższych długości: 1d to doba od 00:00 UTC, a 30d to 30 dni liczonych od 1 stycznia 1970, a nie miesiąc kalendarzowy. Przy każdym okresie innym niż 1mo konfiguracja pozostawia ustawienie miesiąca kalendarzowego nieustawione.
  • Trasy MCP. Kontroler szyfruje identyfikatory sesji MCP kluczem wyprowadzonym z ziarna w sekrecie, który wskazuje infra.mcp_session_seed_secret w ai-controller; gdy żaden nie jest wskazany, jak tutaj, ziarnem jest opublikowana wartość domyślna jego chartu, dlatego przed obsługą przez niego trasy MCP należy wskazać sekret.