월간 토큰 예산을 갖춘 OpenAI 앞단의 Envoy Gateway
한 팀이 OpenAI의 gpt-4o-mini를 클러스터 내 게이트웨이 뒤에 두고, 게이트웨이가 매 달력 월마다 이 모델에 소비하는 토큰에
상한을 두려 하며, 에이전트가 OpenAI가 아니라 게이트웨이를
바라보도록 합니다. 이 워크스페이스는 이를 Kubernetes
매니페스트로 컴파일합니다. Envoy AI Gateway를 통해 모델을 제공하는 Envoy Gateway에
core/period-budget이 연결되고, Redis가 카운트를 유지하며, CrewAI 에이전트가
모델 요청을 게이트웨이를 통해 보냅니다.
이 페이지는 이 게이트웨이가 집계를 거부하는 것도 보여 줍니다. 미국 달러 단위의 예산은 빌드를 중단시키며, 호출자별 예산도 마찬가지입니다.
이 워크스페이스는 자체 카탈로그 엔티티를 작성하지 않습니다. 여기 있는 세 개의 엔티티 파일, 즉 Aggregate, Manifest, Release가 누구든 작성하는 내용의 전부입니다.
구성되는 내용
| 인스턴스 | 카탈로그 Component | 여기서의 역할 |
|---|---|---|
edge | core/gateway/envoy-gateway | 게이트웨이로, 모델 chat에서 하나의 별칭 assistant를 제공합니다 |
ai-controller | core/gateway/envoy-ai-gateway-operator | 게이트웨이가 확장 서버로 호출하는 Envoy AI Gateway의 컨트롤러로, 여섯 개의 AI Gateway 리소스 정의와 함께 설치됩니다 |
chat | core/ai-model/openai | 참조로 도달하는 OpenAI의 gpt-4o-mini로, 클러스터 안에서는 이를 위해 아무것도 실행되지 않습니다 |
counters | core/datastore/redis | 게이트웨이의 rate-limit 서비스가 예산의 카운트를 보관하는 저장소 |
assistant | core/ai-agent/crewai | 모델 요청이 게이트웨이로 가는 에이전트 |
certs | core/security/cert-manager | 컨트롤러의 webhook이 제공하는 인증서를 발급하는 cert-manager |
게이트웨이의 uses 엣지는 extension 소켓에서 컨트롤러로, models에서 모델로(게이트웨이가 OpenAI에 제시하는 키를 credential로 전달), 그리고 cache에서 저장소로(rate-limit 서비스가 저장소에 제시하는 비밀번호를 전달) 나갑니다. 에이전트의 model 엣지는 모델이 아니라 게이트웨이를 가리킵니다. 게이트웨이에는 Feature 연결이 하나, budget이 있습니다. Aggregate는 무엇을 셀지(total_tokens)와 하나의 한도가 누구의 트래픽을 포괄하는지(gateway, 즉 게이트웨이가 제공하는 모든 것)를 작성하고,
Release는 얼마만큼, 얼마 동안인지를 작성합니다. 역월 한 달에 2천만
토큰입니다.
Manifest는 모든 자격 증명을 k8s-existing-secret에 바인딩합니다. 이것은 workload가 자신의 네임스페이스에 이미 있는 Secret을 가리키게 하고 아무것도 렌더링하지 않으므로, Aggregate, Release, 렌더링된 출력 어디에도 키나 비밀번호가 없습니다. Secret의 이름은 Release가 채우는 두 개의 파라미터이며, 저장소 자체의 password 슬롯은 게이트웨이의 cache 연결과 같은 파라미터를 읽으므로, 저장소와 저장소에 비밀번호를 제시하는 서비스는 하나의 Secret을 지정합니다.
Release는 각 workload가 실행될 위치를 선언합니다. cert-manager는 cert-manager에, 컨트롤러는 envoy-ai-gateway-system에, 에이전트는 assistant에, 게이트웨이는 envoy-gateway-system에 두고(컨트롤러는 게이트웨이의 컨트롤 플레인을 그곳에서 찾으며, 게이트웨이를 다른 곳에 두면 빌드가 중단됩니다), 저장소는 그 옆에 둡니다. 모델은 아무것도 실행하지 않습니다. 모델의 유일한 파일은 클러스터 내부 이름을 OpenAI의 호스트에 매핑하는 Service로, 네임스페이스를 지정하지 않으며, 게이트웨이는 그 Service를 거치지 않고 모델이 게시하는 엔드포인트로 OpenAI에 도달합니다.
cert-manager는 가정하지 않고 선언합니다
컨트롤러의 webhook은 cert-manager가 발급하는 인증서를 제공합니다. 해당 Recipe는 cert-manager Certificate와 이를 서명하는 자체 서명 Issuer를 렌더링하며, 이들은 실행 중인 cert-manager만 조정합니다. 컴파일러는 클러스터를 살펴보고 그곳에서 cert-manager가 실행 중인지 확인할 수 없으므로, 워크스페이스는 cert-manager를 가정하지 않고 선언합니다. certs는 Aggregate에서 컨트롤러 옆에 위치하며, 빌드는 다른 모든 것과 함께 cert-manager를 렌더링합니다.
클러스터는 하나의 cert-manager를 실행합니다. 클러스터에서 이미 cert-manager가 실행 중이라면 빌드하기 전에 Aggregate와 Release에서 certs를 제거합니다. 그러면 빌드는 cert-manager 자체의 파일을 제외한 동일한 파일을 렌더링합니다.
예제 생성하기
아래 명령으로 이 예제를 빌드하거나, AI 어시스턴트에게 대신 빌드하게 할 수 있습니다.
예제 이름을 딴 새 폴더에 예제를 씁니다:
aggrega scaffold --example envoy-ai-gateway-token-budget그런 다음 이어서 실행할 명령을 출력합니다. 첫 번째 명령은 새 폴더로 이동합니다:
cd envoy-ai-gateway-token-budget빌드
aggrega build --release release.yaml --auto-pullrelease는 빌드하기 전에 lockfile이 필요하며, lockfile은 배포되지 않고 생성되므로 새로 clone한 저장소에는 lockfile이 없습니다. 먼저 lockfile을 해석하여 생성하거나, 빌드가 채우도록 합니다:
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the build해석 과정은 Recipes가 렌더링하는 세 개의 차트 — Docker Hub의 Envoy Gateway 차트와 Envoy AI Gateway 차트, quay.io의 cert-manager 차트 — 를 고정하므로 네트워크가 필요합니다. 이 워크스페이스는 .aggrega-config.yaml이 지정하는 기본 레지스트리에서 카탈로그 엔티티를 해석합니다.
--auto-pull로 빌드하면 다음이 출력됩니다. 여기서 <workspace>는 이 예제의 폴더를 나타냅니다:
Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]Build completed: 113 files written to <workspace>/distAI 어시스턴트 사용
Aggrega 도구로 설정한 AI 어시스턴트도 같은 작업을 할 수 있습니다. 다음 프롬프트를 붙여 넣으십시오.
Aggrega 도구만 사용하고, 폴더는 직접 만들지 마십시오. 작업 영역 폴더에 아직 `envoy-ai-gateway-token-budget` 폴더가 없으면 `example`을 `envoy-ai-gateway-token-budget`으로 설정하고 `dir`은 지정하지 않은 채 `scaffold` 도구를 한 번 호출하십시오. 이 도구는 예제를 새 `envoy-ai-gateway-token-budget` 폴더에 씁니다. 그런 다음 `workspace_root`를 `envoy-ai-gateway-token-budget`으로, `release`를 `release.yaml`로, `auto_pull`을 true로, `write`를 true로 설정하여 `build` 도구를 호출하십시오. 빌드가 쓴 파일을 알려 주십시오. 파일은 `envoy-ai-gateway-token-budget/dist/` 아래에 있습니다.렌더링된 트리
dist/helm/├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml[… omitted: the controller's two cluster roles and their bindings]├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml[… omitted: the controller's service account]├── ai-controller/│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml[… omitted: the other five AI Gateway resource definitions]├── assistant-deployment.yaml[… omitted: the files cert-manager's chart renders, each named certs-…]├── chat-service.yaml├── counters-default-service.yaml├── counters-deployment.yaml[… omitted: Envoy Gateway's cluster roles and their bindings]├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml[… omitted: the resource definitions Envoy Gateway's chart installs]├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]└── edge/ ├── gateway.yaml ├── gatewayclass.yaml └── models.yaml예산에는 자체 파일이 없습니다. 예산이 하는 일은 게이트웨이의 파일 두 개에 기록됩니다. AI 라우트와 모델에 도달하는 리소스를 담은 dist/helm/edge/models.yaml, 그리고 컨트롤 플레인의 구성인
dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml입니다.
게이트웨이가 읽는 예산
models.yaml에서 가져온 AI 라우트:
apiVersion: aigateway.envoyproxy.io/v1beta1kind: AIGatewayRoutemetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: parentRefs: - name: edge kind: Gateway group: gateway.networking.k8s.io llmRequestCosts: - metadataKey: llm_total_token type: TotalToken rules: - matches: - headers: - type: Exact name: x-ai-eg-model value: "assistant" backendRefs: - name: edge-assistant modelNameOverride: "gpt-4o-mini"그리고 같은 파일에서 가져온, 이 라우트를 제한하는 트래픽 정책으로, 대상 라우트와 같은 이름을 가집니다:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: BackendTrafficPolicymetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: targetRefs: - group: gateway.networking.k8s.io kind: HTTPRoute name: edge-models rateLimit: global: rules: - limit: requests: 20000000 unit: Month shared: true cost: request: from: Number number: 0 response: from: Metadata metadata: namespace: io.envoy.ai_gateway key: llm_total_token다음은 컨트롤 플레인 구성의 envoy-gateway.yaml 키입니다:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: EnvoyGatewayextensionApis: enableBackend: true enableEnvoyPatchPolicy: trueextensionManager: hooks: xdsTranslator: post: - Translation - Cluster - Route translation: cluster: includeAll: true listener: includeAll: true route: includeAll: true secret: includeAll: true service: fqdn: hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local port: 1063gateway: controllerName: gateway.envoyproxy.io/gatewayclass-controllerlogging: level: default: infoprovider: kubernetes: rateLimitDeployment: container: env: - name: REDIS_AUTH valueFrom: secretKeyRef: key: password name: counter-store-password - name: USE_CALENDAR_MONTH_RATE_LIMIT value: "true" image: docker.io/envoyproxy/ratelimit:8fe6ea42 patch: type: StrategicMerge value: spec: template: spec: containers: - imagePullPolicy: IfNotPresent name: envoy-ratelimit shutdownManager: image: docker.io/envoyproxy/gateway:v1.9.1 type: KubernetesrateLimit: backend: redis: url: counters-default.envoy-gateway-system.svc.cluster.local:6379 type: Redis failClosed: true여기서 읽어 낼 내용:
비용은 AI 라우트에, 제한은 그 라우트가 변환된 라우트에 있습니다. Envoy AI
Gateway는 모델의 각 응답이 보고하는 total_tokens를 읽어 요청의 메타데이터에
llm_total_token으로 기록합니다. 이것이 llmRequestCosts가 선언하는 내용입니다. 컨트롤러는 AI 라우트를 같은 이름의 HTTP 라우트
edge-models로 변환하고, 트래픽 정책은 그 라우트를 대상으로 하므로,
예산은 모델 트래픽에만 적용되고 게이트웨이에 연결된 다른 라우트에는 적용되지 않습니다.
응답은 완료될 때 과금됩니다. cost.request는 요청이 도착할 때
아무것도 과금하지 않습니다. cost.response는 응답이 완료되면 그 응답의 토큰을
과금합니다. 지금까지 과금된 수가 limit을 초과하면 요청이 거부됩니다.
게이트웨이 전체에 하나의 카운트. shared: true는 라우트의 모든 규칙에 걸쳐
하나의 카운트를 유지합니다. 이것이 연결(attachment)이 요청한 gateway 범위입니다.
scope: model을 쓰면 Recipe는 models 소켓의 연결마다 규칙을 하나씩 작성하고,
각 규칙은 요청이 x-ai-eg-model에 담은 모델 이름과 일치하므로, 모델마다
따로 카운트됩니다.
기간은 시계상의 단위입니다. 1mo는 unit: Month로 작성되며,
구성은 USE_CALENDAR_MONTH_RATE_LIMIT를 통해 Envoy Gateway의 rate-limit 서비스에
Month를 달력상 한 달의 첫날부터 마지막 날까지로 세도록 지시합니다. 이 설정은 서비스에 속하므로,
이 Envoy Gateway 설치가 유지하는 모든 Month rate limit에 적용됩니다. 예산의 것이든
다른 것이든 마찬가지입니다. 모든 윈도는 첫 요청 시점이 아니라 UTC 시계의 고정된 시점에서
시작합니다. 하루는 00:00 UTC, 한 주는 목요일입니다.
카운트는 cache 소켓의 저장소에 있습니다. rateLimit 블록은
Envoy Gateway 자체의 rate-limit 서비스를 켭니다. 이 서비스는 컨트롤 플레인이
자신의 네임스페이스에 생성하고 자신이 서비스하는 모든 게이트웨이에 대해 켜며, 블록은 이 서비스가
게이트웨이의 cache 소켓이 도달하는 Redis를 가리키게 합니다. 저장소는 네임스페이스 없이
호스트를 게시하므로, 게이트웨이는 Release가 저장소를 배치하는 네임스페이스로 이를 한정합니다.
응답을 받지 못한 검사는 요청을 거부합니다. failClosed: true는
저장소나 rate-limit 서비스에 도달할 수 없거나 검사가 Envoy의 rate-limit
타임아웃(기본값 20 ms)보다 오래 걸리는 동안, Envoy가 모델 요청을 처리하고 카운트하지 않는 대신
HTTP 500으로 거부하게 합니다. 이 설정은 컨트롤 플레인에 속하므로, 이 Envoy
Gateway 설치가 유지하는 모든 rate limit에 적용되며, 설치에 수동으로 적용한 rate limit도
fail closed로 동작합니다. 구성은 예산이 연결되어 있는 동안에만 이 설정을 담습니다.
비밀번호는 들어 있지 않습니다. 서비스는 저장소의 비밀번호를
REDIS_AUTH로 읽으며, 이는 cache 연결의 자격 증명이 지정하는 Secret
counter-store-password에서 가져오고, 이 Secret은 서비스 자신의 네임스페이스, 즉 게이트웨이의 네임스페이스에서 확인됩니다.
저장소 counters-deployment.yaml은 같은 Secret에서 읽은 --requirepass로
시작합니다.
에이전트에서 모델까지의 경로
assistant-deployment.yaml에서 가져온 에이전트 컨테이너의 env입니다:
env: - name: OPENAI_BASE_URL value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1 - name: MODEL value: assistant - name: CREWAI_ALLOW_DELEGATION value: "false" - name: CREWAI_BACKSTORY value: a help-desk agent answering customers - name: CREWAI_GOAL value: answer questions about the product - name: CREWAI_LOG_LEVEL value: DEBUG - name: CREWAI_ROLE value: support assistant에이전트는 게이트웨이가 게시하는 두 키를 읽으며, 이 두 키는 모델이 게시하는 두 키와 같으므로 에이전트의 Recipe는 모델의 키를 읽듯이 이를 읽습니다. CREWAI_ 변수는 CrewAI Component가 기본적으로 부여하는 이름으로 에이전트 자신의 값을 담습니다. 주소는 Envoy Gateway가 게이트웨이의 데이터 플레인용으로 생성하는 Service로, 게이트웨이의 네임스페이스, 이름, 그리고 이 둘의 해시로 이름이 지어지고 envoy-gateway-system으로 한정되므로 에이전트의 네임스페이스에서 해석됩니다. 모델 이름은 별칭 assistant입니다. 라우트는 이 이름을 지정한 요청을 모델의 백엔드로 보내며, 대신 gpt-4o-mini를 요청합니다.
백엔드는 모델이 게시하는 엔드포인트에서 OpenAI에 도달합니다:
models.yaml에는 포트 443의 api.openai.com에 대한 Envoy Gateway Backend, 시스템의 신뢰 앵커로 인증서를 검사하는 TLS 정책, /v1 아래 OpenAI API에 대한 AIServiceBackend, 그리고 키를 제시하는 보안 정책 edge-assistant가 들어 있으며, 이 정책의 spec은 다음과 같습니다:
spec: targetRefs: - group: aigateway.envoyproxy.io kind: AIServiceBackend name: edge-assistant type: APIKey apiKey: secretRef: name: "openai-api-key"컨트롤러는 게이트웨이의 네임스페이스에 있는 그 Secret에서 데이터 키 apiKey 아래의 키를 읽어 bearer 토큰으로 OpenAI에 보내므로, 렌더링된 어떤 파일에도 키가 담기지 않고 에이전트도 키를 보유하지 않습니다. 게이트웨이는 컨트롤러가 게시하는 주소, 즉 Release가 컨트롤러를 배치하는 네임스페이스로 한정된 주소로 컨트롤러를 호출합니다. 위의 extensionManager 블록이 이것입니다. 모델이 연결되어 있는 동안 게이트웨이는 Envoy AI Gateway의 클라이언트 트래픽 정책인 models.yaml의 edge-client-buffer-limit도 받아, 들어오는 각 연결에 허용되는 버퍼를 50Mi로 늘립니다. 이 정책은 게이트웨이를 대상으로 하므로 게이트웨이에 연결된 모든 라우트에 적용됩니다.
실행 시 게이트웨이가 하는 일
모델 요청이 올 때마다 게이트웨이는 이번 달에 지금까지 청구된 토큰이 limit를 넘는지 rate-limit 서비스에 묻습니다. 넘으면 그달이 끝날 때까지 모델 요청에 HTTP 429로 응답합니다. 요청의 토큰은 응답이 완료된 뒤에 더해지므로, 한도를 넘기는 요청은 처리되며 그와 나란히 응답된 요청도 마찬가지입니다. 저장소나 rate-limit 서비스에 연결할 수 없거나 확인이 Envoy의 rate-limit 타임아웃보다 오래 걸리는 동안에는, 위의 failClosed 설정에 따라 모델 요청을 HTTP 500으로 거부하므로 횟수를 확인할 수 없는 동안에는 어떤 모델 요청도 허용되지 않습니다.
이로부터 따르는 것은 구성이 아니라 제품의 동작입니다.
- 장애 직전에 허용된 요청은 그대로 처리되며 집계되지 않습니다. 토큰은 응답 후에 청구되므로, 저장소나 서비스에 연결할 수 없는 동안 완료되는 응답은 집계에 아무것도 더하지 않습니다.
- 집계를 메모리에 보관하는 저장소는 재시작하면 모든 윈도를 처음부터 다시 시작합니다.
core/datastore/redis는 기본적으로 항목을 메모리에 보관하므로, 재시작된 저장소는 지금까지의 집계를 잃고 그달의 나머지는 0부터 집계됩니다. - 사용량을 보고하지 않는 응답은 아무것도 더하지 않습니다. 집계는 각 응답이 보고하는 값이며, Envoy AI Gateway는 스트리밍 응답의 끝에서도 모델에 사용량을 보고하도록 요청합니다.
빌드를 중단시키는 것
다음 각 경우에 빌드는 무엇을 바꿔야 하는지 알려 주는 문장을 출력합니다.
-
미국 달러 단위의 비용. 첨부에
unit: usd를 설정하면 아무것도 렌더링되기 전에 빌드가 중단됩니다.[… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost -
호출자별 예산,
scope: caller. 게이트웨이는 호출자가 직접 작성하는 헤더로만 호출자를 구분하며, 이 경로의 어떤 것도 호출자가 누구인지 검증하지 않으므로, 새 값을 보내는 호출자는 새 예산을 시작하게 되고 값을 보내지 않는 호출자는 집계되지 않습니다. -
게이트웨이에 해당 기간 창이 없는 모든 기간. 게이트웨이는 속도 제한의 단위 하나를 온전히 유지합니다.
1s,1m,1h,1d,7d,30d,365d,1mo, 또는24h처럼 같은 길이를 다르게 표기한 것입니다.2h,14d,2mo는 빌드를 중단시킵니다. -
토큰 수가 정수가 아닌 한도, 또는 4294967295를 넘는 한도.
-
게이트웨이에 대한 두 번째
core/period-budget첨부. 이 첨부는 모델을 제공하는 라우트에 예산 하나를 기록합니다. -
models소켓에 아무것도 연결되지 않은 경우, 집계할 모델 라우트가 남지 않습니다. 또는cache소켓에 아무것도 연결되지 않은 경우, 집계 값을 둘 곳이 없습니다. 모델의 연결만 제거하면 게이트웨이 자체의 Component가 먼저 중단되는데,values.model이 아무것도 제공하지 않는 별칭을 지정하기 때문입니다. -
Redis 프로토콜을 사용하지 않는
cache소켓의 저장소 —redis또는valkey가 아닌 프로토콜을 게시하는 저장소. -
컨트롤러가 게이트웨이의
extension소켓에 연결되어 있는 상태에서 게이트웨이가envoy-gateway-system밖에 배치된 경우.
적용하기 전에
트리에는 Namespace도 Secret도 없으므로, dist/helm/을 받는 클러스터에는 다음이 필요합니다.
- 네임스페이스
cert-manager,envoy-ai-gateway-system,envoy-gateway-system,assistant. envoy-gateway-system에 있는 Secret: OpenAI의 키를 데이터 키apiKey아래에 담은openai-api-key와, 저장소의 비밀번호를password아래에 담은counter-store-password. 존재하지 않는 Secret을 참조하는 워크로드는 시작되지 않습니다.- AI Gateway 정의 중 두 개에 대한 server-side apply:
aigateway.envoyproxy.io_backendsecuritypolicies.yaml와aigateway.envoyproxy.io_mcproutes.yaml는 client-side apply가 기록하는 적용된 객체의 사본보다 크기 때문에 client-side apply는 이를 거부합니다. - 에이전트용 이미지. Release는
registry.example/crew-assistant:1.0.0을 지정합니다. 카탈로그는 에이전트 런타임을 패키징하며, 그 런타임이 실행하는 crew는 직접 작성한 코드입니다.
컴파일러가 해석하지 않는 부분
컴파일러는 한도, 단위, 토큰 비용을 문자열로 게이트웨이의 리소스에 전달하고, 모델의 엔드포인트, 저장소의 주소, 컨트롤러의 주소는 각각이 게시하는 값에서 가져와 전달합니다. 컴파일러는 OpenAI에 접속하지 않고, 응답이 토큰 수를 보고하는지 알지 못하며, 스스로 아무것도 세지 않습니다. Secret이 존재하는지, cert-manager가 실행 중인지도 확인하지 않습니다. 위의 각 중단은 카탈로그 자체의 엔티티가 예산의 실현이나 게이트웨이의 Component 또는 Recipe 안의 어설션으로 선언한 것이며, 그중 어느 것도 트래픽에 대한 이해에 기대지 않습니다.
응용하기
- 모델별 한도. 더 많은 모델을
models소켓에 연결하고scope: model을 설정합니다. 그러면 각 모델이 자체 규칙과 자체 카운트를 갖습니다. - 한쪽만 세기. 모델이 읽는 양을 세려면
unit: prompt_tokens를, 모델이 쓰는 양을 세려면completion_tokens를 설정합니다. - 실패한 요청 다시 보내기.
core/retry-policy를max_attempts와 함께 게이트웨이에 연결하고 Manifest에서 이를helm/retry-policy-envoy-gateway에 매핑합니다. 그러면 같은 트래픽 정책인edge-models에 속도 제한과 나란히retry가 추가됩니다. Envoy Gateway는 하나의 라우트에 하나의 트래픽 정책을 연결하기 때문입니다. - 더 짧거나 고정 길이인 기간. Release의
period를 위에 나온 길이 중 하나로 설정합니다.1d는 00:00 UTC부터의 하루이며,30d는 역법상의 한 달이 아니라 1970년 1월 1일부터 세는 30일입니다.1mo이외의 기간에서는 구성이 역법상 월 설정을 지정하지 않은 채로 둡니다. - MCP 라우트. 컨트롤러는
ai-controller의infra.mcp_session_seed_secret가 지정하는 Secret에 있는 시드에서 파생한 키로 MCP 세션 식별자를 암호화합니다. 여기처럼 아무것도 지정하지 않으면 시드는 해당 차트가 공개한 기본값이므로, 이를 통해 MCP 라우트를 제공하기 전에 하나를 지정하십시오.