Bỏ qua để đến nội dung
AggregaAggrega
Chọn ngôn ngữ: Tiếng Việt
Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

Envoy Gateway đứng trước OpenAI, với ngân sách token hằng tháng

Một nhóm đặt gpt-4o-mini của OpenAI phía sau một gateway trong cluster, muốn có một mức trần cho số token mà gateway tiêu tốn cho mô hình đó trong mỗi tháng dương lịch, và trỏ agent của mình đến gateway thay vì đến OpenAI. Workspace này biên dịch điều đó thành các manifest Kubernetes: Envoy Gateway phục vụ mô hình thông qua Envoy AI Gateway, với core/period-budget được gắn vào, một Redis lưu giữ bộ đếm, và một agent CrewAI gửi các yêu cầu mô hình của nó qua gateway.

Trang này cũng cho thấy những gì gateway này từ chối đếm: một ngân sách tính bằng đô la Mỹ làm dừng quá trình build, và một ngân sách theo từng bên gọi cũng vậy.

Workspace này không tự định nghĩa entity catalog nào. Ba tệp entity ở đây — một Aggregate, một Manifest và một Release — là toàn bộ những gì cần viết.

Những gì ví dụ này xây dựng

instanceComponent trong catalogvai trò ở đây
edgecore/gateway/envoy-gatewaygateway, phục vụ một bí danh, assistant, từ mô hình chat
ai-controllercore/gateway/envoy-ai-gateway-operatorcontroller của Envoy AI Gateway, mà gateway gọi làm extension server của nó, được cài đặt cùng sáu định nghĩa tài nguyên AI Gateway
chatcore/ai-model/openaigpt-4o-mini của OpenAI, được truy cập dưới dạng tham chiếu: không có gì chạy cho nó trong cluster
counterscore/datastore/rediskho lưu trữ mà dịch vụ giới hạn tốc độ của gateway dùng để giữ bộ đếm của ngân sách
assistantcore/ai-agent/crewaimột agent có các yêu cầu mô hình được gửi đến gateway
certscore/security/cert-managercert-manager, thành phần cấp chứng chỉ mà webhook của controller phục vụ

Các cạnh uses của gateway xuất phát từ socket extension của nó, đến controller; từ models, đến mô hình, mang theo dưới dạng credential khóa mà gateway trình cho OpenAI; và từ cache, đến kho lưu trữ, mang theo mật khẩu mà dịch vụ giới hạn tốc độ trình cho kho đó. Cạnh model của agent trỏ đến gateway, không phải đến mô hình. Có một phần gắn Feature trên gateway, budget: Aggregate ghi rõ thứ được đếm, total_tokens, và lưu lượng của ai được một giới hạn bao phủ, gateway — mọi thứ gateway phục vụ — còn Release ghi rõ bao nhiêu và trong bao lâu: hai mươi triệu token mỗi tháng dương lịch.

Manifest gắn mọi thông tin xác thực với k8s-existing-secret, thành phần trỏ một workload đến một Secret đã có sẵn trong namespace của nó và không render Secret nào, vì vậy không có khóa hay mật khẩu nào nằm trong Aggregate, Release hay đầu ra được render. Tên của các Secret là hai tham số mà Release đáp ứng, và slot password riêng của kho lưu trữ đọc cùng tham số với kết nối cache của gateway, nên kho lưu trữ và dịch vụ trình mật khẩu cho nó cùng chỉ đến một Secret.

Release khai báo nơi mỗi workload chạy: cert-manager trong cert-manager, controller trong envoy-ai-gateway-system, agent trong assistant, và gateway trong envoy-gateway-system — controller tìm control plane của gateway ở đó, và bản build sẽ dừng nếu gateway được đặt ở bất kỳ nơi nào khác — cùng kho lưu trữ đặt bên cạnh nó. Mô hình không chạy gì: tệp duy nhất của nó, một Service ánh xạ một tên trong cluster sang host của OpenAI, không chỉ định namespace nào, và gateway truy cập OpenAI tại endpoint mà mô hình công bố thay vì thông qua Service đó.

cert-manager được khai báo, không được mặc định là có sẵn

Webhook của controller phục vụ một chứng chỉ do cert-manager cấp: Recipe của nó render một Certificate của cert-manager và Issuer tự ký dùng để ký chứng chỉ đó, mà chỉ một cert-manager đang chạy mới reconcile được. Trình biên dịch không thể xem xét một cluster để biết liệu có cert-manager đang chạy ở đó hay không, vì vậy workspace khai báo cert-manager thay vì mặc định là có sẵn: certs nằm trong Aggregate bên cạnh controller, và bản build render cert-manager cùng với mọi thứ khác.

Một cluster chạy một cert-manager. Nếu cluster của bạn đã chạy một cert-manager, hãy xóa certs khỏi Aggregate và Release trước khi build; khi đó bản build render cùng các tệp đó, trừ các tệp của chính cert-manager.

Tạo ví dụ

Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.

Ghi ví dụ vào một thư mục mới đặt theo tên của nó:

Terminal window
aggrega scaffold --example envoy-ai-gateway-token-budget

Sau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:

Terminal window
cd envoy-ai-gateway-token-budget

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Một release cần có lockfile trước khi build, và lockfile được tạo ra chứ không được phân phối kèm, nên một bản clone mới sẽ không có. Hãy resolve một lockfile trước, hoặc để quá trình build tự điền vào:

Terminal window
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Việc phân giải ghim ba chart mà các Recipes kết xuất — chart của Envoy Gateway và Envoy AI Gateway từ Docker Hub, chart của cert-manager từ quay.io — nên nó cần kết nối mạng. Workspace này phân giải các thực thể catalog từ registry mặc định mà .aggrega-config.yaml chỉ định.

Xây dựng với --auto-pull sẽ in ra nội dung sau, trong đó <workspace> đại diện cho thư mục của ví dụ này:

Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)
[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]
Build completed: 113 files written to <workspace>/dist

Với trợ lý AI

Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.

Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `envoy-ai-gateway-token-budget`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `envoy-ai-gateway-token-budget` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `envoy-ai-gateway-token-budget` mới. Sau đó gọi công cụ `build` với `workspace_root` đặt thành `envoy-ai-gateway-token-budget`, `release` đặt thành `release.yaml`, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết lần build đã ghi những tệp nào; chúng nằm trong `envoy-ai-gateway-token-budget/dist/`.

Cây thư mục được kết xuất

dist/helm/
├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml
[… omitted: the controller's two cluster roles and their bindings]
├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml
├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml
├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml
├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml
[… omitted: the controller's service account]
├── ai-controller/
│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml
[… omitted: the other five AI Gateway resource definitions]
├── assistant-deployment.yaml
[… omitted: the files cert-manager's chart renders, each named certs-…]
├── chat-service.yaml
├── counters-default-service.yaml
├── counters-deployment.yaml
[… omitted: Envoy Gateway's cluster roles and their bindings]
├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml
[… omitted: the resource definitions Envoy Gateway's chart installs]
├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml
[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]
└── edge/
├── gateway.yaml
├── gatewayclass.yaml
└── models.yaml

Ngân sách không tạo ra tệp riêng nào. Những gì nó làm được ghi vào hai tệp của gateway: dist/helm/edge/models.yaml, chứa tuyến AI và các tài nguyên dẫn tới mô hình, và cấu hình của mặt phẳng điều khiển, dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml.

Ngân sách, theo cách gateway đọc nó

Từ models.yaml, tuyến AI:

apiVersion: aigateway.envoyproxy.io/v1beta1
kind: AIGatewayRoute
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
parentRefs:
- name: edge
kind: Gateway
group: gateway.networking.k8s.io
llmRequestCosts:
- metadataKey: llm_total_token
type: TotalToken
rules:
- matches:
- headers:
- type: Exact
name: x-ai-eg-model
value: "assistant"
backendRefs:
- name: edge-assistant
modelNameOverride: "gpt-4o-mini"

và, từ cùng tệp đó, chính sách lưu lượng giới hạn tuyến này, được đặt tên theo tuyến mà nó nhắm tới:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: BackendTrafficPolicy
metadata:
[… omitted: the labels and annotations every rendered resource carries]
name: edge-models
namespace: "envoy-gateway-system"
spec:
targetRefs:
- group: gateway.networking.k8s.io
kind: HTTPRoute
name: edge-models
rateLimit:
global:
rules:
- limit:
requests: 20000000
unit: Month
shared: true
cost:
request:
from: Number
number: 0
response:
from: Metadata
metadata:
namespace: io.envoy.ai_gateway
key: llm_total_token

Đây là khóa envoy-gateway.yaml trong cấu hình của control plane:

apiVersion: gateway.envoyproxy.io/v1alpha1
kind: EnvoyGateway
extensionApis:
enableBackend: true
enableEnvoyPatchPolicy: true
extensionManager:
hooks:
xdsTranslator:
post:
- Translation
- Cluster
- Route
translation:
cluster:
includeAll: true
listener:
includeAll: true
route:
includeAll: true
secret:
includeAll: true
service:
fqdn:
hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local
port: 1063
gateway:
controllerName: gateway.envoyproxy.io/gatewayclass-controller
logging:
level:
default: info
provider:
kubernetes:
rateLimitDeployment:
container:
env:
- name: REDIS_AUTH
valueFrom:
secretKeyRef:
key: password
name: counter-store-password
- name: USE_CALENDAR_MONTH_RATE_LIMIT
value: "true"
image: docker.io/envoyproxy/ratelimit:8fe6ea42
patch:
type: StrategicMerge
value:
spec:
template:
spec:
containers:
- imagePullPolicy: IfNotPresent
name: envoy-ratelimit
shutdownManager:
image: docker.io/envoyproxy/gateway:v1.9.1
type: Kubernetes
rateLimit:
backend:
redis:
url: counters-default.envoy-gateway-system.svc.cluster.local:6379
type: Redis
failClosed: true

Những điều cần rút ra từ chúng:

Chi phí nằm trên tuyến AI, giới hạn nằm trên tuyến mà nó trở thành. Envoy AI Gateway đọc total_tokens mà mỗi phản hồi của mô hình báo cáo và ghi giá trị đó vào metadata của yêu cầu dưới llm_total_token: đó là điều mà llmRequestCosts khai báo. Controller biến tuyến AI thành một tuyến HTTP cùng tên, edge-models, và chính sách lưu lượng nhắm tới tuyến đó, nên ngân sách bao phủ lưu lượng mô hình và không bao phủ tuyến nào khác gắn vào gateway.

Một phản hồi bị tính phí khi nó hoàn tất. cost.request không tính gì khi một yêu cầu đến; cost.response tính số token của phản hồi khi phản hồi đã hoàn tất. Một yêu cầu bị từ chối khi số lượng đã tính đến lúc đó vượt quá limit.

Một bộ đếm cho toàn bộ gateway. shared: true giữ một bộ đếm chung cho mọi quy tắc của tuyến — phạm vi gateway mà phần gắn kết đã yêu cầu. Với scope: model, Recipe viết một quy tắc cho mỗi kết nối trên socket models, mỗi quy tắc khớp với tên mô hình mà yêu cầu mang trong x-ai-eg-model, nên mỗi mô hình được đếm riêng.

Chu kỳ là một đơn vị trên đồng hồ. 1mo được viết thành unit: Month, và cấu hình yêu cầu dịch vụ giới hạn tốc độ của Envoy Gateway, thông qua USE_CALENDAR_MONTH_RATE_LIMIT, đếm một Month từ ngày đầu tiên của một tháng dương lịch đến ngày cuối cùng. Thiết lập đó thuộc về dịch vụ, nên nó áp dụng cho mọi giới hạn tốc độ theo Month mà bản cài đặt Envoy Gateway này giữ, của ngân sách và mọi giới hạn khác. Mọi cửa sổ bắt đầu tại một điểm cố định trên đồng hồ UTC thay vì với yêu cầu đầu tiên: một ngày lúc 00:00 UTC, một tuần vào thứ Năm.

Bộ đếm nằm trong kho lưu trữ trên socket cache. Khối rateLimit bật dịch vụ giới hạn tốc độ riêng của Envoy Gateway, mà control plane tạo trong namespace của nó và bật cho mọi gateway nó phục vụ, và trỏ dịch vụ đó tới Redis mà socket cache của gateway kết nối tới. Kho lưu trữ công bố host của nó mà không có namespace, nên gateway bổ sung cho nó namespace mà Release đặt kho lưu trữ vào.

Một lần kiểm tra không nhận được câu trả lời sẽ từ chối yêu cầu. failClosed: true khiến Envoy từ chối một yêu cầu tới mô hình với HTTP 500 khi không thể kết nối tới kho lưu trữ hoặc dịch vụ giới hạn tốc độ, hoặc khi một lần kiểm tra kéo dài hơn thời gian chờ giới hạn tốc độ của Envoy, mặc định là 20 ms, thay vì phục vụ yêu cầu mà không đếm nó. Thiết lập đó thuộc về control plane, nên nó áp dụng cho mọi giới hạn tốc độ mà bản cài đặt Envoy Gateway này giữ, và một giới hạn tốc độ được áp dụng thủ công cho bản cài đặt cũng thất bại theo kiểu đóng. Cấu hình chỉ mang thiết lập này khi ngân sách được gắn kết.

Không có mật khẩu nào trong đó. Dịch vụ đọc mật khẩu của kho lưu trữ dưới dạng REDIS_AUTH, từ Secret mà thông tin xác thực của kết nối cache chỉ định, counter-store-password, được dịch vụ phân giải trong namespace của chính nó, tức namespace của gateway. Kho lưu trữ, counters-deployment.yaml, khởi động với --requirepass được đọc từ cùng Secret đó.

Đường đi từ agent đến mô hình

Từ assistant-deployment.yaml, phần env của container của agent:

env:
- name: OPENAI_BASE_URL
value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1
- name: MODEL
value: assistant
- name: CREWAI_ALLOW_DELEGATION
value: "false"
- name: CREWAI_BACKSTORY
value: a help-desk agent answering customers
- name: CREWAI_GOAL
value: answer questions about the product
- name: CREWAI_LOG_LEVEL
value: DEBUG
- name: CREWAI_ROLE
value: support assistant

Agent đọc hai khóa mà gateway công bố, cũng chính là hai khóa mà một mô hình công bố, nên Recipe của nó đọc chúng như khi đọc khóa của một mô hình. Các biến CREWAI_ mang các giá trị riêng của agent, dưới những tên mà Component CrewAI gán cho chúng theo mặc định. Địa chỉ là Service mà Envoy Gateway tạo cho data plane của gateway, được đặt tên theo namespace của gateway, tên của nó và một mã băm của hai giá trị đó, và được định danh đầy đủ với envoy-gateway-system, nên nó phân giải được từ namespace của agent. Tên mô hình là bí danh assistant; route gửi một yêu cầu mang tên đó đến backend của mô hình, và yêu cầu gpt-4o-mini thay vào đó.

Backend kết nối đến OpenAI tại endpoint mà mô hình công bố: models.yaml chứa một Backend của Envoy Gateway cho api.openai.com trên cổng 443, một chính sách TLS kiểm tra chứng chỉ của nó dựa trên các trust anchor của hệ thống, một AIServiceBackend cho OpenAI API dưới /v1, và chính sách bảo mật trình bày khóa, edge-assistant, có spec là:

spec:
targetRefs:
- group: aigateway.envoyproxy.io
kind: AIServiceBackend
name: edge-assistant
type: APIKey
apiKey:
secretRef:
name: "openai-api-key"

Controller đọc khóa từ Secret đó, trong namespace của gateway, dưới khóa dữ liệu apiKey, và gửi nó đến OpenAI dưới dạng bearer token, nên không tệp được kết xuất nào chứa nó và agent không bao giờ nắm giữ nó. Gateway gọi controller tại địa chỉ mà controller công bố, được định danh đầy đủ với namespace mà Release đặt nó vào — khối extensionManager ở trên. Khi một mô hình được kết nối, gateway cũng nhận chính sách lưu lượng client của Envoy AI Gateway, edge-client-buffer-limit trong models.yaml, nâng bộ đệm cho phép của mỗi kết nối đến lên 50Mi; chính sách này nhắm vào gateway, nên nó áp dụng cho mọi route gắn với gateway đó.

Gateway làm gì khi chạy

Với mỗi yêu cầu tới mô hình, gateway hỏi dịch vụ giới hạn tốc độ xem số token đã tính trong tháng này có vượt quá limit hay không. Khi đã vượt, gateway trả lời các yêu cầu tới mô hình bằng HTTP 429 cho đến hết tháng. Token của một yêu cầu được cộng vào khi phản hồi của nó hoàn tất, nên yêu cầu làm vượt giới hạn vẫn được phục vụ, và mọi yêu cầu được trả lời song song với nó cũng vậy. Khi không thể kết nối tới kho lưu trữ hoặc dịch vụ giới hạn tốc độ, hoặc một lần kiểm tra kéo dài hơn thời gian chờ giới hạn tốc độ của Envoy, gateway từ chối các yêu cầu tới mô hình bằng HTTP 500, theo thiết lập failClosed ở trên, nên không yêu cầu nào tới mô hình được chấp nhận khi không thể kiểm tra số đếm của nó.

Những điều suy ra từ đó là hành vi của sản phẩm chứ không phải cấu hình:

  • Một yêu cầu được chấp nhận ngay trước sự cố vẫn được phục vụ và không được tính. Token của nó được tính sau phản hồi, nên một phản hồi hoàn tất trong lúc không thể kết nối tới kho lưu trữ hoặc dịch vụ sẽ không cộng thêm gì vào số đếm.
  • Một kho lưu trữ giữ số đếm trong bộ nhớ sẽ bắt đầu lại mọi cửa sổ khi nó khởi động lại. core/datastore/redis mặc định giữ các mục của nó trong bộ nhớ, nên một kho lưu trữ khởi động lại sẽ mất số đếm đã giữ đến lúc đó, và phần còn lại của tháng được tính lại từ không.
  • Một phản hồi không báo cáo mức sử dụng sẽ không cộng thêm gì. Số đếm là những gì mỗi phản hồi báo cáo; Envoy AI Gateway cũng yêu cầu mô hình báo cáo mức sử dụng ở cuối một phản hồi dạng luồng.

Điều gì làm dừng quá trình build

Mỗi trường hợp dưới đây là một câu mà quá trình build in ra, nêu rõ điều cần thay đổi:

  • Chi phí tính bằng đô la Mỹ. Đặt unit: usd trong phần gắn kèm và bản build dừng lại trước khi bất cứ thứ gì được render:

    [… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars]
    [CATALOG_ERROR E0033]
    Recipe/FeatureRecipe assertions
    caused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost
  • Ngân sách theo từng bên gọi, scope: caller. Gateway chỉ phân biệt các bên gọi bằng một header do chính bên gọi ghi, và không có gì trên đường đi này xác minh bên gọi là ai, nên một bên gọi gửi giá trị mới sẽ bắt đầu một ngân sách mới và một bên gọi không gửi giá trị nào sẽ không được đếm.

  • Bất kỳ khoảng thời gian nào mà gateway không có cửa sổ tương ứng. Nó giữ một đơn vị trọn vẹn của giới hạn tốc độ: 1s, 1m, 1h, 1d, 7d, 30d, 365d hoặc 1mo, hoặc cùng độ dài đó được viết theo cách khác, như 24h. 2h, 14d hoặc 2mo làm bản build dừng lại.

  • Giới hạn không phải là một số nguyên token, hoặc lớn hơn 4294967295.

  • Phần gắn kèm core/period-budget thứ hai trên gateway, vốn ghi một ngân sách lên route phục vụ các mô hình của nó.

  • Không có gì được nối vào socket models, khiến không còn route mô hình nào để đếm, hoặc vào socket cache, khiến bộ đếm không có nơi nào để lưu. Nếu chỉ gỡ kết nối của mô hình, Component riêng của gateway sẽ dừng trước, vì values.model chỉ tới một bí danh mà không có gì phục vụ.

  • Kho lưu trữ trên socket cache không dùng giao thức Redis — tức là kho công bố một giao thức khác redis hoặc valkey.

  • Gateway được đặt bên ngoài envoy-gateway-system trong khi controller được nối vào socket extension của nó.

Trước khi áp dụng

Cây không chứa Namespace và Secret nào, vì vậy một cluster nhận dist/helm/ cần có:

  • Các namespace cert-manager, envoy-ai-gateway-system, envoy-gateway-system và assistant.
  • Các Secret, trong envoy-gateway-system: openai-api-key, chứa khóa của OpenAI dưới khóa dữ liệu apiKey, và counter-store-password, chứa mật khẩu của kho lưu trữ dưới password. Một workload tham chiếu đến một Secret không tồn tại sẽ không khởi động.
  • Một server-side apply cho hai định nghĩa của AI Gateway, aigateway.envoyproxy.io_backendsecuritypolicies.yaml và aigateway.envoyproxy.io_mcproutes.yaml, vốn lớn hơn bản sao của đối tượng đã áp dụng mà một client-side apply ghi lại, nên một client-side apply từ chối chúng.
  • Một image cho agent. Release chỉ định registry.example/crew-assistant:1.0.0; catalog đóng gói runtime của agent, còn crew mà nó chạy là mã của riêng bạn.

Nơi trình biên dịch không diễn giải

Trình biên dịch chuyển giới hạn, đơn vị và chi phí token vào các tài nguyên của gateway dưới dạng chuỗi, còn endpoint của mô hình, địa chỉ của kho lưu trữ và địa chỉ của controller thì lấy từ những gì mỗi thành phần công bố. Nó không kết nối tới OpenAI, không biết một phản hồi có báo cáo số token của nó hay không, và tự nó không đếm gì cả; nó không kiểm tra rằng các Secrets có tồn tại hay cert-manager có đang chạy. Mỗi điểm dừng ở trên đều do chính các thực thể của catalog khai báo, dưới dạng một assertion trong phần hiện thực hóa của ngân sách hoặc trong Component hay Recipe của gateway, và không điểm nào trong số đó dựa trên bất kỳ hiểu biết nào về lưu lượng.

Điều chỉnh ví dụ

  • Một giới hạn cho mỗi mô hình. Nối thêm các mô hình vào socket models và đặt scope: model: mỗi mô hình có một quy tắc và một bộ đếm riêng.
  • Đếm một phía. Đặt unit: prompt_tokens để đếm những gì mô hình đọc, hoặc completion_tokens cho những gì mô hình viết ra.
  • Gửi lại một yêu cầu thất bại. Gắn core/retry-policy vào gateway với max_attempts và ánh xạ nó trong Manifest tới helm/retry-policy-envoy-gateway: cùng một chính sách lưu lượng, edge-models, có thêm một retry bên cạnh giới hạn tốc độ, vì Envoy Gateway gắn một chính sách lưu lượng vào một route.
  • Một cửa sổ ngắn hơn hoặc có độ dài cố định. Đặt period trong Release thành một trong các độ dài ở trên: 1d là một ngày tính từ 00:00 UTC, và 30d là 30 ngày đếm từ ngày 1 tháng 1 năm 1970 chứ không phải một tháng dương lịch. Với bất kỳ chu kỳ nào khác 1mo, cấu hình để trống thiết lập tháng dương lịch.
  • Các route MCP. Controller mã hóa các định danh phiên MCP bằng một khóa dẫn xuất từ seed trong Secret mà infra.mcp_session_seed_secret chỉ định trên ai-controller; khi không chỉ định Secret nào, như ở đây, seed là giá trị mặc định được công bố của chart, vì vậy hãy chỉ định một Secret trước khi phục vụ một route MCP qua nó.