Envoy Gateway đứng trước OpenAI, với ngân sách token hằng tháng
Một nhóm đặt gpt-4o-mini của OpenAI phía sau một gateway trong cluster, muốn có một mức trần
cho số token mà gateway tiêu tốn cho mô hình đó trong mỗi tháng dương lịch, và trỏ agent của mình
đến gateway thay vì đến OpenAI. Workspace này biên dịch điều đó thành các manifest
Kubernetes: Envoy Gateway phục vụ mô hình thông qua Envoy AI Gateway, với
core/period-budget được gắn vào, một Redis lưu giữ bộ đếm, và một agent CrewAI
gửi các yêu cầu mô hình của nó qua gateway.
Trang này cũng cho thấy những gì gateway này từ chối đếm: một ngân sách tính bằng đô la Mỹ làm dừng quá trình build, và một ngân sách theo từng bên gọi cũng vậy.
Workspace này không tự định nghĩa entity catalog nào. Ba tệp entity ở đây — một Aggregate, một Manifest và một Release — là toàn bộ những gì cần viết.
Những gì ví dụ này xây dựng
| instance | Component trong catalog | vai trò ở đây |
|---|---|---|
edge | core/gateway/envoy-gateway | gateway, phục vụ một bí danh, assistant, từ mô hình chat |
ai-controller | core/gateway/envoy-ai-gateway-operator | controller của Envoy AI Gateway, mà gateway gọi làm extension server của nó, được cài đặt cùng sáu định nghĩa tài nguyên AI Gateway |
chat | core/ai-model/openai | gpt-4o-mini của OpenAI, được truy cập dưới dạng tham chiếu: không có gì chạy cho nó trong cluster |
counters | core/datastore/redis | kho lưu trữ mà dịch vụ giới hạn tốc độ của gateway dùng để giữ bộ đếm của ngân sách |
assistant | core/ai-agent/crewai | một agent có các yêu cầu mô hình được gửi đến gateway |
certs | core/security/cert-manager | cert-manager, thành phần cấp chứng chỉ mà webhook của controller phục vụ |
Các cạnh uses của gateway xuất phát từ socket extension của nó, đến controller; từ models, đến mô hình, mang theo dưới dạng credential khóa mà gateway trình cho OpenAI; và từ cache, đến kho lưu trữ, mang theo mật khẩu mà dịch vụ giới hạn tốc độ trình cho kho đó. Cạnh model của agent trỏ đến gateway, không phải đến mô hình. Có một phần gắn Feature trên gateway,
budget: Aggregate ghi rõ thứ được đếm, total_tokens, và lưu lượng của ai được một giới hạn bao phủ, gateway — mọi thứ gateway phục vụ — còn Release ghi rõ bao nhiêu và trong bao lâu: hai mươi triệu token mỗi tháng dương lịch.
Manifest gắn mọi thông tin xác thực với k8s-existing-secret, thành phần trỏ một workload đến một Secret đã có sẵn trong namespace của nó và không render Secret nào, vì vậy không có khóa hay mật khẩu nào nằm trong Aggregate, Release hay đầu ra được render. Tên của các Secret là hai tham số mà Release đáp ứng, và slot password riêng của kho lưu trữ đọc cùng tham số với kết nối cache của gateway, nên kho lưu trữ và dịch vụ trình mật khẩu cho nó cùng chỉ đến một Secret.
Release khai báo nơi mỗi workload chạy: cert-manager trong cert-manager, controller trong envoy-ai-gateway-system, agent trong assistant, và gateway trong envoy-gateway-system — controller tìm control plane của gateway ở đó, và bản build sẽ dừng nếu gateway được đặt ở bất kỳ nơi nào khác — cùng kho lưu trữ đặt bên cạnh nó. Mô hình không chạy gì: tệp duy nhất của nó, một Service ánh xạ một tên trong cluster sang host của OpenAI, không chỉ định namespace nào, và gateway truy cập OpenAI tại endpoint mà mô hình công bố thay vì thông qua Service đó.
cert-manager được khai báo, không được mặc định là có sẵn
Webhook của controller phục vụ một chứng chỉ do cert-manager cấp: Recipe của nó
render một Certificate của cert-manager và Issuer tự ký dùng để ký chứng chỉ đó,
mà chỉ một cert-manager đang chạy mới reconcile được. Trình biên dịch không thể xem xét một
cluster để biết liệu có cert-manager đang chạy ở đó hay không, vì vậy workspace khai báo cert-manager
thay vì mặc định là có sẵn: certs nằm trong Aggregate bên cạnh controller,
và bản build render cert-manager cùng với mọi thứ khác.
Một cluster chạy một cert-manager. Nếu cluster của bạn đã chạy một cert-manager, hãy xóa certs
khỏi Aggregate và Release trước khi build; khi đó bản build render
cùng các tệp đó, trừ các tệp của chính cert-manager.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example envoy-ai-gateway-token-budgetSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd envoy-ai-gateway-token-budgetBuild
aggrega build --release release.yaml --auto-pullMột release cần có lockfile trước khi build, và lockfile được tạo ra chứ không được phân phối kèm, nên một bản clone mới sẽ không có. Hãy resolve một lockfile trước, hoặc để quá trình build tự điền vào:
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildViệc phân giải ghim ba chart mà các Recipes kết xuất — chart của Envoy Gateway và Envoy AI Gateway từ Docker Hub, chart của cert-manager từ quay.io — nên nó cần kết nối mạng. Workspace này phân giải các thực thể catalog từ registry mặc định mà .aggrega-config.yaml chỉ định.
Xây dựng với --auto-pull sẽ in ra nội dung sau, trong đó <workspace> đại diện cho thư mục của ví dụ này:
Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]Build completed: 113 files written to <workspace>/distVới trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `envoy-ai-gateway-token-budget`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `envoy-ai-gateway-token-budget` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `envoy-ai-gateway-token-budget` mới. Sau đó gọi công cụ `build` với `workspace_root` đặt thành `envoy-ai-gateway-token-budget`, `release` đặt thành `release.yaml`, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết lần build đã ghi những tệp nào; chúng nằm trong `envoy-ai-gateway-token-budget/dist/`.Cây thư mục được kết xuất
dist/helm/├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml[… omitted: the controller's two cluster roles and their bindings]├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml[… omitted: the controller's service account]├── ai-controller/│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml[… omitted: the other five AI Gateway resource definitions]├── assistant-deployment.yaml[… omitted: the files cert-manager's chart renders, each named certs-…]├── chat-service.yaml├── counters-default-service.yaml├── counters-deployment.yaml[… omitted: Envoy Gateway's cluster roles and their bindings]├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml[… omitted: the resource definitions Envoy Gateway's chart installs]├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]└── edge/ ├── gateway.yaml ├── gatewayclass.yaml └── models.yamlNgân sách không tạo ra tệp riêng nào. Những gì nó làm được ghi vào hai tệp của
gateway: dist/helm/edge/models.yaml, chứa tuyến AI và các tài nguyên dẫn tới
mô hình, và cấu hình của mặt phẳng điều khiển,
dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml.
Ngân sách, theo cách gateway đọc nó
Từ models.yaml, tuyến AI:
apiVersion: aigateway.envoyproxy.io/v1beta1kind: AIGatewayRoutemetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: parentRefs: - name: edge kind: Gateway group: gateway.networking.k8s.io llmRequestCosts: - metadataKey: llm_total_token type: TotalToken rules: - matches: - headers: - type: Exact name: x-ai-eg-model value: "assistant" backendRefs: - name: edge-assistant modelNameOverride: "gpt-4o-mini"và, từ cùng tệp đó, chính sách lưu lượng giới hạn tuyến này, được đặt tên theo tuyến mà nó nhắm tới:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: BackendTrafficPolicymetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: targetRefs: - group: gateway.networking.k8s.io kind: HTTPRoute name: edge-models rateLimit: global: rules: - limit: requests: 20000000 unit: Month shared: true cost: request: from: Number number: 0 response: from: Metadata metadata: namespace: io.envoy.ai_gateway key: llm_total_tokenĐây là khóa envoy-gateway.yaml trong cấu hình của control plane:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: EnvoyGatewayextensionApis: enableBackend: true enableEnvoyPatchPolicy: trueextensionManager: hooks: xdsTranslator: post: - Translation - Cluster - Route translation: cluster: includeAll: true listener: includeAll: true route: includeAll: true secret: includeAll: true service: fqdn: hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local port: 1063gateway: controllerName: gateway.envoyproxy.io/gatewayclass-controllerlogging: level: default: infoprovider: kubernetes: rateLimitDeployment: container: env: - name: REDIS_AUTH valueFrom: secretKeyRef: key: password name: counter-store-password - name: USE_CALENDAR_MONTH_RATE_LIMIT value: "true" image: docker.io/envoyproxy/ratelimit:8fe6ea42 patch: type: StrategicMerge value: spec: template: spec: containers: - imagePullPolicy: IfNotPresent name: envoy-ratelimit shutdownManager: image: docker.io/envoyproxy/gateway:v1.9.1 type: KubernetesrateLimit: backend: redis: url: counters-default.envoy-gateway-system.svc.cluster.local:6379 type: Redis failClosed: trueNhững điều cần rút ra từ chúng:
Chi phí nằm trên tuyến AI, giới hạn nằm trên tuyến mà nó trở thành. Envoy AI
Gateway đọc total_tokens mà mỗi phản hồi của mô hình báo cáo và ghi giá trị đó
vào metadata của yêu cầu dưới llm_total_token: đó là điều mà
llmRequestCosts khai báo. Controller biến tuyến AI thành một tuyến HTTP
cùng tên, edge-models, và chính sách lưu lượng nhắm tới tuyến đó, nên
ngân sách bao phủ lưu lượng mô hình và không bao phủ tuyến nào khác gắn vào gateway.
Một phản hồi bị tính phí khi nó hoàn tất. cost.request không tính gì khi một
yêu cầu đến; cost.response tính số token của phản hồi khi phản hồi đã
hoàn tất. Một yêu cầu bị từ chối khi số lượng đã tính đến lúc đó vượt quá limit.
Một bộ đếm cho toàn bộ gateway. shared: true giữ một bộ đếm chung cho
mọi quy tắc của tuyến — phạm vi gateway mà phần gắn kết đã yêu cầu. Với
scope: model, Recipe viết một quy tắc cho mỗi kết nối trên socket models,
mỗi quy tắc khớp với tên mô hình mà yêu cầu mang trong x-ai-eg-model, nên mỗi mô hình
được đếm riêng.
Chu kỳ là một đơn vị trên đồng hồ. 1mo được viết thành unit: Month, và
cấu hình yêu cầu dịch vụ giới hạn tốc độ của Envoy Gateway, thông qua
USE_CALENDAR_MONTH_RATE_LIMIT, đếm một Month từ ngày đầu tiên của một
tháng dương lịch đến ngày cuối cùng. Thiết lập đó thuộc về dịch vụ, nên nó áp dụng
cho mọi giới hạn tốc độ theo Month mà bản cài đặt Envoy Gateway này giữ, của ngân sách và mọi
giới hạn khác. Mọi cửa sổ bắt đầu tại một điểm cố định trên đồng hồ UTC thay vì với
yêu cầu đầu tiên: một ngày lúc 00:00 UTC, một tuần vào thứ Năm.
Bộ đếm nằm trong kho lưu trữ trên socket cache. Khối rateLimit
bật dịch vụ giới hạn tốc độ riêng của Envoy Gateway, mà control plane
tạo trong namespace của nó và bật cho mọi gateway nó phục vụ, và trỏ dịch vụ đó
tới Redis mà socket cache của gateway kết nối tới. Kho lưu trữ công bố host của nó
mà không có namespace, nên gateway bổ sung cho nó namespace mà Release đặt
kho lưu trữ vào.
Một lần kiểm tra không nhận được câu trả lời sẽ từ chối yêu cầu. failClosed: true khiến
Envoy từ chối một yêu cầu tới mô hình với HTTP 500 khi không thể kết nối tới kho lưu trữ hoặc dịch vụ
giới hạn tốc độ, hoặc khi một lần kiểm tra kéo dài hơn thời gian chờ giới hạn tốc độ của Envoy,
mặc định là 20 ms, thay vì phục vụ yêu cầu mà không đếm nó. Thiết lập đó
thuộc về control plane, nên nó áp dụng cho mọi giới hạn tốc độ mà bản cài đặt Envoy
Gateway này giữ, và một giới hạn tốc độ được áp dụng thủ công cho bản cài đặt cũng thất bại theo kiểu
đóng. Cấu hình chỉ mang thiết lập này khi ngân sách được gắn kết.
Không có mật khẩu nào trong đó. Dịch vụ đọc mật khẩu của kho lưu trữ dưới dạng
REDIS_AUTH, từ Secret mà thông tin xác thực của kết nối cache chỉ định,
counter-store-password, được dịch vụ phân giải trong namespace của chính nó, tức namespace của gateway.
Kho lưu trữ, counters-deployment.yaml, khởi động với --requirepass được đọc từ
cùng Secret đó.
Đường đi từ agent đến mô hình
Từ assistant-deployment.yaml, phần env của container của agent:
env: - name: OPENAI_BASE_URL value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1 - name: MODEL value: assistant - name: CREWAI_ALLOW_DELEGATION value: "false" - name: CREWAI_BACKSTORY value: a help-desk agent answering customers - name: CREWAI_GOAL value: answer questions about the product - name: CREWAI_LOG_LEVEL value: DEBUG - name: CREWAI_ROLE value: support assistantAgent đọc hai khóa mà gateway công bố, cũng chính là hai khóa mà một mô hình công bố, nên Recipe của nó đọc chúng như khi đọc khóa của một mô hình. Các biến CREWAI_ mang các giá trị riêng của agent, dưới những tên mà Component CrewAI gán cho chúng theo mặc định. Địa chỉ là Service mà Envoy Gateway tạo cho data plane của gateway, được đặt tên theo namespace của gateway, tên của nó và một mã băm của hai giá trị đó, và được định danh đầy đủ với envoy-gateway-system, nên nó phân giải được từ namespace của agent. Tên mô hình là bí danh assistant; route gửi một yêu cầu mang tên đó đến backend của mô hình, và yêu cầu gpt-4o-mini thay vào đó.
Backend kết nối đến OpenAI tại endpoint mà mô hình công bố:
models.yaml chứa một Backend của Envoy Gateway cho api.openai.com trên cổng 443, một chính sách TLS kiểm tra chứng chỉ của nó dựa trên các trust anchor của hệ thống, một AIServiceBackend cho OpenAI API dưới /v1, và chính sách bảo mật trình bày khóa, edge-assistant, có spec là:
spec: targetRefs: - group: aigateway.envoyproxy.io kind: AIServiceBackend name: edge-assistant type: APIKey apiKey: secretRef: name: "openai-api-key"Controller đọc khóa từ Secret đó, trong namespace của gateway, dưới khóa dữ liệu apiKey, và gửi nó đến OpenAI dưới dạng bearer token, nên không tệp được kết xuất nào chứa nó và agent không bao giờ nắm giữ nó. Gateway gọi controller tại địa chỉ mà controller công bố, được định danh đầy đủ với namespace mà Release đặt nó vào — khối extensionManager ở trên. Khi một mô hình được kết nối, gateway cũng nhận chính sách lưu lượng client của Envoy AI Gateway, edge-client-buffer-limit trong models.yaml, nâng bộ đệm cho phép của mỗi kết nối đến lên 50Mi; chính sách này nhắm vào gateway, nên nó áp dụng cho mọi route gắn với gateway đó.
Gateway làm gì khi chạy
Với mỗi yêu cầu tới mô hình, gateway hỏi dịch vụ giới hạn tốc độ xem số token đã tính trong tháng này có vượt quá limit hay không. Khi đã vượt, gateway trả lời các yêu cầu tới mô hình bằng HTTP 429 cho đến hết tháng. Token của một yêu cầu được cộng vào khi phản hồi của nó hoàn tất, nên yêu cầu làm vượt giới hạn vẫn được phục vụ, và mọi yêu cầu được trả lời song song với nó cũng vậy. Khi không thể kết nối tới kho lưu trữ hoặc dịch vụ giới hạn tốc độ, hoặc một lần kiểm tra kéo dài hơn thời gian chờ giới hạn tốc độ của Envoy, gateway từ chối các yêu cầu tới mô hình bằng HTTP 500, theo thiết lập failClosed ở trên, nên không yêu cầu nào tới mô hình được chấp nhận khi không thể kiểm tra số đếm của nó.
Những điều suy ra từ đó là hành vi của sản phẩm chứ không phải cấu hình:
- Một yêu cầu được chấp nhận ngay trước sự cố vẫn được phục vụ và không được tính. Token của nó được tính sau phản hồi, nên một phản hồi hoàn tất trong lúc không thể kết nối tới kho lưu trữ hoặc dịch vụ sẽ không cộng thêm gì vào số đếm.
- Một kho lưu trữ giữ số đếm trong bộ nhớ sẽ bắt đầu lại mọi cửa sổ khi nó
khởi động lại.
core/datastore/redismặc định giữ các mục của nó trong bộ nhớ, nên một kho lưu trữ khởi động lại sẽ mất số đếm đã giữ đến lúc đó, và phần còn lại của tháng được tính lại từ không. - Một phản hồi không báo cáo mức sử dụng sẽ không cộng thêm gì. Số đếm là những gì mỗi phản hồi báo cáo; Envoy AI Gateway cũng yêu cầu mô hình báo cáo mức sử dụng ở cuối một phản hồi dạng luồng.
Điều gì làm dừng quá trình build
Mỗi trường hợp dưới đây là một câu mà quá trình build in ra, nêu rõ điều cần thay đổi:
-
Chi phí tính bằng đô la Mỹ. Đặt
unit: usdtrong phần gắn kèm và bản build dừng lại trước khi bất cứ thứ gì được render:[… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost -
Ngân sách theo từng bên gọi,
scope: caller. Gateway chỉ phân biệt các bên gọi bằng một header do chính bên gọi ghi, và không có gì trên đường đi này xác minh bên gọi là ai, nên một bên gọi gửi giá trị mới sẽ bắt đầu một ngân sách mới và một bên gọi không gửi giá trị nào sẽ không được đếm. -
Bất kỳ khoảng thời gian nào mà gateway không có cửa sổ tương ứng. Nó giữ một đơn vị trọn vẹn của giới hạn tốc độ:
1s,1m,1h,1d,7d,30d,365dhoặc1mo, hoặc cùng độ dài đó được viết theo cách khác, như24h.2h,14dhoặc2molàm bản build dừng lại. -
Giới hạn không phải là một số nguyên token, hoặc lớn hơn 4294967295.
-
Phần gắn kèm
core/period-budgetthứ hai trên gateway, vốn ghi một ngân sách lên route phục vụ các mô hình của nó. -
Không có gì được nối vào socket
models, khiến không còn route mô hình nào để đếm, hoặc vào socketcache, khiến bộ đếm không có nơi nào để lưu. Nếu chỉ gỡ kết nối của mô hình, Component riêng của gateway sẽ dừng trước, vìvalues.modelchỉ tới một bí danh mà không có gì phục vụ. -
Kho lưu trữ trên socket
cachekhông dùng giao thức Redis — tức là kho công bố một giao thức khácredishoặcvalkey. -
Gateway được đặt bên ngoài
envoy-gateway-systemtrong khi controller được nối vào socketextensioncủa nó.
Trước khi áp dụng
Cây không chứa Namespace và Secret nào, vì vậy một cluster nhận
dist/helm/ cần có:
- Các namespace
cert-manager,envoy-ai-gateway-system,envoy-gateway-systemvàassistant. - Các Secret, trong
envoy-gateway-system:openai-api-key, chứa khóa của OpenAI dưới khóa dữ liệuapiKey, vàcounter-store-password, chứa mật khẩu của kho lưu trữ dướipassword. Một workload tham chiếu đến một Secret không tồn tại sẽ không khởi động. - Một server-side apply cho hai định nghĩa của AI Gateway,
aigateway.envoyproxy.io_backendsecuritypolicies.yamlvàaigateway.envoyproxy.io_mcproutes.yaml, vốn lớn hơn bản sao của đối tượng đã áp dụng mà một client-side apply ghi lại, nên một client-side apply từ chối chúng. - Một image cho agent. Release chỉ định
registry.example/crew-assistant:1.0.0; catalog đóng gói runtime của agent, còn crew mà nó chạy là mã của riêng bạn.
Nơi trình biên dịch không diễn giải
Trình biên dịch chuyển giới hạn, đơn vị và chi phí token vào các tài nguyên của gateway dưới dạng chuỗi, còn endpoint của mô hình, địa chỉ của kho lưu trữ và địa chỉ của controller thì lấy từ những gì mỗi thành phần công bố. Nó không kết nối tới OpenAI, không biết một phản hồi có báo cáo số token của nó hay không, và tự nó không đếm gì cả; nó không kiểm tra rằng các Secrets có tồn tại hay cert-manager có đang chạy. Mỗi điểm dừng ở trên đều do chính các thực thể của catalog khai báo, dưới dạng một assertion trong phần hiện thực hóa của ngân sách hoặc trong Component hay Recipe của gateway, và không điểm nào trong số đó dựa trên bất kỳ hiểu biết nào về lưu lượng.
Điều chỉnh ví dụ
- Một giới hạn cho mỗi mô hình. Nối thêm các mô hình vào socket
modelsvà đặtscope: model: mỗi mô hình có một quy tắc và một bộ đếm riêng. - Đếm một phía. Đặt
unit: prompt_tokensđể đếm những gì mô hình đọc, hoặccompletion_tokenscho những gì mô hình viết ra. - Gửi lại một yêu cầu thất bại. Gắn
core/retry-policyvào gateway vớimax_attemptsvà ánh xạ nó trong Manifest tớihelm/retry-policy-envoy-gateway: cùng một chính sách lưu lượng,edge-models, có thêm mộtretrybên cạnh giới hạn tốc độ, vì Envoy Gateway gắn một chính sách lưu lượng vào một route. - Một cửa sổ ngắn hơn hoặc có độ dài cố định. Đặt
periodtrong Release thành một trong các độ dài ở trên:1dlà một ngày tính từ 00:00 UTC, và30dlà 30 ngày đếm từ ngày 1 tháng 1 năm 1970 chứ không phải một tháng dương lịch. Với bất kỳ chu kỳ nào khác1mo, cấu hình để trống thiết lập tháng dương lịch. - Các route MCP. Controller mã hóa các định danh phiên MCP bằng một khóa
dẫn xuất từ seed trong Secret mà
infra.mcp_session_seed_secretchỉ định trênai-controller; khi không chỉ định Secret nào, như ở đây, seed là giá trị mặc định được công bố của chart, vì vậy hãy chỉ định một Secret trước khi phục vụ một route MCP qua nó.