Envoy Gateway di depan OpenAI, dengan anggaran token bulanan
Sebuah tim menempatkan gpt-4o-mini milik OpenAI di belakang gateway di dalam klaster, menginginkan batas atas
pada token yang dihabiskan gateway untuknya setiap bulan kalender, dan mengarahkan agennya
ke gateway alih-alih ke OpenAI. Workspace ini mengompilasi hal tersebut menjadi manifest
Kubernetes: Envoy Gateway yang melayani model melalui Envoy AI Gateway, dengan
core/period-budget terpasang, sebuah Redis yang menyimpan hitungan, dan sebuah agen CrewAI
yang mengirim permintaan modelnya melalui gateway.
Halaman ini juga menunjukkan apa yang tidak mau dihitung oleh gateway ini: anggaran dalam dolar AS menghentikan build, begitu pula anggaran per pemanggil.
Workspace ini tidak menulis entitas katalog sendiri. Tiga berkas entitas di sini — sebuah Aggregate, sebuah Manifest, dan sebuah Release — adalah seluruh hal yang ditulis siapa pun.
Apa yang dibangunnya
| instans | Component katalog | perannya di sini |
|---|---|---|
edge | core/gateway/envoy-gateway | gateway, yang melayani satu alias, assistant, dari model chat |
ai-controller | core/gateway/envoy-ai-gateway-operator | controller Envoy AI Gateway, yang dipanggil gateway sebagai server ekstensinya, dipasang bersama enam definisi sumber daya AI Gateway |
chat | core/ai-model/openai | gpt-4o-mini dari OpenAI, dijangkau sebagai referensi: tidak ada yang berjalan untuknya di dalam klaster |
counters | core/datastore/redis | penyimpanan tempat layanan rate-limit milik gateway menyimpan hitungan anggaran |
assistant | core/ai-agent/crewai | agen yang permintaan modelnya diarahkan ke gateway |
certs | core/security/cert-manager | cert-manager, yang menerbitkan sertifikat yang dilayani oleh webhook controller |
Edge uses milik gateway berangkat dari socket extension-nya, menuju controller; dari models, menuju model, dengan membawa sebagai credential-nya kunci
yang diserahkan gateway kepada OpenAI; dan dari cache, menuju penyimpanan, dengan membawa
kata sandi yang diserahkan layanan rate-limit kepadanya. Edge model milik agen mengarah
ke gateway, bukan ke model. Satu lampiran Feature pada gateway,
budget: Aggregate menuliskan apa yang dihitung, total_tokens, dan lalu lintas
siapa yang dicakup oleh satu batas, gateway — semua yang dilayani gateway — dan
Release menuliskan berapa banyak dan dalam rentang berapa lama: dua puluh juta token per bulan
kalender.
Manifest mengikat setiap kredensial ke k8s-existing-secret, yang mengarahkan sebuah
workload ke Secret yang sudah ada di namespace-nya dan tidak me-render satu pun, sehingga tidak ada kunci atau
kata sandi di dalam Aggregate, Release, maupun keluaran hasil render. Nama-nama
Secret tersebut adalah dua parameter yang dipenuhi Release, dan slot password
milik penyimpanan itu sendiri membaca parameter yang sama dengan koneksi cache milik gateway, sehingga penyimpanan
dan layanan yang menyerahkan kata sandi kepadanya menyebut satu Secret yang sama.
Release menyatakan tempat setiap workload berjalan: cert-manager di cert-manager,
controller di envoy-ai-gateway-system, agen di assistant, dan
gateway di envoy-gateway-system — controller mencari control plane gateway
di sana, dan build berhenti jika gateway ditempatkan di tempat lain —
dengan penyimpanan di sampingnya. Model tidak menjalankan apa pun: satu-satunya berkasnya, sebuah Service
yang memetakan nama di dalam klaster ke host OpenAI, tidak menyebut namespace, dan
gateway menjangkau OpenAI di endpoint yang dipublikasikan model, bukan melalui
Service tersebut.
cert-manager dideklarasikan, bukan diasumsikan
Webhook milik controller menyajikan sertifikat yang diterbitkan cert-manager: Recipe-nya
merender sebuah Certificate cert-manager dan Issuer swatanda tangan yang menandatanganinya,
yang hanya direkonsiliasi oleh cert-manager yang sedang berjalan. Compiler tidak dapat melihat ke
sebuah klaster untuk mengetahui apakah cert-manager berjalan di sana, sehingga workspace mendeklarasikan cert-manager
alih-alih mengasumsikannya: certs berada di Aggregate di samping controller,
dan build merender cert-manager bersama semua yang lain.
Sebuah klaster menjalankan satu cert-manager. Jika klaster Anda sudah menjalankannya, hapus certs
dari Aggregate dan Release sebelum melakukan build; build kemudian merender
berkas yang sama tanpa berkas milik cert-manager sendiri.
Membuat contoh
Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.
Tulis contoh ke folder baru yang dinamai sesuai contoh itu:
aggrega scaffold --example envoy-ai-gateway-token-budgetKemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:
cd envoy-ai-gateway-token-budgetBuild
aggrega build --release release.yaml --auto-pullSebuah release memerlukan lockfile sebelum di-build, dan lockfile dihasilkan alih-alih disertakan, sehingga clone baru tidak memilikinya. Resolusikan satu terlebih dahulu, atau biarkan build mengisinya:
aggrega pull --release release.yaml --pin-sources # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildResolusi mematok tiga chart yang dirender oleh Recipes — chart Envoy Gateway dan Envoy AI Gateway dari Docker Hub, chart cert-manager dari quay.io — sehingga resolusi memerlukan jaringan. Workspace ini meresolusi entitas katalog dari registry default yang disebut .aggrega-config.yaml.
Build dengan --auto-pull mencetak keluaran berikut, dengan <workspace> mewakili folder contoh ini:
Pull complete: release.lock (entities=26, source_artifacts=3, external_inputs=0)[… omitted: a notice that core/referenced-secret declares origin in both of its pillars, and the total build time, which differs per run]Build completed: 113 files written to <workspace>/distDengan asisten AI
Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.
Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `envoy-ai-gateway-token-budget`, panggil alat `scaffold` sekali dengan `example` diatur ke `envoy-ai-gateway-token-budget` dan tanpa `dir`: alat ini menulis contoh ke dalam folder `envoy-ai-gateway-token-budget` yang baru. Lalu panggil alat `build` dengan `workspace_root` diatur ke `envoy-ai-gateway-token-budget`, `release` diatur ke `release.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana yang ditulis oleh build; file tersebut berada di bawah `envoy-ai-gateway-token-budget/dist/`.Pohon hasil render
dist/helm/├── ai-controller-certificate-envoy-ai-gateway-system-self-signed-cert-for-mutating-webhook.yaml[… omitted: the controller's two cluster roles and their bindings]├── ai-controller-deployment-envoy-ai-gateway-system-ai-controller.yaml├── ai-controller-issuer-envoy-ai-gateway-system-self-signed-issuer-for-mutating-webhook.yaml├── ai-controller-mutatingwebhookconfiguration-envoy-ai-gateway-gateway-pod-mutator-envoy-ai-gateway-system.yaml├── ai-controller-service-envoy-ai-gateway-system-ai-controller.yaml[… omitted: the controller's service account]├── ai-controller/│ ├── aigateway.envoyproxy.io_aigatewayroutes.yaml[… omitted: the other five AI Gateway resource definitions]├── assistant-deployment.yaml[… omitted: the files cert-manager's chart renders, each named certs-…]├── chat-service.yaml├── counters-default-service.yaml├── counters-deployment.yaml[… omitted: Envoy Gateway's cluster roles and their bindings]├── edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml[… omitted: the resource definitions Envoy Gateway's chart installs]├── edge-deployment-envoy-gateway-system-envoy-gateway.yaml[… omitted: the rest of Envoy Gateway's chart — its certificate job, admission configurations, roles, bindings, Service and service accounts]└── edge/ ├── gateway.yaml ├── gatewayclass.yaml └── models.yamlAnggaran tidak membawa file sendiri. Apa yang dilakukannya ditulis ke dalam dua file milik gateway: dist/helm/edge/models.yaml, yang memuat rute AI dan sumber daya yang menjangkau model, serta konfigurasi control plane,
dist/helm/edge-configmap-envoy-gateway-system-envoy-gateway-config.yaml.
Anggaran, sebagaimana dibaca oleh gateway
Dari models.yaml, rute AI:
apiVersion: aigateway.envoyproxy.io/v1beta1kind: AIGatewayRoutemetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: parentRefs: - name: edge kind: Gateway group: gateway.networking.k8s.io llmRequestCosts: - metadataKey: llm_total_token type: TotalToken rules: - matches: - headers: - type: Exact name: x-ai-eg-model value: "assistant" backendRefs: - name: edge-assistant modelNameOverride: "gpt-4o-mini"dan, dari file yang sama, kebijakan lalu lintas yang membatasinya, yang dinamai seperti rute yang ditargetkannya:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: BackendTrafficPolicymetadata: [… omitted: the labels and annotations every rendered resource carries] name: edge-models namespace: "envoy-gateway-system"spec: targetRefs: - group: gateway.networking.k8s.io kind: HTTPRoute name: edge-models rateLimit: global: rules: - limit: requests: 20000000 unit: Month shared: true cost: request: from: Number number: 0 response: from: Metadata metadata: namespace: io.envoy.ai_gateway key: llm_total_tokenBerikut kunci envoy-gateway.yaml dari konfigurasi control plane:
apiVersion: gateway.envoyproxy.io/v1alpha1kind: EnvoyGatewayextensionApis: enableBackend: true enableEnvoyPatchPolicy: trueextensionManager: hooks: xdsTranslator: post: - Translation - Cluster - Route translation: cluster: includeAll: true listener: includeAll: true route: includeAll: true secret: includeAll: true service: fqdn: hostname: ai-controller.envoy-ai-gateway-system.svc.cluster.local port: 1063gateway: controllerName: gateway.envoyproxy.io/gatewayclass-controllerlogging: level: default: infoprovider: kubernetes: rateLimitDeployment: container: env: - name: REDIS_AUTH valueFrom: secretKeyRef: key: password name: counter-store-password - name: USE_CALENDAR_MONTH_RATE_LIMIT value: "true" image: docker.io/envoyproxy/ratelimit:8fe6ea42 patch: type: StrategicMerge value: spec: template: spec: containers: - imagePullPolicy: IfNotPresent name: envoy-ratelimit shutdownManager: image: docker.io/envoyproxy/gateway:v1.9.1 type: KubernetesrateLimit: backend: redis: url: counters-default.envoy-gateway-system.svc.cluster.local:6379 type: Redis failClosed: trueYang dapat dibaca darinya:
Biaya berada pada rute AI, batasnya pada rute yang dihasilkannya. Envoy AI
Gateway membaca total_tokens yang dilaporkan setiap balasan model dan menuliskannya
ke metadata permintaan di bawah llm_total_token: itulah yang
dideklarasikan llmRequestCosts. Controller mengubah rute AI menjadi rute HTTP
dengan nama yang sama, edge-models, dan kebijakan lalu lintas menargetkan rute tersebut, sehingga
anggaran mencakup lalu lintas model dan tidak ada rute lain yang terpasang pada gateway.
Balasan dibebankan saat selesai. cost.request tidak membebankan apa pun saat
permintaan tiba; cost.response membebankan token balasan setelah balasan
selesai. Permintaan ditolak setelah jumlah yang dibebankan sejauh ini melebihi limit.
Satu hitungan untuk seluruh gateway. shared: true mempertahankan satu hitungan di
semua aturan rute — cakupan gateway yang diminta oleh lampiran. Dengan
scope: model, Recipe menulis satu aturan per koneksi pada soket models,
masing-masing mencocokkan nama model yang dibawa permintaan dalam x-ai-eg-model, sehingga setiap model
dihitung terpisah.
Periode adalah satuan pada jam. 1mo ditulis sebagai unit: Month, dan
konfigurasi memberi tahu layanan rate-limit Envoy Gateway, melalui
USE_CALENDAR_MONTH_RATE_LIMIT, untuk menghitung satu Month dari hari pertama
bulan kalender hingga hari terakhirnya. Pengaturan itu milik layanan, sehingga berlaku
untuk setiap rate limit Month yang dikelola instalasi Envoy Gateway ini, baik milik anggaran maupun
yang lain. Setiap jendela dimulai pada titik tetap di jam UTC, bukan dengan
permintaan pertama: satu hari pada pukul 00:00 UTC, satu minggu pada hari Kamis.
Hitungan disimpan di penyimpanan pada soket cache. Blok rateLimit
mengaktifkan layanan rate-limit milik Envoy Gateway sendiri, yang dibuat control plane
di namespace-nya dan diaktifkan untuk setiap gateway yang dilayaninya, lalu mengarahkannya
ke Redis yang dijangkau soket cache gateway. Penyimpanan memublikasikan host-nya
tanpa namespace, sehingga gateway melengkapinya dengan namespace tempat Release menempatkan
penyimpanan tersebut.
Pemeriksaan yang tidak mendapat jawaban menolak permintaan. failClosed: true membuat
Envoy menolak permintaan model dengan HTTP 500 selama penyimpanan atau layanan rate-limit
tidak dapat dijangkau, atau pemeriksaan berlangsung lebih lama daripada batas waktu rate-limit
Envoy, 20 ms secara default, alih-alih melayaninya tanpa menghitungnya. Pengaturan itu
milik control plane, sehingga berlaku untuk setiap rate limit yang dikelola instalasi Envoy
Gateway ini, dan rate limit yang diterapkan ke instalasi secara manual juga gagal
secara tertutup. Konfigurasi hanya memuatnya selama anggaran terpasang.
Tidak ada kata sandi di dalamnya. Layanan membaca kata sandi penyimpanan sebagai
REDIS_AUTH, dari Secret yang dinamai oleh kredensial koneksi cache,
counter-store-password, yang di-resolve-nya di namespace-nya sendiri, yaitu namespace gateway.
Penyimpanan, counters-deployment.yaml, dimulai dengan --requirepass yang dibaca dari
Secret yang sama.
Jalur dari agen ke model
Dari assistant-deployment.yaml, env milik kontainer agen:
env: - name: OPENAI_BASE_URL value: http://envoy-envoy-gateway-system-edge-06431a46.envoy-gateway-system.svc.cluster.local:80/v1 - name: MODEL value: assistant - name: CREWAI_ALLOW_DELEGATION value: "false" - name: CREWAI_BACKSTORY value: a help-desk agent answering customers - name: CREWAI_GOAL value: answer questions about the product - name: CREWAI_LOG_LEVEL value: DEBUG - name: CREWAI_ROLE value: support assistantAgen membaca dua kunci yang diterbitkan gateway, yang sama dengan dua kunci yang diterbitkan sebuah model, sehingga Recipe-nya membacanya seperti membaca kunci sebuah model. Variabel CREWAI_ membawa nilai milik agen itu sendiri, dengan nama yang diberikan Component CrewAI kepadanya secara default. Alamatnya adalah Service yang dibuat Envoy Gateway untuk data plane gateway, yang dinamai dari namespace gateway, namanya, dan hash keduanya, serta dikualifikasi dengan envoy-gateway-system, sehingga alamat itu dapat di-resolve dari namespace agen. Nama modelnya adalah alias assistant; route mengirim permintaan yang menyebut nama itu ke backend model, dengan meminta gpt-4o-mini sebagai gantinya.
Backend menjangkau OpenAI pada endpoint yang diterbitkan model:
models.yaml memuat sebuah Backend Envoy Gateway untuk api.openai.com pada port
443, sebuah kebijakan TLS yang memeriksa sertifikatnya terhadap trust anchor sistem,
sebuah AIServiceBackend untuk API OpenAI di bawah /v1, dan kebijakan keamanan
yang menyajikan kunci, edge-assistant, yang spec-nya adalah:
spec: targetRefs: - group: aigateway.envoyproxy.io kind: AIServiceBackend name: edge-assistant type: APIKey apiKey: secretRef: name: "openai-api-key"Controller membaca kunci dari Secret tersebut, di namespace gateway,
di bawah kunci data apiKey, dan mengirimkannya ke OpenAI sebagai bearer token, sehingga tidak ada
berkas hasil render yang memuatnya dan agen tidak pernah memegangnya. Gateway memanggil
controller pada alamat yang diterbitkan controller, yang dikualifikasi dengan
namespace tempat Release menempatkannya — blok extensionManager di atas. Selama
sebuah model terhubung, gateway juga menerima kebijakan lalu lintas klien Envoy AI Gateway,
edge-client-buffer-limit di models.yaml, yang menaikkan buffer yang diizinkan untuk setiap
koneksi masuk menjadi 50Mi; kebijakan ini menargetkan gateway, sehingga berlaku untuk
setiap route yang terpasang padanya.
Apa yang dilakukan gateway saat run time
Pada setiap permintaan model, gateway menanyakan kepada layanan rate-limit apakah
token yang dibebankan sejauh ini pada bulan berjalan melebihi limit. Begitu melebihi, gateway menjawab permintaan
model dengan HTTP 429 hingga bulan berakhir. Token sebuah permintaan ditambahkan setelah
balasannya selesai, sehingga permintaan yang melewati batas tetap dilayani, demikian pula
setiap permintaan yang dijawab bersamaan dengannya. Selama store atau layanan rate-limit
tidak dapat dijangkau, atau sebuah pemeriksaan berlangsung lebih lama daripada batas waktu rate-limit Envoy, gateway
menolak permintaan model dengan HTTP 500, berdasarkan pengaturan failClosed di atas, sehingga
tidak ada permintaan model yang diterima selama hitungannya tidak dapat diperiksa.
Hal-hal yang timbul dari itu merupakan perilaku produk, bukan konfigurasi:
- Permintaan yang diterima tepat sebelum gangguan tetap dilayani dan tidak dihitung. Tokennya dibebankan setelah balasan, sehingga balasan yang selesai selama store atau layanan tidak dapat dijangkau tidak menambahkan apa pun ke hitungan.
- Store yang menyimpan hitungan di memori memulai setiap jendela dari awal saat
dimulai ulang.
core/datastore/redissecara bawaan menyimpan entrinya di memori, sehingga store yang dimulai ulang kehilangan hitungan yang tersimpan sejauh ini, dan sisa bulan tersebut dihitung dari nol. - Balasan yang tidak melaporkan penggunaan tidak menambahkan apa pun. Hitungan adalah apa yang dilaporkan setiap balasan; Envoy AI Gateway juga meminta model melaporkan penggunaannya di akhir balasan yang dialirkan (streamed).
Yang menghentikan build
Masing-masing berikut adalah kalimat yang dicetak oleh build, yang menyebutkan apa yang perlu diubah:
-
Biaya dalam dolar AS. Tetapkan
unit: usdpada lampiran, dan build berhenti sebelum apa pun dirender:[… omitted: what resolving the lockfile prints, the same halt among it, and a notice that core/referenced-secret declares origin in both of its pillars][CATALOG_ERROR E0033]Recipe/FeatureRecipe assertionscaused by: FeatureRecipe "period-budget-envoy-gateway" instance "edge" assertion "unit_is_a_token_count": [… omitted: the template position and the assertion's own source]: error calling fail: assertion failed: core/period-budget attachment "budget" on "edge" asks for unit usd, but core/gateway/envoy-gateway, which declares dataplane.aggrega.ai/period-budget: tokens, counts the tokens each model's reply reports and prices nothing, so it keeps no budget in US dollars; set unit to total_tokens, prompt_tokens or completion_tokens, or attach the Feature to a gateway that counts cost -
Anggaran per pemanggil,
scope: caller. Gateway membedakan pemanggil hanya melalui header yang ditulis oleh pemanggil itu sendiri, dan tidak ada apa pun di jalur ini yang memverifikasi siapa pemanggilnya, sehingga pemanggil yang mengirim nilai baru akan memulai anggaran baru dan pemanggil yang tidak mengirim nilai apa pun tidak akan dihitung. -
Periode apa pun yang tidak memiliki jendela di gateway. Gateway menyimpan satu unit utuh dari batas lajunya:
1s,1m,1h,1d,7d,30d,365d, atau1mo, atau panjang yang sama yang ditulis secara lain, seperti24h.2h,14d, atau2momenghentikan build. -
Batas yang bukan bilangan bulat token, atau yang melebihi 4294967295.
-
Lampiran
core/period-budgetkedua pada gateway, yang menulis satu anggaran ke rute yang melayani modelnya. -
Tidak ada yang tersambung ke soket
models, sehingga tidak ada rute model untuk dihitung, atau ke soketcache, sehingga hitungan tidak memiliki tempat untuk disimpan. Jika hanya koneksi model yang dihapus, Component milik gateway itu sendiri berhenti lebih dulu, karenavalues.modelmenyebut alias yang tidak dilayani oleh apa pun. -
Penyimpanan pada soket
cacheyang tidak menggunakan protokol Redis — yaitu yang memublikasikan protokol selainredisatauvalkey. -
Gateway yang ditempatkan di luar
envoy-gateway-systemsementara controller tersambung ke soketextension-nya.
Sebelum menerapkannya
Pohon ini tidak memuat Namespace maupun Secret, sehingga klaster yang menerima
dist/helm/ memerlukan:
- Namespace
cert-manager,envoy-ai-gateway-system,envoy-gateway-system, danassistant. - Secret, di
envoy-gateway-system:openai-api-key, yang menyimpan kunci OpenAI di bawah kunci dataapiKey, dancounter-store-password, yang menyimpan kata sandi penyimpanan di bawahpassword. Workload yang merujuk Secret yang tidak ada tidak akan berjalan. - Server-side apply untuk dua definisi AI Gateway,
aigateway.envoyproxy.io_backendsecuritypolicies.yamldanaigateway.envoyproxy.io_mcproutes.yaml, yang lebih besar daripada salinan objek terterap yang dicatat oleh client-side apply, sehingga client-side apply menolak keduanya. - Image untuk agen. Release ini menyebut
registry.example/crew-assistant:1.0.0; katalog mengemas runtime agen, dan crew yang dijalankannya adalah kode Anda sendiri.
Bagian yang tidak ditafsirkan oleh kompiler
Compiler menyalurkan batas, unit, dan biaya token ke dalam sumber daya gateway sebagai string, serta endpoint model, alamat penyimpanan, dan alamat controller dari apa yang dipublikasikan masing-masing. Compiler tidak menghubungi OpenAI, tidak mengetahui apakah sebuah balasan melaporkan tokennya, dan tidak menghitung apa pun sendiri; compiler tidak memeriksa apakah Secrets tersebut ada atau apakah cert-manager berjalan. Setiap penghentian di atas dideklarasikan oleh entitas milik katalog itu sendiri, sebagai asersi dalam realisasi anggaran atau dalam Component atau Recipe milik gateway, dan tidak satu pun bergantung pada pemahaman apa pun tentang lalu lintas.
Menyesuaikannya
- Batas per model. Hubungkan lebih banyak model ke soket
modelsdan aturscope: model: masing-masing mendapat aturan dan hitungannya sendiri. - Hitung satu sisi. Atur
unit: prompt_tokensuntuk menghitung apa yang dibaca model, ataucompletion_tokensuntuk apa yang ditulisnya. - Kirim ulang permintaan yang gagal. Lampirkan
core/retry-policyke gateway denganmax_attemptsdan petakan di Manifest kehelm/retry-policy-envoy-gateway: kebijakan lalu lintas yang sama,edge-models, mendapatretrydi samping batas laju, karena Envoy Gateway melampirkan satu kebijakan lalu lintas ke satu rute. - Jendela yang lebih pendek atau berpanjang tetap. Atur
perioddi Release ke salah satu panjang di atas:1dadalah satu hari sejak pukul 00.00 UTC, dan30dadalah 30 hari yang dihitung sejak 1 Januari 1970, bukan satu bulan kalender. Dengan periode apa pun selain1mo, konfigurasi membiarkan pengaturan bulan kalender tidak diatur. - Rute MCP. Controller mengenkripsi pengidentifikasi sesi MCP dengan kunci
yang diturunkan dari seed di dalam Secret yang dinamai oleh
infra.mcp_session_seed_secretpadaai-controller; jika tidak ada yang dinamai, seperti di sini, seed tersebut adalah nilai default yang dipublikasikan chart-nya, jadi namai satu sebelum menyajikan rute MCP melaluinya.