Features AI
Set Feature AI Aggrega
Untuk mendukung tuntutan khas, volatilitas, dan ancaman keamanan sistem AI modern, Aggrega menanamkan kecerdasan khusus langsung ke dalam pustaka standar AI (Katalog) sumber terbukanya. Hal ini memastikan bahwa perancah cloud-native generik maupun mesin penalaran AI-native yang sangat khusus dapat hidup berdampingan dengan aman.
Kompiler Go inti adalah router universal yang netral terhadap konten; seluruh kecerdasan khusus AI berada dalam kebijakan WebAssembly (Wasm) yang dapat dipasang dan dalam deklarasi JSON Schema 2020-12 yang ditulis oleh arsitek platform pada entitas Katalog.
1. Ontologi cloud operasional dan duck typing AI
Untuk menjembatani Open Application Model (OAM) yang generik dengan realitas ketat infrastruktur modern, label component.aggrega.ai/type dipetakan secara eksklusif ke himpunan tertutup primitif cloud-native universal. Identitas semantik inilah yang dibaca oleh selektor soket, appliesTo milik Feature, dan kebijakan tata kelola untuk mengetahui bagaimana sebuah komponen memperlakukan state, ingress jaringan, dan siklus hidup; kompiler mencocokkannya sebagai string buram dan tidak bercabang berdasarkan nilainya, dan cara sebuah komponen di-render ditentukan oleh Recipe yang dipetakan Manifest untuknya.
Tipe cloud-native (basis infrastruktur):
server: komputasi stateless yang berjalan lama dan mengharapkan lalu lintas aplikasi masuk (mis., AI Gateway atau Chat UI).worker: komputasi stateless yang berjalan lama dan menarik dari antrean atau menjalankan loop latar belakang tanpa port aplikasi masuk sama sekali (mis., agen LangGraph atau worker Celery).task: komputasi sementara yang berjalan hingga selesai lalu berhenti (mis., skrip migrasi DB).function: komputasi berbasis peristiwa yang menskalakan hingga nol (mis., AWS Lambda).stateful-server: komputasi di dalam cluster yang memerlukan identitas jaringan yang stabil dan disk permanen (mis., basis data vektor Qdrant, broker Kafka).resource: infrastruktur eksternal yang dikelola platform (mis., AWS RDS PostgreSQL, bucket S3, bus peristiwa yang di-host).
Himpunan ini milik Aggrega sendiri dan bersifat tertutup. Skema Component yang dipublikasikan mengenumerasi nilai-nilai ini, dan dokumen yang membawa nilai lain apa pun ditolak saat dimuat — E0215 menyebut labelnya dan mencantumkan nilai yang diterimanya. Itulah yang diberikan sumbu ini: sebuah Feature atau selektor socket yang ditulis terhadap stateful-server berarti hal yang sama di setiap katalog yang ditemuinya.
Apa sebuah komponen itu dalam kosakata Anda sendiri ditempatkan pada kunci Anda sendiri. Sebuah tingkat, zona data, kelas layanan, pembagian primitif yang lebih halus — masing-masing adalah kunci label yang Anda tulis di samping kunci yang dicadangkan, karena skema Component menerima kunci label tambahan apa pun dengan nilai string dan setiap permukaan selektor membacanya secara identik. Itu adalah mekanisme yang sama yang sudah digunakan label duck typing AI di bawah; kunci yang dicadangkan adalah fondasi bersama, dan segala sesuatu di atasnya adalah milik Anda.
Tipe operasional bukanlah kategori penjelajahan, dan keduanya sengaja dijadikan sumbu terpisah. Broker Kafka berada di kategori messaging — tempat pengguna mencarinya — dan membawa stateful-server sebagai tipe-nya, karena itulah yang harus dilakukan infrastruktur untuknya. Selektor yang ditulis terhadap satu sumbu tidak pernah cocok pada sumbu yang lain.
Lihat entities/component untuk tabel Taksonomi Label Semantik — label Generic Cloud Layer, Specialized AI Layer, Cross-Cutters, dan Dynamic Business Context yang digunakan arsitek untuk melapisi identitas kognitif di atas tipe dasar.
1.1 Standar katalog sumber terbuka: “Basis polos, tepi terspesialisasi”
Saat menerapkan label-label ini, ada perbedaan penting antara Katalog sumber terbuka resmi Aggrega (core/*) dan Katalog perusahaan privat (acme/*).
Agar katalog sumber terbuka resmi tetap dapat digunakan secara universal, katalog tersebut harus secara ketat membedakan antara fisika teknis yang tidak dapat diubah dan niat kognitif yang subjektif. Jika core/datastore/postgres serbaguna di-hardcode dengan engine: relational, plugin putusan tata kelola yang dikonfigurasi untuk menegakkan kecocokan tipe datastore akan menghentikan build ketika pengembang mengaktifkan ekstensi pgvector di values mereka dan mencoba menghubungkan agen AI yang memerlukan datastore vector.
Untuk mempertahankan katalog inti tanpa opini sendiri, komponen resmi mengikuti standar ini: Biarkan basisnya polos, dan spesialisasikan tepinya.
- Basis polos:
Componentsumber terbuka tingkat akar hanya meng-hardcode apa yang secara objektif benar tentang produk dan tidak dapat diubah oleh apa pun yang dikonfigurasi penulis — pertama dan selalu, primitif operasional (component.aggrega.ai/type). Basis data Postgres secara objektif adalahstateful-server; fakta itu tidak dapat berubah. Uji yang sama mengizinkan label kapabilitas ketika identitas produk adalah kapabilitas tersebut:core/datastore/qdrantdancore/datastore/weaviateadalah mesin pencarian vektor dan tidak ada yang ditulis penulis yang menjadikannya sesuatu yang lain, sehingga masing-masing membawadatastore.aggrega.ai/engine: vectorpada basis, persis seperticore/datastore/redismembawakv. Yang ditolak basis polos adalah kasus sebaliknya — sifat yang bergantung pada bagaimana komponen dikonfigurasi atau digunakan, yang menjadi alasan adanya mekanisme ketiga di bawah. - Antarmuka terspesialisasi (pewarisan skema): Sebuah Component dapat mendeklarasikan
extends, dengan menyebut Component lain sebagai basisnya, dan yang disusunnya adalah struktur: label, anotasi, slot lampiran, daftar izin injeksi mandiri, socket topologi, danassertionsbernama. Tiga pilar data tidak disusun — Component yang memperluas menulis penanda literalschema: inheriteddan tidak menulis kontenvalues,infra, atauprovidesmiliknya sendiri, sehingga kontraknya identik dengan kontrak basisnya. Itulah sebabnya mekanisme ini mempersempit alih-alih memvariasikan: karena kontraknya tidak berubah, setiap Recipe yang ditulis untuk basis sudah melayani spesialisasi, dan spesialisasi hanya membutuhkan satu entitas katalog dan satu baris pemetaan Manifest. Karena itu, yang ditambahkan spesialisasi adalah identitas yang dibaca oleh selektor atau kebijakan — tingkat audit, zona data, kontak tata kelola, atau socket yang selektornya menerima lebih sedikit daripada milik basis. Spesialisasi tidak dapat menambahkan kontrak yang berbeda, karena tidak memiliki permukaan untuk menuliskannya. Satu konsekuensi mudah terlewat: baris pemetaan tetap diperlukan. Pemilihan Recipe dilakukan berdasarkan kunci pemetaan yang persis, sehingga spesialisasi memerlukan entrimappings.components.type-nya sendiri meskipun tidak memerlukan Recipe sendiri. Lihat examples/extends-wrapper untuk wrapper terpublikasi yang menambahkan label tingkat yang sudah ditinjau dan mempersempit sebuah socket berdasarkan label itu, beserta build yang berhenti ketika sebuah edge yang terhubung ke socket tersebut keluar dari tingkat itu. Sifat yang bergantung pada bagaimana komponen dikonfigurasi bukanlah subjek mekanisme ini: spesialisasi menyematkan artefak basisnya dan mewarisi kontraknya, sehingga sifat yang benar untuk spesialisasi sudah benar untuk basis, tempat aturan Basis polos meletakkannya. Sifat seperti itu termasuk dalam Mutator dinamis di bawah. - Mutator dinamis (promosi Wasm): Jika sebuah sifat ditentukan oleh payload pengembang (mis.,
enable_vector: true), perusahaan menggunakan peranlabel-transformdari socket tata kelola saat konstruksi topologi untuk secara dinamis membacavaluesyang buram dan secara otomatis menginjeksikan labeldatastore.aggrega.ai/engine: vectorke dalam Graf IR sebelum kebijakan dijalankan. Di sinilah sifat yang bergantung pada konfigurasi menjadi tersedia untuk evaluasi kebijakan yang ketat —valuesyang dideklarasikan pengembanglah yang mempromosikannya, dan transformasi berjalan sebelum kebijakan mana pun membaca label.
Pengecualian perusahaan: Karena kompiler tanpa opini sendiri, perusahaan yang menulis katalog internalnya sendiri bebas melanggar aturan ini. Jika kebijakan keamanan perusahaan menetapkan bahwa semua basis data internal sangat sensitif, arsitek platform dapat dan sebaiknya meng-hardcode compliance.aggrega.ai/data-class: restricted (atau label serupa yang ditetapkan perusahaan) langsung pada komponen basis acme/postgres mereka, sehingga setiap instansnya membawa kelas tersebut dan kebijakan yang dilampirkan perusahaan membacanya pada setiap instans. Label itu sendiri tidak menegakkan apa pun: kompiler membawanya sebagai string, dan kebijakan yang dilampirkanlah yang menghentikan build. Jika hanya sebagian penggunaan sebuah produk dalam suatu lingkungan TI yang menyimpan data tersebut, spesialisasi melalui extends yang membawa kelas tersebut — lihat examples/policy-data-class-route, yang asisten klaimnya adalah agen LangGraph pustaka standar ditambah satu label kelas, di samping kebijakan yang membacanya.
1.2 Bagaimana label semantik menggerakkan pipeline kompiler
Untuk menjaga label tetap berada di domain arsitek platform, pengembang tidak dapat menulis label pada instans Component mereka di dalam Aggregate: skema Aggregate tidak memberi instans komponen kunci labels. Label sebuah node adalah label milik entitas katalognya, bersama label apa pun yang ditambahkan oleh lampiran tata kelola label-transform yang dikonfigurasi operator selama konstruksi topologi. Berikut cara persis label-label ini menggerakkan pipeline kompilasi tanpa memerlukan kode Go kustom:
1. component.aggrega.ai/type (primitif dasar)
- Siapa yang menulisnya? Arsitek platform (Domain 2). Label ini wajib untuk setiap komponen dalam katalog.
- Siapa yang mengonsumsinya? Penganalisis statis dan Plugins rendering Wasm.
- Kasus penggunaan kompiler: Ini adalah ontologi cloud operasional inti. Penganalisis statis mengevaluasi string selektor
usesSchemasecara native di Go untuk menjamin bahwa pengembang tidak dapat melampirkan agen ke basis data standar jika socket memerlukan kapabilitas AI tertentu. Selain itu, DevOps menggunakan label ini untuk secara eksplisit merutekan primitif stateful (stateful-server,resource) ke batas cluster fisik yang mendukung disk persisten, sementara peran putusan tata kelola dapat menegakkan bahwa komponen stateful tidak pernah ditempatkan dalam batas yang hanya sementara.
2. model.aggrega.ai/capability
- Siapa yang menulisnya? Arsitek platform.
- Siapa yang mengonsumsinya? Penganalisis statis (melalui label selector bergaya Kubernetes pada soket
usesSchema). - Kasus penggunaan kompiler: Ketika arsitek menulis selektor
usesSchemayang menyebut label kapabilitas yang diperlukan, mesin pencocokan label native milik kompiler menolak pengkabelan yang tidak memenuhi selektor sebelum artefak dibuat. Kompiler memperlakukan label-label ini sebagai string buram; makna semantik “text-generation” dibandingkan “embedding” terletak pada cara arsitek menulis selektornya.
3. component.aggrega.ai/hosting
- Siapa yang menulisnya? Arsitek platform.
- Siapa yang mengonsumsinya? Mesin kebijakan (peran putusan tata kelola), Plugins rendering Wasm, dan pemanggil model atau agen milik pustaka standar sendiri: agen-agennya, yang asersinya membacanya pada setiap koneksi
model,core/ai-tool/agent-invocation, yang asersinya membacanya pada koneksitarget_agent-nya, sebagaimana realisasi Kubernetes-nya, yang menolak memberikan kredensial kepada agenexternalyang dijangkau melaluihttp, gateway AI, yang asersinya membacanya pada setiap koneksi ke socketmodelsdancache_store-nya, sertacore/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgateway, dancore/gateway/higress, yang asersinya membacanya pada setiap koneksi ke socketmodelsmereka, dan kebackendkedua Kong, socketcache_storeAPISIX dan Traefik Hub, serta socketcacheEnvoy Gateway, Higress, dan Traefik Hub — lihat “Kunci yang diberikan pemanggil” di bawah. - Kasus penggunaan kompiler: Label ini mencatat siapa yang mengoperasikan sumber daya dasar komponen, sehingga kebijakan yang dilampirkan operator dapat menilai risiko Eksfiltrasi Data; kompiler membaca nilainya sebagai string dan tidak menilai apa pun. Ketika agen yang label kelasnya menyatakan bahwa ia menyimpan data
internalterhubung ke Model berlabelmanaged— layanan yang dioperasikan di luar batas Release itu sendiri — kebijakan semacam itu dapat membaca bahwa data meninggalkan batas tersebut, dan menghentikan build kecuali koneksi dirutekan melalui gateway AI yang membawacore/data-masking, yang menyamarkan teks chat dan completion yang diteruskan gateway. Socketmodelmilik agen menerima gateway semacam itu sebagai pengganti model, sehingga rute itu adalah edge dari graf yang dibaca kebijakan, dan model yang dilayani gateway dari socketmodels-nya adalah edge tersendiri, dari gateway ke komponen model, yang labelnya dibaca kebijakan — sehingga jalur dari agen melalui gateway ke modelmanagedada di graf dari ujung ke ujung. Upstream yang diketik secara manual ke dalam map model gateway tidak demikian: itu adalah string yang tidak di-resolve oleh kompiler, sehingga kebijakan yang membaca graf melihat gateway dan tidak ada apa pun di belakangnya. examples/policy-data-class-route adalah kebijakan semacam itu: pengaturannya mengklasifikasikan modelmanagedsebagaipublic, dan kebijakan itu menghentikan build tempat asisten yang menyimpan datarestrictedmenjangkau model tersebut tanpa gateway penyamaran pada rutenya. Ini adalah sifat lintas sektor: nilaiself-hosted | managed | externalyang sama menggambarkan basis data terkelola atau server inferensi yang dijalankan sendiri sebagaimana menggambarkan model, sehingga label ini berada di bawah namespace bersamacomponent.aggrega.ai/alih-alih namespace khusus model.
4. agent.aggrega.ai/autonomy
- Siapa yang menulisnya? Arsitek platform.
- Siapa yang mengonsumsinya? Mesin kebijakan (peran putusan tata kelola).
- Kasus penggunaan kompiler: Label ini mengidentifikasi risiko eksekusi dari loop kognitif. Jika agen diberi label
autonomous(artinya ia menjalankan loop latar belakang tanpa prompt pengguna) dan terhubung ke basis data yang sangat sensitif, mesin kebijakan dapat menghentikan build kecuali penulis melampirkan Feature persetujuan atau penahanan apa pun yang diwajibkan aturan perusahaan itu sendiri, sehingga loop tanpa pengawasan tidak dapat menjangkau data tersebut tanpa ditinjau. - Arti komponen tanpa label pada sumbu ini, karena ketiadaannya disengaja. Label ini menggambarkan risiko eksekusi loop kognitif, sehingga komponen yang tidak memiliki loop sendiri tidak membawa nilai apa pun di sini, alih-alih nilai yang lebih rendah dari keduanya. Cukup banyak komponen dalam kategori agen tidak berlabel justru karena alasan itu: bagian pendukung yang dikirimkan platform agen bersama server-nya — konsol browser, eksekusi migrasi skema, task worker, sandbox kode, proxy egress — berada dalam kategori itu karena di sanalah Anda mencarinya, sementara loop yang didukungnya hidup di server platform, tempat label tersebut berada. Kasus yang paling jelas adalah satu produk yang terbagi di antara kedua perlakuan: server platform membawa
copilot, dan sandbox kode yang dikirimkan di sampingnya tidak membawa apa pun. Ujinya adalah di mana loop itu hidup, bukan bentuk yang diambil bagian tersebut, sehingga runtime yang meng-host kode agen yang Anda sediakan juga tidak berlabel — loop di sana adalah apa pun yang Anda deploy ke dalamnya, bukan sesuatu yang dinyatakan produk. Karena itu, selektor yang menyebut salah satu nilai cocok dengan komponen yang memiliki loop dan tidak dengan komponen lain, dan selektor yang ditulis untuk mencocokkan postur otonomi apa pun melewati bagian pendukung alih-alih memperlakukannya sebagai hal yang paling tidak otonom dalam deployment.
5. gateway.aggrega.ai/intelligence
- Siapa yang menulisnya? Arsitek platform.
- Siapa yang mengonsumsinya? Penganalisis statis, dan plugin Wasm linter yang ditulis perusahaan.
- Kasus penggunaan kompiler: Label ini menentukan fitur apa yang secara fisik dapat didukung router. Feature AI
fallback-chainmendeklarasikanappliesTo: gateway.aggrega.ai/intelligence=semantic, dan penganalisis statis mengevaluasi selektor tersebut terhadap label komponen target sebelum artefak apa pun di-render. Jika pengembang melampirkannya ke gatewayl4-meshstandar, build berhenti dengan pelanggaran selektor yang menyebut Feature dan selektor yang gagal dipenuhinya, karena arsitek menulis selektor itu dengan mengetahui bahwa mesh TCP standar tidak dapat mengurai payload JSON LLM untuk membaca model yang disebut sebuah permintaan. Penolakan ini didasarkan pada ketiadaansemantic, bukan pada keberadaanl4-mesh, sehingga berlaku sama pada router yang sama sekali tidak membawa label intelligence. Kompiler memperlakukan label sebagai string buram, persis seperti di atas: maknasemanticterletak pada cara arsitek menulis selektornya. Pada router yang memang membawasemantic, lampiran lolos dari selektor, dan apa yang terjadi selanjutnya ditentukan oleh realisasinya: realisasi pustaka standar menuliskan rantai tersebut ke dalam konfigurasi perutean gateway AI. - Apa yang dibawa pustaka standar. Komponen-komponen ini membawa
semantic:core/gateway/litellm, yang realisasinya me-render tabel perutean proxy: map model atas beberapa penyedia upstream;core/gateway/cloudflare-ai-gateway, gateway ter-host milik Cloudflare, yang membaca setiap permintaan model yang diteruskannya — model yang disebutnya, token yang ditagihkan untuknya, dan, jika pemeriksaan gateway itu sendiri aktif, kontennya;core/gateway/azure-api-management, gateway AI dari Azure API Management, layanan ter-host, yang membaca setiap permintaan model pada API yang melayani model — prompt yang dibandingkan cache semantiknya, token yang dilaporkan balasan, dan konten yang dikirim pemeriksaan keamanannya untuk diinspeksi;core/gateway/apisix, yang proxy AI-nya membaca body setiap permintaan pada rute yang melayani model dan token yang dilaporkan balasan model;core/gateway/envoy-gateway, yang ekstensi Envoy AI Gateway-nya membaca body setiap permintaan pada rute yang melayani model yang terhubung kepadanya, untuk menemukan model yang disebutnya, serta token yang dilaporkan setiap balasan;core/gateway/kong-enterprise, Kong Gateway Enterprise, yang proxy AI-nya membaca body setiap permintaan pada rute yang melayani model terhubung — model yang disebutnya dan pesan yang dibawanya — serta token yang dilaporkan setiap balasan;core/gateway/traefik-hub, Traefik Hub, yang middleware Chat Completion-nya membaca body setiap permintaan pada rute yang melayani model terhubung, memeriksanya terhadap skema chat completion, dan membaca token yang dilaporkan setiap balasan;core/gateway/agentgateway, agentgateway, yang membaca body setiap permintaan pada jalur penyajian modelnya untuk menemukan model yang disebutnya, yang merupakan cara ia memilih model terhubung tujuan pengiriman permintaan, serta token yang dilaporkan setiap balasan; dancore/gateway/higress, Higress, yang proxy AI-nya membaca body setiap permintaan pada rute yang melayani model terhubung — model yang disebutnya dan apakah permintaan tersebut melakukan streaming — dan yang plugin-nya membaca token yang dilaporkan setiap balasan — sehingga Features AI yang memerlukan nilai ini di-resolve terhadap salah satu dari mereka, dan setiap realisasi menyatakan apa yang dipatuhi gateway-nya, atau menghentikan build jika gateway-nya tidak mematuhi apa pun darinya; Feature tanpa realisasi untuk suatu gateway menghentikan build di sana, dengan menyebut tipenya. Tidak ada komponen yang membawal4-mesh, dan komponen gateway lain dalam pustaka standar sama sekali tidak membawa label intelligence: komponen yang merutekan lalu lintas mengakhiri HTTP dan merutekan pada lapisan 7, dan salah satunya adalah control plane yang sama sekali tidak merutekan apa pun, sehingga tidak satu pun dari kedua nilai menggambarkannya. Mesh TCP lapisan 4 adalah kelas produk yang lain lagi. Hal itu membuat penolakan di atas tetap berlaku sepenuhnya, karena penolakan tersebut didasarkan pada ketiadaansemantic: lampiran yang memerlukan nilai itu berhenti pada salah satu dari mereka. Arsitek yang katalognya memang menjalankan mesh lapisan 4 memasangl4-meshpada komponen tersebut, sehingga perbedaan itu dapat dipilih ke dua arah. - Sumbu ini menamai tingkatan produk, yang merupakan pertanyaan berbeda dari apa yang dapat dilakukan sebuah komponen terhadap lalu lintas, dan membacanya dalam arti yang kedua adalah kesalahan yang mudah terjadi.
semanticmenyatakan bahwa router mengurai badan permintaan, yang dibutuhkan oleh kontrol yang bertindak atas model yang disebut dalam permintaan — jadi sumbu ini tepat untuk hal itu. Sumbu ini tidak menyatakan apa pun tentang apakah sebuah router dapat menyalin lalu lintas, membawa identitas pemanggil, memeriksa sertifikat upstream, menolak prompt yang cocok dengan daftar pola, atau menjaga anggaran selama suatu periode, dan Feature yang membutuhkan salah satu dari kemampuan itu tidak punya alasan untuk menanyakan tingkatan: sebagian besar komponen yang menawarkannya adalah proxy lapisan 7 biasa yang sama sekali tidak membawa nilai intelligence, dan ketika routersemanticmenawarkan salah satunya, router itu menawarkannya karena alasan yang tidak dicatat oleh tingkatan. Jadi tingkatan menjangkau himpunan yang salah ke dua arah — tingkatan sepenuhnya mengecualikan proxy biasa dan tidak menyatakan apa pun tentang kemampuan yang sebenarnya dimiliki oleh gateway AI yang dijangkaunya. Pertanyaan itu menjadi milik sumbu jalur data di bawah, dan keduanya dapat digabungkan — sebuah Feature dapat mensyaratkan routersemanticyang juga melakukan mirroring, dengan menyebut keduanya.
6. tool.aggrega.ai/impact
- Siapa yang menulisnya? Arsitek platform.
- Siapa yang mengonsumsinya? Mesin kebijakan dan Plugins Wasm untuk rendering.
- Kasus penggunaan kompiler: Dengan memindahkan informasi ini dari blok
valuesmilik pengembang yang dapat diubah ke identitas label yang tidak dapat diubah, mesin kebijakan dapat mengevaluasi konfigurasi least-privilege yang ketat. Sebuah plugin rendering dapat menghasilkan izininvokestandar untuk alat pencarian webread-only, tetapi menuntut konfigurasi tanda tangan kriptografis yang ketat untuk memanggil alat SQL dropmutating.
7. compliance.aggrega.ai/data-class
- Siapa yang menulisnya? Arsitek platform dari katalog milik suatu lingkungan TI organisasi (atau disisipkan secara dinamis melalui peran tata kelola
label-transform). - Siapa yang mengonsumsinya? Mesin kebijakan (peran putusan tata kelola).
- Kasus penggunaan kompiler: Label ini memberi data yang disimpan sebuah komponen identitas tata kelola yang dapat diikuti oleh kebijakan di sepanjang graf. Kompiler membawa label ke graf IR sebagai string dan tidak memeringkat apa pun: kompiler tidak tahu bahwa
restrictedlebih sensitif daripadapublic, atau bahwa salah satu kata itu bermakna apa pun. Kebijakan yang dilampirkan pada peranir-verdictmenyediakan makna itu dalam pengaturannya sendiri — kelas apa saja yang ada dan bagaimana peringkatnya — dan membaca label pada komponen-komponen rute yang dienumerasi kompiler melalui sisiuses, sehingga kebijakan itu dapat menghentikan build ketika komponen yang menyimpan datarestrictedmenjangkau komponen kelas lain melalui rute yang tidak dilampiri Feature apa pun yang dianggap kebijakan sebagai penurun klasifikasi, seperticore/data-maskingpada gateway AI yang dilalui rute tersebut. Enumerasi dibatasi per komponen awal dan tidak mencantumkan apa pun di luar batas itu, sehingga rute yang dibaca kebijakan itu nyata, sedangkan ketiadaan sebuah rute bukan bukti bahwa tidak ada rute. examples/policy-data-class-route adalah kebijakan tersebut, ditulis untuk mesin Rego dan CEL yang dikompilasi ke dalam CLI dan untuk OPA, dengan build yang terhenti dan build yang selesai ditampilkan berdampingan. - Apa yang dibawa pustaka standar. Tidak ada Component
core/yang membawa label ini. Kelas data sebuah komponen adalah pernyataan tentang cara suatu organisasi menggunakan komponen tersebut, bukan properti produk yang berlaku di setiap Release, sehingga berdasarkan aturan Naked Base label ini tidak ditempatkan pada basis: organisasi membawanya pada Component miliknya sendiri — sebuah spesialisasi melaluiextends, seperti asisten klaim dalam contoh lengkap, atau basis miliknya sendiri di bawah Enterprise Exception yang dijelaskan di atas.
8. hardware.aggrega.ai/accelerator
- Siapa yang menulisnya? Arsitek platform. Saat mengemas komponen model lokal, mereka tahu bahwa komponen itu pada dasarnya membutuhkan GPU untuk berfungsi.
- Siapa yang mengonsumsinya? DevOps (Domain 4).
- Kasus penggunaan kompiler: DevOps secara eksplisit merutekan komponen berlabel GPU ke batas pool perangkat keras fisik di dalam
Releasemelalui petacomponents: {}. Pengembang cukup meminta model kognitif diAggregatemiliknya, dan DevOps menempatkannya di batas klaster GPU yang mahal, sehingga pemisahan kepentingan sepenuhnya terjaga. Peran putusan tata kelola juga dapat memastikan bahwa komponen apa pun yang membawa label ini tidak pernah ditempatkan di batas yang tidak memiliki infrastruktur GPU.
9. datastore.aggrega.ai/engine
- Siapa yang menulisnya? Arsitek platform, pada komponen kategori datastore (secara statis, pada spesialisasi flavored, atau disisipkan oleh peran
label-transformketikavaluespengembang mempromosikan peran tersebut). Nilai yang digunakan di seluruh katalog adalah:relational,document,kv,vector,graph,semantic-memory,search. Setiap nilai menamai mesin penyimpanan yang merupakan jati diri sebuah produk —searchmenamai mesin pencarian dan analitik yang juga mengindeks vektor — sehingga sifat yang berada dalam skema dan pola akses milik aplikasi sendiri, bukan pada penyimpanan apa pun yang dapat di-deploy, bukanlah nilai pada sumbu ini. - Siapa yang mengonsumsinya? Penganalisis statis (melalui string selektor) dan mesin kebijakan.
- Kasus penggunaan kompiler: Selektor menargetkan semantik penyimpanan, bukan produk — soket basis pengetahuan sebuah agen memilih
datastore.aggrega.ai/engine in (vector, semantic-memory, search), dan mesin kebijakan dapat menolak perutean payload SQL ke mesin vektor. Relevansi AI pada datastore penggunaan ganda diturunkan dari label ini, tidak pernah disimpan sebagai boolean terpisah. - Apa yang dibawa pustaka standar.
core/datastore/qdrant,core/datastore/weaviate,core/datastore/chroma,core/datastore/pgvector, dancore/datastore/milvusmembawavector,core/datastore/cogneemembawasemantic-memory, dancore/datastore/opensearchsertacore/datastore/elasticsearchmembawasearch, sehingga selektor basis pengetahuan di atas teresolusi terhadap masing-masing komponen tersebut.core/datastore/redis,core/datastore/valkey, dancore/datastore/memcachedmembawakv. Setiap label ini berada pada basis komponen itu sendiri, karena identitas produknya adalah mesin tersebut. Untukcore/datastore/pgvector, identitas itu adalah artefak yang dipatoknya: komponen ini menjalankan image PostgreSQL milik proyek pgvector sendiri, yang membawa ekstensinya, dan setiap Recipe mengaktifkan ekstensi tersebut di basis data yang dibuat komponen — jadi sifat vektornya tidak bergantung pada pengaturan, dan itulah yang membedakannya dari kasus terkonfigurasi di bawah “Naked Base, Flavored Edges” di atas, ketika PostgreSQL serba guna memperoleh sifat itu hanya saat pengembang mengaktifkan sebuah ekstensi.relational,document, dangraphtidak memiliki komponen di pustaka standar, sehingga selektor yang hanya menyebut nilai-nilai di antaranya tidak cocok dengan apa pun di sini dan terpenuhi oleh katalog yang membawa salah satunya.
10. pipeline.aggrega.ai/mode
- Siapa yang menulisnya? Arsitek platform, pada komponen kategori pipeline. Setiap nilai menamai cara sebuah produk menjalankan job multilangkah, dan nilai-nilainya mengikuti komponen yang membawanya, bukan daftar yang ditetapkan sebelumnya. Pustaka standar membawa dua:
durablepadacore/ai-pipeline/temporal, yang mesinnya mencatat hasil setiap langkah sebagai riwayat peristiwa dan memutarnya ulang, sehingga job yang worker-nya mengalami crash dilanjutkan dari titik berhentinya; danreconciledpadacore/ai-pipeline/argo-workflows, yang controller-nya menjalankan setiap langkah sebagai pod dari resource workflow yang disimpan di API milik klaster itu sendiri. - Siapa yang mengonsumsinya? Mesin kebijakan dan Plugins Wasm untuk rendering.
- Kasus penggunaan kompiler: Memungkinkan kebijakan dan renderer membedakan mesin pipeline berdasarkan cara sebuah eksekusi bertahan dari kegagalan — riwayat peristiwa yang diputar ulang atau resource klaster yang direkonsiliasi — bukan berdasarkan nama produk.
11. dataplane.aggrega.ai/* (Kemampuan jalur data)
- Siapa yang menulisnya? Arsitek platform, pada komponen apa pun yang berada di jalur lalu lintas — reverse proxy, gateway ingress, service mesh, gateway AI.
- Siapa yang mengonsumsinya? Penganalisis statis, melalui
appliesTomilik sebuah Feature dan selektorusesSchemamilik sebuah soket. - Kasus penggunaan kompiler: Label ini menjawab apa yang dapat dilakukan komponen ini terhadap lalu lintas, yaitu hal yang benar-benar perlu diketahui kontrol runtime dan yang tidak dapat dinyatakan oleh label tingkatan produk.
core/traffic-shadowing, yang menyalin permintaan langsung ke layanan kedua untuk evaluasi, mendeklarasikanappliesTo: dataplane.aggrega.ai/request-mirroring— kuncinya saja — dan penganalisis statis mengevaluasinya terhadap label target sebelum apa pun di-render, sehingga melampirkannya ke komponen yang sama sekali tidak dapat melakukan mirroring akan berhenti dengan pelanggaran selektor yang menyebut Feature tersebut dan selektor yang tidak dipenuhinya. Kompiler memperlakukan setiap string ini sebagai opak, persis seperti memperlakukan yang lainnya. - Mengapa prefiks menamai jalur lalu lintas, bukan jenis komponen. Mirroring, identitas pemanggil, dan verifikasi upstream bukanlah properti gateway — semua itu adalah properti dari apa pun yang berada di jalur permintaan, dan service mesh yang ditambahkan ke katalog memiliki ketiganya. Menamai keluarga ini menurut jenis komponen yang kebetulan pertama kali membawanya akan memaksa setiap jenis berikutnya menyatakan ulang kosakata yang sama di bawah prefiksnya sendiri, sehingga satu kemampuan memiliki beberapa nama dan tidak ada selektor yang dapat mencakup semuanya.
- Mengapa fidelitas dimuat dalam nilai. Dua komponen dapat sama-sama melakukan mirroring permintaan namun tetap berbeda dalam hal yang dipedulikan sebuah Feature: yang satu menyalin setiap permintaan yang cocok, yang lain menyalin sebagian yang dapat diatur. Kunci yang hanya menyatakan apakah sebuah komponen melakukan mirroring akan menerima keduanya dan membiarkan perbedaannya baru ditemukan setelah rendering. Menempatkan fidelitas dalam nilai memungkinkan fidelitas diminta dengan salah satu dari dua cara yang sesuai dengan Feature. Feature yang sama sekali tidak dapat bekerja tanpa suatu fidelitas menyebut nilai itu dalam selektornya. Feature yang tetap bekerja pada fidelitas yang lebih rendah memilih berdasarkan kuncinya saja, dan realisasinya menolak pengaturan yang tidak dapat dipenuhi komponen: menyalin seluruh aliran berfungsi pada setiap komponen yang melakukan mirroring, sehingga
core/traffic-shadowingdapat dilampirkan ke semuanya, dan realisasi untuk komponen yang mendeklarasikanfull-ratemenolak porsi di bawah 100 dengan pesan yang menyebut porsi yang diminta dan fidelitas yang dideklarasikan komponen — dua hal yang tidak disebut oleh pelanggaran selektor. Karena itu nilai-nilainya diturunkan dari apa yang diimplementasikan produk yang beredar, bukan disusun sebagai taksonomi:request-mirroringmembawafull-ratedansampledkarena proxy nyata terbagi persis seperti itu, satu menawarkan pengaturan laju penyalinan dan yang lain tidak menawarkan sama sekali. - Sebuah nilai menyatakan kemampuan, tidak pernah status yang dikonfigurasi. Bagi pengembang keduanya terbaca sama, dan hanya salah satunya yang merupakan properti komponen. Proxy yang mampu memverifikasi sertifikat upstream membawa
upstream-tls: trust-anchorterlepas dari apakah ada deployment yang mengaktifkan pemeriksaan itu — label adalah dasar pemilihan sebuah Feature sebelum apa pun dikonfigurasi, sehingga membebaninya dengan konfigurasi akan membuatnya tidak terbaca tepat pada saat label itu digunakan. - Apa yang dibawa pustaka standar.
core/gateway/nginxmembawarequest-mirroring: full-rate,upstream-tls: trust-anchor, danconcurrency-cap: total, satu batas untuk setiap permintaan yang diteruskannya.core/gateway/contourmembawarequest-mirroring: sampled,caller-identity: client-certificate, danupstream-tls: trust-anchor.core/gateway/envoy-gatewaymembawa tiga nilai yang sama dengancore/gateway/contour,period-budget: tokens, yang menghitung token yang dilaporkan setiap balasan dari model yang dilayaninya melalui Envoy AI Gateway, danconcurrency-cap: per-target, batas atas permintaan yang sedang berjalan ke setiap model yang dilayaninya.core/gateway/kongmembawaupstream-tls: trust-anchordanprompt-guard: pattern-list, dengan AI Prompt Guard-nya mencocokkan pesan dalam permintaan model dengan daftar yang disimpan rute-rutenya.core/gateway/tykmembawaupstream-pinning: public-key, yang dipilih olehcore/upstream-key-pinning.core/gateway/litellmmembawacaller-identity: injected-header,content-masking: entity-recognition,period-budget: cost,prompt-guard: pattern-list,upstream-tls: trust-anchor, danconcurrency-cap: per-target, batas atas permintaan yang sedang berjalan ke setiap entri peta modelnya.core/gateway/cloudflare-ai-gatewaymembawaperiod-budget: cost.core/gateway/apisixmembawaperiod-budget: tokens, yang menghitung token yang dilaporkan balasan setiap model tanpa memberi harga apa pun, danprompt-guard: pattern-list.core/gateway/kong-enterprisemembawaperiod-budget: tokens, yang menghitung token yang dilaporkan balasan setiap model, dancontent-masking: entity-recognition.core/gateway/traefik-hubmembawacontent-masking: entity-recognitiondanprompt-guard: pattern-list, dengan middleware Content Guard-nya menyamarkan kecocokan pola yang disimpan konfigurasinya atau jenis entitas yang dideteksi penganalisis Presidio yang dipanggilnya, atau menolak permintaan yang cocok dengan sebuah pola, sertaperiod-budget: cost, yang harganya diambil dari daftar harga per model yang disertakan bersama middleware kuotanya, yang sebagai gantinya dapat menghitung token yang dilaporkan setiap balasan.core/gateway/agentgatewaymembawacontent-masking: pattern-listdanprompt-guard: pattern-list, dengan pelindung berbasis ekspresi regulernya menyamarkan atau menolak kecocokan pola yang disimpan konfigurasinya dan tidak mengenali jenis entitas apa pun, sertaperiod-budget: cost, anggaran yang dijaganya per kunci API dalam dolar AS, yang harganya diambil dari katalog biaya modelnya, atau dalam token.core/gateway/higressmembawacontent-masking: pattern-list, dengan pluginai-data-masking-nya menyamarkan kecocokan pola yang disimpan konfigurasinya dalam teks pesan permintaan chat dan tidak mengenali jenis entitas apa pun, sertaperiod-budget: tokens, yang menghitung bersama token prompt dan completion yang dilaporkan setiap balasan tanpa memberi harga apa pun.core/gateway/azure-api-managementmembawaperiod-budget: tokens, yang menghitung bersama token prompt dan completion yang dilaporkan setiap balasan, dengan hitungan terpisah di setiap gateway dari instans tersebut, tanpa memberi harga apa pun.core/security/nemo-guardrailsdancore/security/trustyai-guardrails-gateway, dua pelindung yang berdiri di jalur sebuah model dan menilai permintaan dengan pengklasifikasi terlatih, membawaprompt-guard: classifier, yang dipilih oleh soketguardmilik gateway AI dan gateway NGINX. Gateway AI di antara semuanya —core/gateway/litellm,core/gateway/cloudflare-ai-gateway,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/kong-enterprise,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higress, dancore/gateway/azure-api-management— membawasemanticdan sisanya tidak membawa nilaigateway.aggrega.ai/intelligenceapa pun, yang merupakan pemisahan yang bekerja dan bukan pengecualian terhadapnya: Feature yang membutuhkan mirror menjangkau tiga komponen yang memilikinya, sedangkan selektor tingkatan produk hanya akan menjangkau Envoy Gateway di antara ketiganya, dengan alasan yang tidak menyatakan apa pun tentang mirroring, dan Feature yang membutuhkan pelindung prompt, penyamaran konten, atau anggaran periode menjangkau gateway AI berdasarkan apa yang dapat dilakukannya, bukan tingkatan tempatnya berada, sementara Feature yang membatasi permintaan yang sedang berjalan menjangkau gateway NGINX, yang tidak membawa nilai tingkatan, sebagaimana ia menjangkau Envoy Gateway dan gateway AI, dan Feature yang menolak permintaan berdasarkan daftar pola menjangkau Kong open source, yang juga tidak membawa nilai apa pun, sebagaimana ia menjangkau APISIX. Komponen yang tidak memiliki apa pun untuk dijelaskan pada salah satu sumbu ini tidak membawa nilai apa pun di sana alih-alih nilai yang terlemah, sehingga selektor yang menyebut nilai apa pun pada sumbu itu dengan tepat tidak dilampirkan padanya.
12. security.aggrega.ai/text-anonymization
- Siapa yang menulisnya? Arsitek platform, pada layanan yang berperan dalam penyamaran teks sensitif. Jika pekerjaan itu dibagi ke dua layanan,
analyzerditempatkan pada layanan yang menemukan rentang sensitif dalam teks dan melaporkannya, dananonymizerpada layanan yang menulis ulang rentang yang diserahkan kepadanya;sanitizerditempatkan pada layanan yang melakukan keduanya dalam satu panggilan, menemukan rentang sensitif dalam teks yang dikirimkan kepadanya dan menulis ulang rentang itu sendiri, lalu membalas dengan teks yang telah ditulis ulang. - Siapa yang mengonsumsinya? Penganalisis statis, melalui selektor
usesSchemamilik sebuah soket. - Kasus penggunaan kompiler: Inilah cara sebuah konsumen diberi alamat yang tepat.
core/gateway/litellmmendeklarasikan soketpii_analyzeryang memilihsecurity.aggrega.ai/text-anonymization=analyzerdan soketpii_anonymizeryang memilih nilaianonymizer, sehingga menghubungkan salah satu layanan ke soket milik layanan lainnya menghentikan build dengan pelanggaran selektor yang menyebutkan soket tersebut.core/gateway/kong-enterprisemendeklarasikan satu soket,pii_sanitizer, yang memilih nilaisanitizer, dancore/gateway/traefik-hubsatu soket,pii_analyzer, yang hanya memilih nilaianalyzer, karena Content Guard yang ditulis oleh Recipe chart miliknya untukcore/data-maskingmengganti sendiri apa yang ditemukan oleh analyzer. Kompiler merutekan alamat yang dipublikasikan oleh komponen yang dipilih dan tidak memeriksa apa pun tentang apa yang menjawab di sana. - Yang dibawa pustaka standar.
core/security/presidio-analyzermembawaanalyzerdancore/security/presidio-anonymizermembawaanonymizer. Keduanya berbicara dengan API HTTP Presidio yang dipanggil gateway AI ketika lampirancore/data-masking, atauvalues.log_maskingmilik gateway itu sendiri, mencantumkan jenis entitas, dan Content Guard milik Traefik Hub hanya memanggil analyzer ketika lampirancore/data-maskingpada gateway tersebut mencantumkannya.core/security/kong-ai-pii-servicemembawasanitizerdan berbicara dengan API layanan AI PII milik Kong, yang dipanggil oleh AI PII Sanitizer milik Kong Gateway Enterprise dengan setiap teks yang disamarkannya, termasuk ekspresi regulernya, selama lampirancore/data-maskingada pada gateway tersebut. Sanitizer tidak menyerahkan kredensial apa pun kepadanya dan setiap teks sampai kepadanya tanpa disamarkan, sehingga alamatnya adalah alamat di dalam klaster, yang tidak dimaksudkan untuk diekspos ke luar klaster.
13. model.aggrega.ai/api
- Siapa yang menulisnya? Platform Architect, pada setiap komponen dalam kategori model dan pada gateway yang menyajikan API model. Nilainya menyebutkan API model mana yang menjawab di alamat yang dipublikasikan komponen:
openaijika itu adalah API OpenAI — milik vendor sendiri, atau implementasi sebuah server atasnya —anthropicjika itu adalah Messages API milik Anthropic,geminijika itu adalah Gemini API milik Google, dannativejika itu adalah API milik produk itu sendiri dan bukan salah satu dari itu, yang dijangkau konsumen melalui klien produk tersebut. Setiap nilai dibaca dari referensi produk itu sendiri, dan sebuah komponen membawanya apa pun yang dikonfigurasi oleh suatu Release. - Siapa yang menggunakannya? Static Analyzer, melalui selektor
usesSchemasebuah soket, serta asersi dari gateway AI, daricore/gateway/kong, daricore/gateway/kong-enterprise, daricore/gateway/apisix, daricore/gateway/envoy-gateway, daricore/gateway/traefik-hub, daricore/gateway/agentgateway, dan daricore/gateway/higress, pada setiap koneksi ke soketmodelsmereka. - Kasus penggunaan kompiler: Inilah yang memungkinkan satu soket menerima model atau gateway yang menyajikan model. Soket
modelsetiap agen kecuali lima runtime yang disebutkan di bawah, sokettarget_modelmilikcore/ai-tool/model-invocation, dan dua soket model milikcore/datastore/cogneememilihcomponent.aggrega.ai/category in (ai-model, gateway), model.aggrega.ai/api: persyaratan kategori menerima kedua kategori tersebut, dan persyaratan kunci hanya menerima komponen di antaranya yang membawa label, sehingga menghubungkan soket seperti itu ke gateway yang tidak menyajikan API model apa pun menghentikan build dengan pelanggaran selektor yang menyebutkan soket tersebut. Semua persyaratan sebuah selektor harus terpenuhi dan alternatifnya berada di dalam himpunan satu kunci, sehingga satu-satunya kunci yang dijawab oleh kedua jenis komponen harus ada pada setiap komponen model dan juga pada gateway — itulah sebabnya label ini menyebutkan API alih-alih hanya menandai gateway. Gateway yang membawanya memublikasikan kunciendpointdanmodelyang dipublikasikan model, sehingga Recipe milik konsumen membaca keduanya dengan cara yang sama. Agen yang Recipes miliknya menyerahkan variabel dari satu API model menyebutkan nilainya sebagai gantinya: soketmodelmilikcore/ai-agent/openai-agents-sdk,core/ai-agent/agent-framework, dancore/ai-agent/mastramemilihmodel.aggrega.ai/api=openai, soket milikcore/ai-agent/claude-agent-sdkmemilihmodel.aggrega.ai/api=anthropic, dan soket milikcore/ai-agent/google-adkmemilihmodel.aggrega.ai/api=gemini, sehingga menghubungkan salah satunya ke model atau gateway yang menyajikan API lain menghentikan build dengan pelanggaran selektor yang menyebutkan soket tersebut. Soket milikcore/ai-agent/google-adkjuga mempersempit kategori menjadiai-model, menolak setiap gateway, karena klien ADK tidak membaca alamat apa pun dan akan mengirim kredensial gateway ke alamat milik Google sendiri. Gateway AI membaca nilai tersebut alih-alih memilih berdasarkan nilai itu: soketmodelsmiliknya memilihcomponent.aggrega.ai/category=ai-model, menerima setiap model, dan karena gateway mendeskripsikan model yang terhubung di sana kepada proksinya hanya melalui API OpenAI, asersi Component miliknya menghentikan build pada koneksi yang targetnya membawa nilai apa pun selainopenai, menyebutkan koneksi tersebut dan menyarankan agar upstream itu diketik ke dalam peta model yang diketik manual milik gateway sebagai gantinya.core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgateway, dancore/gateway/higressmembacanya dengan cara yang sama pada soketmodelsmereka sendiri, karena masing-masing menulis rute model yang terhubung, atau pada agentgateway entri modelnya, hanya untuk API OpenAI. Kompiler memperlakukan nilai tersebut sebagai string buram dan tidak memeriksa apa pun tentang apa yang menjawab di alamat tersebut. - Yang dibawa pustaka standar.
core/gateway/litellm,core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgateway, dancore/gateway/higressmembawaopenai, demikian pula server self-hostedcore/ai-model/vllm,ollama,docker-model-runner,tgi,tei,nvidia-nim, danlitellm, API terkelolacore/ai-model/openai,openai-embedding, dannvidia-api, serta brokercore/ai-model/openai-compatible, yang diarahkan ke layanan yang berbicara dengan API tersebut.core/ai-model/anthropicmembawaanthropic, dancore/ai-model/geminimembawagemini. Setiap komponen model lainnya membawanative.
14. tool.aggrega.ai/transport
- Siapa yang menulisnya? Platform Architect, pada alat yang dijangkau konsumen melalui transport yang harus dapat digunakannya. Nilainya menyebutkan transport tersebut.
- Siapa yang menggunakannya? Static Analyzer, melalui soket alat milik konsumen.
- Kasus penggunaan kompiler: Inilah cara sebuah konsumen hanya diberi alat yang dapat diajaknya berkomunikasi. Soket alat memilih
component.aggrega.ai/category=ai-tool, tool.aggrega.ai/transport=http: persyaratan kategori menerima alat dan tidak ada yang lain, dan persyaratan transport hanya menerima alat yang dijangkau melalui HTTP, sehingga menghubungkan soket seperti itu ke alat yang tidak membawa label tersebut menghentikan build dengan pelanggaran selektor yang menyebutkan soket tersebut. Cara sebuah alat dijangkau harus berupa label, bukan nilai yang dipublikasikan, karena selektor membaca label dan tidak pernah membaca isi sebuah nilai. Kompiler memperlakukan nilai tersebut sebagai string buram dan tidak memeriksa apa pun tentang apa yang menjawab di alamat tersebut. - Yang dibawa pustaka standar.
core/ai-tool/mcpmembawahttp. Komponen ini melampirkan server Model Context Protocol ke agen, dan Manifest memilih bagaimana server itu direalisasikan:helm/mcpdancompose/mcpmenjalankan image yang menyajikan protokol melalui HTTP;helm/mcp-stdio-bridgedancompose/mcp-stdio-bridgemenjalankan paket yang hanya berbicara stdio di balik bridge yang dipin yang menyajikannya melalui HTTP;helm/mcp-remotedancompose/mcp-remotemenjangkau server yang dijalankan pihak lain, dan tidak menjalankan apa pun. Setiap realisasi memublikasikanhost,port,endpoint,protocol, dancredential_headeryang sama, sehingga pengkabelan konsumen tidak berubah mengikuti realisasinya. Kredensial milik server sendiri adalah variabel lingkungan, disimpan di slotserver_envmilik alat: diserahkan ke bridge melalui referensi di Kubernetes, dan di Docker Compose ditulis ke lingkungan layanan sebagaimana diserahkan, dengan referensi variabel Compose menjaga kredensial tetap di luar file; kredensial server jarak jauh disimpan oleh konsumen pada koneksinya sendiri ke alat dan diserahkan di bawah header yang disebutkan olehcredential_header, yaituAuthorizationkecuali Release menyebutkan yang lain. Jika server jarak jauh membaca kuncinya dari alamatnya sendiri, konsumen juga menyimpan seluruh alamat pada koneksi tersebut, dalam slotendpointyang diisi di Kubernetes dengan referensi ke Secret dan di Docker Compose dengan referensi variabel Compose, sehingga kunci tidak sampai ke file hasil render mana pun, sementarainfra.endpointmilik alat menyimpan alamat tanpa bagian yang membawa kunci; examples/mcp-address-from-secret membangun keduanya.core/ai-agent/openai-agents-sdk,core/ai-agent/claude-agent-sdk,core/ai-agent/agent-framework,core/ai-agent/google-adk, dancore/ai-agent/mastra, serta platform alurcore/ai-agent/flowisedancore/ai-agent/n8n, mendeklarasikan soket alat dengan bentuk ini,tools, dan menyerahkan alamat setiap alat yang terhubung, serta kredensial koneksi melalui referensi, di bawah variabel yang dinamai menurut alias koneksi, sementara koneksi yang menulis blokinject:menerima apa yang ditentukan blok tersebut sebagai pengganti variabel yang diturunkan dari apa yang dipublikasikan alat, dengan isi slotcredentialdanendpointmiliknya tetap berada di bawah nama alias; konsumen buatan sendiri mendeklarasikannya dengan cara yang sama. Masing-masing dari ketiga platform alur membawa alur yang ditulis di dalam Aggregate ke dalam platform saat deploy, pada kedua target: Langflow memuat definisi yang dibawa dari direktori alurnya pada setiap start, chatflow Flowise diisi oleh langkah sekali jalan yang masuk sebagai akun pemilik yang disebutkan oleh Release, dan workflow n8n diimpor oleh langkah init sebelum platform dimulai.core/ai-agent/langflowmendeklarasikan sokettoolsdengan bentuk yang sama, yang tidak menerima blokinject:, dan sebagai gantinya menyerahkan setiap koneksi melalui alur tersebut, karena komponen MCP Tools milik Langflow mengambil alamat server hanya dari pengaturan Langflow sendiri atau dari alur, tidak pernah dari variabel: Recipes miliknya menulis alamat alat ke node MCP Tools yang servernya dinamai menurut alias koneksi, menyerahkan kredensial koneksi melalui referensi sebagai variabel yang disebutkan oleh header node tersebut — di bawahAuthorization, sebuah variabel yang menyimpanBearerdan kredensial — dan meloloskan host dari alat dan penyimpanan yang terhubung melalui pelindung Langflow terhadap alamat privat. Ketiga platform juga mendeklarasikan soketvector_storeyang memilihdatastore.aggrega.ai/engine in (vector, semantic-memory, search), yang dengan cara yang sama menyerahkan alamat setiap penyimpanan yang terhubung —endpointyang dipublikasikannya, untukcore/datastore/pgvectorURI koneksi tanpa kata sandi, atau alamat yang disusun dari protokol, host, dan port-nya — serta kredensial koneksi melalui referensi; penyimpanan yang juga memublikasikan basis data dan penggunanya, seperti yang dilakukancore/datastore/pgvector, sampai ke Flowise dan n8n juga dalam bagian-bagian tersebut, karena node vektor PostgreSQL milik kedua platform itu tidak menerima string koneksi; Langflow, yang komponen PGVector-nya menerima satu string, menerima penyimpanan seperti itu sebagaiAGGREGA_VECTOR_STORE_<ALIAS>_CONNECTION_STRING, dengan kredensial koneksi sebagai kata sandinya, melalui referensi di Kubernetes dan sebagaimana diserahkan di Docker Compose. Chatflow Flowise membaca variabel yang diserahkan melalui variabel Runtime dengan nama yang sama yang dibuat di halaman Variables milik Flowise, dan workflow n8n membacanya melalui$envhanya jika Aggregate menetapkan nilaiallow_env_access_in_nodesmilik platform, karena secara default Recipes miliknya mempertahankan blokir n8n atas akses lingkungan di dalam node.
2. Abstraksi port (konvensi nol port)
Katalog pustaka standar Aggrega yang bersifat open source merekomendasikan untuk menghilangkan deklarasi port fisik dari lapisan kognitif Components, dan sebagai gantinya merutekan pemilihan port melalui Recipe Ops. Penulis yang mengikuti rekomendasi ini menghindari tabrakan port antar target deployment, mencegah API pintu belakang yang melewati Injection Contract, dan menjaga topografi jaringan tetap fleksibel di berbagai penyedia. Kompiler itu sendiri agnostik terhadap port — ia meneruskan nilai apa pun yang diizinkan oleh JSON Schema yang telah diresolusi. Konvensi ini berjalan dengan jalan keluar eksplisit bagi sistem lama yang port fisiknya tidak dapat dipindahkan.
- Default cloud-native (injeksi dinamis): Untuk beban kerja modern, Components sepenuhnya menghilangkan port fisik (tanpa array
portsatauexpose) dari deklarasischema:mereka. Recipes Platform Ops memilih port TCP/UDP internal dan memublikasikannya sebagai kunciprovidesbernama, yang dibaca konsumen hilir melalui Injection Contract.context.uses. - Jalan keluar untuk sistem lama (deklarasi eksplisit): Ketika komponen lama memiliki port yang di-hardcode dan tidak dapat diubah, Platform Architect secara eksplisit mengekspos field
portdi dalam deklarasischema:milik Component. Hal ini memberi Developer cara yang tervalidasi untuk mendeklarasikan batasan fisik tersebut. Kompiler membawa nilai itu melalui pipeline tanpa perubahan; Recipe menggunakannya melalui{{ .values.port }}. - Port operasional (out-of-band): Port yang digunakan khusus oleh infrastruktur klaster (misalnya, scraping Prometheus, metrik sidecar Envoy) tetap tersembunyi dari lapisan kognitif Developer. Port tersebut disuntikkan secara out-of-band oleh Platform Ops melalui Features (misalnya, dengan melampirkan Feature
core/prometheus-exporter, yang port scraping-nya adalahinframilik operator).
3. Skema khusus domain (kecerdasan konfigurasi)
Blok values milik pengembang (yang buram bagi kompiler Go tetapi bertipe ketat menurut deklarasi schema: milik Component) divalidasi untuk mendukung alur kerja AI yang eksplisit:
- Tautan agen (array dependensi): Skema parameter agen bersama milik pustaka standar membawa
tools_alloweddanagents_allowedsebagai arrayvaluesyang menyebutkan Components katalog yang dapat dipanggil atau didelegasikan oleh agen — sebuah konvensi terdokumentasi yang tidak dievaluasi oleh compiler. Tautan yang dihubungkan compiler sebagai sisi topologis adalah soketusesyang dideklarasikan Component milik agen diusesSchema-nya, dan selektor soket itulah yang diperiksa build. - Partisi memori kognitif mendalam (CoALA): Alih-alih satu wadah memori datar, seorang Architect dapat mendeklarasikan soket
cognitive_memoryyang koneksinya memetakan memori Semantik, Episodik, dan Prosedural ke target infrastruktur yang berbeda sebagai sisi topologis eksplisit, sehingga mesin kebijakan dapat mengevaluasi dan mewajibkan pembatas akses yang granular (misalnya, memastikan agen dapat membaca memori Semantik, tetapi tidak dapat menimpanya jika dibajak). Pustaka standar tidak mendeklarasikan soket seperti itu. - Pipeline multimodal:
schema:milik Component dapat mendeklarasikan tahapan eksekusi eksplisit sepertidocument_chunking,embedding_generation, danstorage_routingsebagaivaluesbertipe, sehingga aliran data deklaratif divalidasi sebelum apa pun dirender. Pustaka standar tidak mendeklarasikan tahapan seperti itu.
4. Kecerdasan gateway dan perutean
Gateway AI pustaka standar membawa kontrol untuk merutekan permintaan ke API LLM: core/gateway/litellm, yang berjalan di klaster, dan dua layanan yang di-hosting — core/gateway/cloudflare-ai-gateway, gateway yang di-hosting milik Cloudflare, yang dibuat oleh Recipe terraform miliknya di akun Cloudflare, dan core/gateway/azure-api-management, gateway AI milik Azure API Management, yang Recipe terraform miliknya menambahkan API yang menyajikan model, beserta backend dan kebijakannya, ke instans API Management yang sudah ada. Recipes helm dan compose dari setiap gateway yang di-hosting merujuknya di tempat gateway itu sudah dikonfigurasi. Sebagian kontrol adalah nilai pada gateway itu sendiri dan sebagian adalah Features yang dilampirkan padanya, dan setiap Feature di bawah menyebutkan pada gateway mana pustaka standar merealisasikannya. Pada gateway yang di-hosting, setiap kontrol ditulis ke dalam konfigurasi gateway itu sendiri — pengaturan sumber daya gateway Cloudflare, elemen kebijakan API di Azure API Management — sehingga hanya Recipe terraform miliknya yang dapat membawanya, dan Recipes helm dan compose miliknya menghentikan build pada lampiran apa pun. Di bawah, “gateway AI” adalah core/gateway/litellm, “gateway yang di-hosting” adalah core/gateway/cloudflare-ai-gateway, dan gateway Azure API Management disebut dengan nama lengkapnya.
Di luar Aggrega, saat waktu berjalan
agen
soket model miliknya, terhubung ke gateway
gateway AI
dengan kontrol yang terpasang padanya
anggaran token
cache semantik
perisai injeksi prompt
model
penyedia di balik gateway
Permintaan sebuah agen melewati gateway yang terhubung dengan soket model miliknya, sehingga setiap kontrol yang terpasang pada gateway berada di antara agen dan model. Tiga yang digambar di sini adalah Features core/period-budget, core/semantic-caching, dan core/prompt-injection-shield, ditampilkan berdampingan untuk menunjukkan letaknya, bukan sebagai konfigurasi satu gateway: entri di bawah menyebutkan gateway mana yang merealisasikan setiap kontrol dan apa yang menghentikan build.
-
Model di baliknya: peta model gateway AI — alias yang disajikannya, masing-masing dengan upstream tujuan pengiriman permintaan untuknya — memiliki dua bagian. Komponen model yang terhubung ke soket
modelsmilik gateway, baik terkelola maupun self-hosted, disajikan di bawah alias koneksi, dengan entrinya ditulis dariendpointdanmodelyang dipublikasikan model, string yang diteruskan kompiler ke konfigurasi gateway dan tidak pernah diresolusi; dengan demikian model merupakan komponen graf, yang dijangkau melalui sisinya sendiri. Gateway mendeskripsikan model seperti itu kepada proksinya hanya melalui API OpenAI, sehingga koneksi yang menjangkau model yang nilaimodel.aggrega.ai/apimiliknya bukanopenaimenghentikan build, dengan menyebutkan koneksinya. Bagian lainnya adalahvalues.modelsmilik gateway, entri yang diketik manual dalam notasi penyedia/model milik proksi itu sendiri: untuk upstream yang tidak dimodelkan katalog, untuk penyedia yang API-nya sendiri bukan API OpenAI, dan untuk beberapa entri yang berbagi satu alias, yang tidak dapat dilakukan model yang terhubung, karena masing-masing disajikan di bawah alias koneksinya sendiri. Entri yang terhubung menyerahkan kredensial yang dibawa koneksinya sendiri, seperti dijelaskan dalam “Kunci yang diserahkan pemanggil” di bawah, dan tidak pernahprovider_keymilik gateway; setiap entri yang diketik manual menyerahkan satu-satunya kredensial dalam slot tersebut. Alias yang dipublikasikan oleh kedua bagian menghentikan build, dengan menyebutkannya, demikian pula gateway yang tidak diberi model oleh kedua bagian. -
Di jalur agen: gateway memublikasikan
endpointdanmodel, kunci yang dipublikasikan komponen model, dan membawamodel.aggrega.ai/api: openai, sehingga soketmodelmilik agen menerima gateway secara langsung dan setiap kontrol yang dilampirkan padanya berdiri di antara agen tersebut dan penyedia di baliknya.modelyang dipublikasikannya adalah alias yang disebutkan olehvalues.modelmiliknya, yang menghentikan build jika tidak ada bagian peta yang memublikasikannya; nilai ini boleh dihilangkan hanya jika gateway menyajikan satu alias dan sebuah entrivalues.modelsmemublikasikannya, yang kemudian menjadi alias yang dipublikasikan. Pemanggil yang menginginkan alias lain yang dipublikasikan peta memintanya berdasarkan nama ke endpoint yang sama.core/gateway/cloudflare-ai-gatewaymemublikasikan dua kunci yang sama — alamat salah satu endpoint gateway, yang disusun dari akun Cloudflare dan id gateway, serta model yang diminta pemanggil, yang diteruskan gateway tanpa diperiksa — tetapi tidak membawamodel.aggrega.ai/api, sehingga soketmodelmilik agen tidak menerimanya.core/gateway/azure-api-managementjuga memublikasikannya — alamat API-nya, yang disusun dari host instans dan path API, serta model yang diminta pemanggil, yang diteruskan tanpa diperiksa — dan juga tidak membawamodel.aggrega.ai/api: API tersebut menjawab permintaan chat completions OpenAI, tetapi secara default pemanggil menyerahkan kunci langganan API Management di header-nya sendiri, bukan bearer token OpenAI, sehingga klien OpenAI biasa tidak cukup untuk memanggilnya. -
Kong di depan model:
core/gateway/kong, gateway Kong open source, menyajikan model yang terhubung ke soketmodelsmiliknya melalui AI Proxy milik Kong, dan dari kontrol di bawah, ia hanya merealisasikan pola penolakan prompt, sebagai AI Prompt Guard milik Kong pada setiap rute dari setiap model yang terhubung. Setiap model yang terhubung mendapatkan rute chat dan rute completion di bawah/<alias>/v1, yang ditulis dariendpointdanmodelyang dipublikasikan model, dan Recipes miliknya mengimpor rute tersebut ke backend PostgreSQL gateway sebelum gateway dimulai. Rute yang memilih model, sehingga permintaan dikirim ke model yang disebutkan oleh path-nya, apa pun nama model yang dibawanya. Gateway menyerahkan kredensial milik setiap koneksi sebagai bearer token yang dibaca konfigurasinya berdasarkan nama dari lingkungan gateway, dan koneksi yang menjangkau model yang nilaimodel.aggrega.ai/apimiliknya bukanopenaimenghentikan build. Gateway ini memublikasikan rute alias yang disebutkan olehvalues.modelmiliknya sebagaiendpointmiliknya dan alias tersebut sebagaimodelmiliknya, serta membawamodel.aggrega.ai/api: openai, sehingga soketmodelmilik agen menerimanya sebagaimana menerima gateway AI. Jika tidak ada yang terhubung ke soket itu, gateway tidak menyajikan model apa pun dan memublikasikan kedua kunci dalam keadaan kosong, dan agen yang terhubung kepadanya lalu tidak membaca alamat maupun nama model apa pun. Impor menambahkan dan memperbarui rute serta tidak menghapus satu pun, sehingga rute yang koneksinya dihapus tetap menjawab, dan pelindung prompt yang ditulis oleh lampirancore/prompt-deny-patternstetap menolak setelah lampiran dihapus, sampai masing-masing dihapus melalui Admin API milik Kong. Dengan alasan yang sama, gateway tidak mendeklarasikan pemanggil, dan rute modelnya tidak memeriksa kunci pemanggil mana pun: Kong membedakan pemanggil hanya sebagai consumer yang disebutkan oleh plugin autentikasi, dan sebuah consumer beserta kuncinya, setelah diimpor, akan tetap dapat melakukan autentikasi setelah pemanggil dihapus dari Release, dengan kunci yang dirotasi membiarkan kunci lama tetap berfungsi; kunci key-auth juga tidak dapat disimpan melalui referensi, sehingga kunci pemanggil hanya dapat sampai ke Kong sebagai literal dalam file hasil render. -
Kong Gateway Enterprise di depan model:
core/gateway/kong-enterprise, edisi berbayar Kong dari gateway berbasis basis data yang sama, melayani model yang terhubung ke soketmodelsmiliknya sendiri pada rute yang dilayanicore/gateway/kong, yang ditulis dari konfigurasi yang sama dan diimpor ke backend PostgreSQL-nya oleh sebuah langkah di dalam pod gateway itu sendiri sebelum gateway dimulai, dan menerbitkanendpointdanmodelmiliknya seperti yang dilakukan Kong. Satu-satunya realisasinya adalah Recipe chart di atas chart Helm resmi Kong; tidak ada realisasi compose. Gateway ini menjalankan image yang dinamai Release dalaminfra.image, termasuk tag versinya, karena Kong mendistribusikan image enterprise di bawah ketentuannya sendiri sehingga katalog tidak menamai image apa pun; build berhenti selama kunci tersebut belum ditetapkan atau tag-nya tidak memuat versi. Lisensi mencapai gateway melalui referensi ke Secret yang terikat pada slotlicensewajib miliknya, tidak pernah sebagai nilai, dan build berhenti selama tidak ada yang mengikat slot tersebut. Compiler tidak memvalidasi lisensi apa pun dan tidak menghubungi vendor mana pun, sehingga Release yang ter-build dengan bersih tidak mengatakan apa pun tentang lisensi: Kong membaca lisensi saat sebuah node dimulai, dan node tanpa lisensi yang valid berperilaku seperti dengan lisensi yang kedaluwarsa, dengan konfigurasi entitasnya hanya-baca dan lalu lintas proxy-nya dilayani dengan konfigurasi yang sudah berlaku. Kong menjual plugin AI-nya sebagai penawaran AI Gateway Enterprise, sebuah hak penggunaan di dalam lisensi yang tidak dapat dilihat oleh build mana pun, dan melewati plugin semacam itu alih-alih menolaknya jika lisensi tidak memiliki hak tersebut, sehingga memasangcore/semantic-caching,core/period-budget,core/data-masking,core/fallback-chain,core/retry-policy, ataucore/target-selectionmenghentikan build hingga Release menetapkaninfra.ai_gateway_entitledketrue, yang menegaskan bahwa lisensi memuat hak tersebut. Dari kontrol di bawah ini, gateway ini merealisasikan anggaran periode dan rantai fallback, masing-masing ditulis ke dalam rute yang diimpor gateway, dan merealisasikancore/data-maskingseperti yang dijelaskan “Eksfiltrasi data dan intersepsi payload” di bawah; realisasinya atas cache semantik, kebijakan retry, dan pemilihan target menghentikan setiap pemasangan, masing-masing dengan menyebutkan alasannya, dan batas konkurensi, pencatatan audit, penyaringan prompt injection, validasi respons, dan pola penolakan prompt tidak memiliki realisasi di sana, sehingga pemasangan salah satu di antaranya menghentikan build. Kumpulan rute yang berubah memicu rollout gateway, dan impor menambah serta memperbarui rute tanpa menghapus satu pun, sehingga rute yang koneksinya dihapus, dan plugin yang ditulis oleh sebuah Feature AI setelah Feature tersebut dihapus, tetap berada di basis data hingga dihapus melalui Admin API Kong; untuk alasan yang diberikan butir di atas, gateway ini juga tidak mendeklarasikan pemanggil, dan rute modelnya tidak memeriksa kunci pemanggil mana pun. Bahwa gateway yang sedang berjalan menegakkan salah satu kontrol ini tidak diamati oleh build mana pun. -
APISIX di depan model:
core/gateway/apisix, gateway Apache APISIX sumber terbuka, melayani model yang terhubung ke soketmodelsmiliknya sendiri melalui proxy AI APISIX di tempat Manifest mengikat Recipe chart-nya, yang menjalankan APISIX 3.18.0. Setiap model yang terhubung mendapatkan rute chat dan rute completion di bawah/<alias>/v1— hanya rute chat selama anggaran periode atau pola penolakan prompt terpasang, karena APISIX tidak menghitung token pada permintaan completion dan prompt guard-nya tidak membacanya — yang ditulis dariendpointdanmodelyang diterbitkan model ke dalam file rute yang dirender bersama gateway, yang dibaca gateway saat dimulai dan dibaca lagi setiap kali file berubah. Gateway yang membaca rutenya dari file tersebut tidak membaca etcd apa pun dan tidak menjalankan Admin API apa pun, sehingga dengan model yang terhubung, koneksietcdatau pemasanganadmin_keymenghentikan build, dan tanpa apa pun yang terhubung keduanya wajib. Rute memilih model. Gateway menyajikan kredensial milik setiap koneksi sebagai bearer token yang dibaca rutenya berdasarkan nama dari lingkungan gateway, dan koneksi yang mencapai model yangmodel.aggrega.ai/api-nya bukanopenaimenghentikan build. Gateway ini menerbitkan rute alias yang dinamaivalues.modelmiliknya sebagaiendpoint-nya dan alias tersebut sebagaimodel-nya, serta membawamodel.aggrega.ai/api: openai, sehingga soketmodelmilik agen menerimanya sebagaimana menerima gateway AI; tanpa apa pun yang terhubung, gateway ini menerbitkan kedua kunci dalam keadaan kosong. Rute yang koneksinya dihapus hilang dari render berikutnya. Release dapat menamai pemanggil gateway diinfra.callersdan kunci mereka melalui slotcaller_keys, sebuah Secret yang menyimpan satu kunci data per nama pemanggil: setiap pemanggil kemudian menjadi consumer dalam file rute yang kuncinya dibaca berdasarkan nama dari Secret tersebut, dan setiap rute menolak dengan HTTP 401 permintaan yang tidak menyajikan kunci terdeklarasi sebagaiAuthorization: Bearer <key>— cara klien OpenAI menyajikannya — dan menghapus kunci dari permintaan yang diteruskannya. Tanpa pemanggil, rute terbuka. Recipe workload-nya, dengan APISIX 3.17.0, menyimpan rutenya di etcd, tidak merender rute apa pun, dan menghentikan build pada koneksi ke soket tersebut dan padainfra.callers. Dari kontrol di bawah ini, gateway ini merealisasikan anggaran periode, cache semantik untuk pemanggil yang dideklarasikannya, dan pola penolakan prompt. -
Envoy Gateway di depan model:
core/gateway/envoy-gateway, Envoy Gateway sumber terbuka, melayani model yang terhubung ke soketmodelsmiliknya sendiri melalui Envoy AI Gateway, yang controller-nya,core/gateway/envoy-ai-gateway-operator, dipanggil gateway sebagai server ekstensinya melalui soketextensionmiliknya. Model yang terhubung tanpa apa pun pada soket tersebut menghentikan build, dan dengan controller terhubung, Release menempatkan gateway dienvoy-gateway-systematau build berhenti. Setiap model yang terhubung menjadi aturan dari satu rute AI yang terpasang ke gateway, dipilih berdasarkan nama model yang dibawa permintaan, dengan backend yang ditulis dariendpointdanmodelyang diterbitkan model, sehingga setiap model yang terhubung dilayani di bawah/v1pada alamat gateway itu sendiri. Gateway menyajikan kredensial milik setiap koneksi sebagai bearer token, yang dibaca controller Envoy AI Gateway dari Secret yang dinamai kredensial tersebut, dan koneksi yang mencapai model yangmodel.aggrega.ai/api-nya bukanopenaimenghentikan build. Selama ada model yang terhubung, setiap rute pada gateway menggunakan buffer permintaan 50Mi per koneksi yang dikonfigurasi Envoy AI Gateway. Gateway ini menerbitkan alamatnya, yang dikualifikasi denganenvoy-gateway-systemagar dapat di-resolve dari namespace mana pun, sebagaiendpoint-nya dan alias yang dinamaivalues.modelmiliknya sebagaimodel-nya, serta membawamodel.aggrega.ai/api: openai, sehingga soketmodelmilik agen menerimanya sebagaimana menerima gateway AI; tanpa apa pun yang terhubung, gateway ini menerbitkan kedua kunci dalam keadaan kosong. Webhook controller menyajikan sertifikat yang diterbitkan cert-manager, sehingga cert-manager harus sudah berjalan di cluster, kecuali Release menamai, diinfra.webhook_tls_secretmilik controller, sebuah Secret yang menyimpan sertifikat yang disediakan operator, yang kemudian disajikan webhook. Dari kontrol di bawah ini, gateway ini merealisasikan anggaran periode, kebijakan retry, dan batas konkurensi, masing-masing ditulis ke satu-satunya kebijakan lalu lintas pada rute yang melayani model-modelnya. Gateway ini tidak merealisasikan cache semantik maupun validasi respons, karena Envoy AI Gateway tidak menyimpan balasan apa pun untuk menjawab permintaan berikutnya dan tidak memeriksa balasan apa pun terhadap skema, dan juga tidak merealisasikan rantai fallback: Envoy AI Gateway melakukan fallback dengan mencoba ulang ke backend lain dari aturan sebuah model, dan gateway menulis jumlah retry dari satu-satunya kebijakan lalu lintasnya ke setiap aturan pada rute yang melayani model-modelnya, sehingga daftar fallback hanya akan mendapatkan tepat jumlah pengirimannya jika daftar setiap model yang terhubung memiliki panjang yang sama. Gateway ini merealisasikancore/audit-loggingsebagai log aksesnya, seperti yang dijelaskan “Pencatatan audit” di bawah, dan menolak dengan menyebut nama apa yang tidak dapat disimpan log tersebut: biaya sebuah permintaan, karena biaya per permintaan yang dapat dihitung Envoy AI Gateway tidak memiliki satuan dan gateway tidak menyimpan harga; pemanggil yang diverifikasi gateway, karena tidak ada apa pun di jalur tersebut yang memverifikasi pemanggil; dan masa retensi, karena log tersebut tidak memiliki penyimpanan maupun pengaturan retensi. examples/envoy-ai-gateway-token-budget membangun seluruh jalur, dengan agen yang mencapai model terkelola OpenAI melalui gateway. -
agentgateway di depan model:
core/gateway/agentgateway, agentgateway sumber terbuka, melayani model yang terhubung ke soketmodelsmiliknya sendiri dari satu file konfigurasi yang dirender oleh Recipes miliknya. Setiap model yang terhubung adalah entri dalam file tersebut, dinamai dengan alias koneksi dan ditulis dariendpointdanmodelyang diterbitkan model sebagai penyedia chat completions yang kompatibel dengan OpenAI, sehingga setiap model yang terhubung dilayani di bawah/v1pada alamat gateway itu sendiri dan nama model yang dibawa permintaan yang memilihnya: permintaan mencapai model dengan meminta nama model yang diterbitkan model, dan nama yang tidak dibawa koneksi mana pun dijawab dengan HTTP 404. Gateway menyajikan kredensial milik setiap koneksi sebagai bearer token, yang dinamai file sebagai variabel yang dibaca gateway dari lingkungannya saat membaca file, dan variabel yang tidak ada di sana mencegahnya dimulai; koneksi yang mencapai model yangmodel.aggrega.ai/api-nya bukanopenaimenghentikan build. Gateway ini menerbitkan URL dasar/v1tersebut sebagaiendpoint-nya dan alias yang dinamaivalues.modelmiliknya sebagaimodel-nya, serta membawamodel.aggrega.ai/api: openai, sehingga soketmodelmilik agen menerimanya sebagaimana menerima gateway AI; tanpa apa pun yang terhubung, gateway ini menerbitkan kedua kunci dalam keadaan kosong. Dua Recipes menjalankan image yang sama, yang disematkan dengan digest:agentgateway-chartmerender chart Helm mandiri milik proyek, yang diambil dari registry proyek, dan merealisasikan kontrol di bawah ini, sedangkanagentgatewaymenjalankan image sebagai satu layanan Docker Compose dan tidak merealisasikan satu pun di antaranya, begitu pula pemanggil, sehingga pemasangan di sana menghentikan build dengan menyebut jenisnya; gunakan chart di Kubernetes, tempat build dapat mencapai registry tersebut. Pada chart, Release dapat menamai pemanggil gateway diinfra.callersdan kunci mereka melalui slotcaller_keys, seperti pada APISIX: setiap pemanggil adalah kunci API dari file, yang diperiksa dalam mode ketat dan dibaca berdasarkan nama dari Secret tersebut, sehingga permintaan model yang tidak menyajikan kunci terdeklarasi sebagaiAuthorization: Bearer <key>ditolak dengan HTTP 401, dan kunci dihapus dari permintaan yang diteruskan; tanpa pemanggil, rute model terbuka. agentgateway menyisipkan setiap kunci yang dinamai file dengan cara ini, kunci model yang terhubung pada kedua Recipe dan kunci pemanggil pada chart, ke dalam teks file sebelum membaca file sebagai YAML, sehingga kunci harus berupa token biasa — huruf, angka, dan-,.,_,~,+,/, serta=— dan karakter lain dapat termuat sebagai kunci yang berbeda atau menghentikan gateway. Gateway membaca ulang filenya saat file berubah, sehingga pemanggil yang dihapus dari Release ditolak segera setelah file yang di-mount diperbarui. Selamacore/audit-logging, ataucore/period-budgetdengan cakupancaller, terpasang, Recipe chart memberi gateway sebuah penyimpanan, yaitu file SQLite pada volume tersendiri, dan menjalankan satu replika. Dari kontrol di bawah ini, gateway ini merealisasikan penyamaran data, pola penolakan prompt, anggaran periode, pencatatan audit, dan kebijakan retry, masing-masing ditulis ke dalam file, dan menolak dengan menyebut nama setiap nilai yang tidak dapat dipenuhinya. Penyamaran data mengganti setiap kecocokan pola yang dicantumkan pemasangan dengan<masked>, atau di bawahrefusemenjawab permintaan atau balasan dengan HTTP 403, pada prompt sistem dan developer dari sebuah permintaan, pesan-pesan lainnya, serta argumen dan hasil panggilan alatnya, dan pada teks pesan dari balasan yang tiba secara utuh; fitur ini tidak mengenali jenis entitas apa pun dan tidak memulihkan apa pun. agentgateway tidak menyamarkan balasan yang di-stream, sehingga selama balasan disamarkan, permintaan model yang meminta balasan yang di-stream ditolak dengan HTTP 403 sebelum diteruskan, begitu pula setiap permintaan model yang body-nya lebih besar dari 2 MiB yang dibaca gateway untuk pemeriksaan tersebut, baik di-stream maupun tidak. Penolakan oleh sebuah guard, termasuk oleh pola penolakan, adalah HTTP 403 dengan body “The request was rejected due to inappropriate content” (Permintaan ditolak karena konten yang tidak pantas). Anggaran, catatan, dan retry dijelaskan dalam “Anggaran periode”, “Pencatatan audit”, dan “Ketahanan” di bawah. Realisasinya atas rantai fallback, pemilihan target, cache semantik, validasi respons, dan penyaringan prompt injection menghentikan setiap pemasangan, masing-masing dengan menyebutkan alasannya, dan batas konkurensi tidak dapat dipasang padanya, karena gateway ini tidak membawa nilaidataplane.aggrega.ai/concurrency-cap. -
Traefik Hub di depan model:
core/gateway/traefik-hub, gateway berbayar Traefik, melayani model yang terhubung ke soketmodelsmiliknya sendiri melalui middleware Chat Completion Traefik Hub. Satu-satunya realisasinya adalah Recipe chart di atas chart Helm milik Traefik sendiri; tidak ada realisasi compose. Gateway ini menjalankan image yang dinamai Release dalaminfra.image, termasuk tag-nya, karena Traefik mendistribusikan Traefik Hub di bawah ketentuannya sendiri sehingga katalog tidak menamai image apa pun; build berhenti selama kunci tersebut belum ditetapkan atau tidak menamai tag. Token lisensi mencapai gateway melalui referensi ke Secret yang terikat pada slotlicensewajib miliknya, di bawah kunci datatoken, tidak pernah sebagai nilai, dan build berhenti selama tidak ada yang mengikat slot tersebut atau Secret tersebut menerbitkan kunci data lain. Traefik memerlukan HTTPS keluar keapi.traefik.io, tempat gateway memvalidasi tokennya; sejak Traefik Hub v3.21, gateway tetap melayani selama host tersebut tidak dapat dijangkau sambil mencoba ulang di latar belakang, dan token berlaku satu tahun secara default, dengan gateway berhenti begitu token kedaluwarsa. Recipe chart menonaktifkan ekspor log kesalahan gateway oleh chart ke platform Traefik serta pemeriksaannya atas versi yang lebih baru. Compiler tidak memvalidasi token apa pun dan tidak menghubungi vendor mana pun, sehingga Release yang ter-build dengan bersih tidak mengatakan apa pun tentang apakah gateway akan dimulai. Setiap model yang terhubung mendapatkan rute di/<alias>/v1/chat/completions, yang dikirim keendpointyang diterbitkan model melalui Service bertipe ExternalName dan memintamodelyang diterbitkannya, apa pun nama model yang dibawa permintaan, sehingga path yang memilih model; gateway ini hanya melayani chat completions. Gateway menyajikan kredensial milik setiap koneksi sebagai bearer token, yang dibaca Traefik Hub dari Secret yang dinamai middleware Chat Completion milik koneksi, dan koneksi yang mencapai model yangmodel.aggrega.ai/api-nya bukanopenai, atau yang endpoint-nya menamai alamat alih-alih host, menghentikan build. Gateway ini menerbitkan rute alias yang dinamaivalues.modelmiliknya sebagaiendpoint-nya dan alias tersebut sebagaimodel-nya, serta membawamodel.aggrega.ai/api: openai, sehingga soketmodelmilik agen menerimanya sebagaimana menerima gateway AI; tanpa apa pun yang terhubung, gateway ini menerbitkan kedua kunci dalam keadaan kosong. Release dapat menamai pemanggil gateway diinfra.callersdan hash htpasswd dari kunci mereka melalui slotcaller_keys: middleware API Key Traefik Hub kemudian mengawali setiap rute model dan menolak permintaan yang tidak menyajikan kunci terdeklarasi sebagaiAuthorization: Bearer <key>, dan kunci dihapus dari permintaan yang diteruskan; tanpa pemanggil, rute terbuka. Apa yang dilakukan Traefik Hub terhadap entri pemanggil yang menamai Secret atau kunci data yang tidak ada tidak dinyatakan dalam referensinya, sehingga dalam kasus terburuk rute sama terbukanya seperti tanpa pemanggil. Dari kontrol di bawah ini, gateway ini merealisasikan anggaran periode, cache semantik untuk pemanggil yang dideklarasikannya, pola penolakan prompt, dan penyamaran data, melalui middleware gateway AI Traefik Hub, serta rantai fallback dan kebijakan retry, melalui failover dan retry milik Traefik sendiri, masing-masing ditulis ke dalam rute yang dirender Recipe chart-nya. Gateway AI adalah hak penggunaan yang termuat di dalam lisensi, yang tidak dapat dilihat oleh build mana pun, dan apa yang dilakukan Traefik Hub terhadap token valid yang lisensinya tidak memuat hak tersebut tidak didokumentasikan, sehingga memasang salah satu dari empat yang pertama menghentikan build hingga Release menetapkaninfra.ai_gateway_entitledketrue. Realisasinya atas penyaringan prompt injection, pencatatan audit, pemilihan target, dan validasi respons menghentikan setiap pemasangan, masing-masing dengan menyebutkan alasannya, dan batas konkurensi tidak dapat dipasang padanya, karena gateway ini tidak membawa nilaidataplane.aggrega.ai/concurrency-cap. Bahwa gateway yang sedang berjalan menegakkan salah satu kontrol ini tidak diamati oleh build mana pun. -
Higress di depan model:
core/gateway/higress, gateway sumber terbuka Higress, yang dibangun di atas Envoy dan dikonfigurasi melalui sumber daya Kubernetes, melayani model yang terhubung ke soketmodelsmiliknya sendiri melalui AI proxy Higress. Satu-satunya realisasinya adalah Recipe chart di atas Helm charthigress-coremilik proyek itu sendiri, yang menjalankan controller Higress, beserta layanan discovery-nya, dan gateway; tidak ada realisasi compose, karena proyek tersebut memaksudkan distribusi compose-nya terutama untuk pengujian lokal dan distribusi itu menjalankan beberapa layanan yang saling bekerja sama yang dikonfigurasi melalui penyimpanan miliknya sendiri. Recipe tersebut menyematkan chart, image, dan setiap modul plugin yang ditulisnya, serta hanya menerima diinfra.source_versionversi chart yang konfigurasinya telah terbukti; gateway mengambil modul-modul itu dari registri plugin Higress saat runtime, yang harus dapat dijangkau oleh klaster dan tidak dapat diperiksa oleh build. Controller hanya mengawasi namespace Release, di bawah IngressClass yang dinamai menurut gateway dan namespace tersebut, sehingga dua gateway Higress dalam satu namespace akan bertabrakan. Setiap alias mendapat rute di/<alias>/v1, yang dikirim keendpointyang dipublikasikan oleh model alias tersebut melalui entri registri milik gateway sendiri dan memintamodelyang dipublikasikannya, apa pun nama model yang dibawa permintaan, sehingga jalurlah yang memilih model; koneksi yang menyebut satu alias dalam nilaiservesmereka berbagi permintaan alias itu dalam porsi yang sama. Gateway menyajikan kredensial milik setiap koneksi sebagai bearer token, yang dibaca oleh controller Higress dari Secret yang disebut oleh konfigurasi AI proxy, di namespace gateway, lalu diserahkan ke gateway, sehingga kunci tidak ada di file hasil render mana pun; nama Secret yang mengandung titik menghentikan build, karena Higress membaca nama hingga titik pertamanya, dan koneksi yang tidak membawa kredensial meneruskan kunci yang disajikan oleh permintaan. AI proxy Higress juga menyalin headerAuthorizationyang dikirim klien ke headerX-HI-ORIGINAL-AUTH, dan setiap rute model menghapus salinan itu sebelum permintaan mencapai model, sehingga kunci yang disajikan klien tidak pernah berjalan di samping kredensial milik koneksi. Melalui https, gateway memeriksa bahwa sertifikat model berantai ke trust anchor sistem dan menyebut host model, apa pun host yang dikirim klien, dan jika tidak, tidak mengirim apa pun ke model: Recipe menandai rute setiap alias yang semua koneksinya https dengan anotasi Higresshigress.io/backend-protocol: HTTPS, sehingga gateway mengambil nama server dari host yang ditulis AI proxy ke setiap permintaan — host model, yang dikualifikasi dengan namespace model jika tidak mengandung titik — dan memeriksa sertifikat terhadapnya. Anotasi itu berlaku untuk setiap koneksi sebuah alias, sehingga alias yang mencampur koneksi http dan https menghentikan build, dengan menyebut keduanya; melayani keduanya di bawah dua alias mengatasinya. Koneksi yang menjangkau model yangmodel.aggrega.ai/api-nya bukanopenai, atau yang endpoint-nya menyebut alamat alih-alih host, menghentikan build. Gateway ini memublikasikan rute alias yang disebut olehvalues.model-nya sebagaiendpoint-nya dan alias itu sebagaimodel-nya, serta membawamodel.aggrega.ai/api: openai, sehingga soketmodelmilik agen menerimanya sebagaimana menerima AI gateway; jika tidak ada yang terhubung, ia memublikasikan kedua kunci itu kosong. Ia tidak mendeklarasikan pemanggil, sehingga rute modelnya tidak memeriksa kunci pemanggil mana pun, dan nilai yang memerlukan pemanggil yang diverifikasi gateway ditolak dengan menyebut namanya. Dari kontrol yang dijelaskan di bawah, ia merealisasikan anggaran periode, pencatatan audit, dan kebijakan percobaan ulang, masing-masing ditulis pada rute model, dan ia merealisasikancore/data-maskingsebagaimana dijelaskan dalam “Eksfiltrasi data dan intersepsi payload” di bawah. Realisasinya atas validasi respons, rantai fallback, cache semantik, penyaringan prompt injection, dan pemilihan target menghentikan setiap pemasangan, masing-masing dengan menyebut alasannya, dan baik pola penolakan prompt maupun batas konkurensi tidak dapat dipasang padanya, karena ia tidak membawa nilaidataplane.aggrega.ai/prompt-guardataudataplane.aggrega.ai/concurrency-cap. Bahwa gateway yang berjalan menegakkan salah satu kontrol ini tidak diamati oleh build mana pun. -
Azure API Management di depan model:
core/gateway/azure-api-management, AI gateway dari Azure API Management, sebuah layanan terkelola, melayani satu API model melalui API pada instans API Management yang sudah ada. Recipe terraform-nya membaca instans tersebut dan menambahkan API, operasi chat completions-nya, backend tujuan penerusannya, dan kebijakan API, yang menghapus kunci langganan pemanggil dari apa yang diteruskannya dan mengautentikasi ke API model sebagaimana disebutkaninfra.backend_authentication: dengan managed identity instans, dengan kunci penyedia yang disimpan di Key Vault, atau tanpa apa pun. Recipes helm dan compose-nya merujuk ke API yang dikonfigurasi di luar Release dan menghentikan build pada pemasangan apa pun. Dari kontrol yang dijelaskan di bawah, Recipe terraform-nya merealisasikan cache semantik, anggaran periode, penyaringan prompt injection, dan kebijakan percobaan ulang, masing-masing ditulis ke dalam kebijakan API. Ia tidak merealisasikan batas konkurensi, karena Microsoft menyebut batas yang ditegakkan kebijakan konkurensinya tidak pernah sepenuhnya akurat, dan lebih rendah ketika beberapa unit kapasitas berjalan di satu region, maupun rantai fallback, karena API meneruskan ke satu backend dan fallback milik Azure sendiri, yaitu grup prioritas dari backend pool, memindahkan permintaan berikutnya dari backend yang circuit breaker-nya telah terpicu alih-alih mengirim permintaan yang gagal ke model lain. Realisasinya atascore/audit-loggingmenghentikan setiap pemasangan, dengan menyebut apa yang di luar jangkauannya: log itu sendiri, yang diaktifkan oleh pengaturan diagnostik pada instans; biaya suatu permintaan, selamarequire_costaktif, karena log permintaan model Azure mencatat jumlah token dan model, tetapi tidak mencatat harga; dan masa retensi, jikaretention_daysdiberikan, karena sebuah baris bertahan selama ruang kerja Log Analytics tempat ia berada menyimpannya. Bahwa kebijakan diterapkan dan ditegakkan sebagaimana didokumentasikan Microsoft tidak diamati oleh build mana pun. -
Kunci yang disajikan pemanggil: Server yang memeriksa kunci yang disajikan pemanggilnya menyimpan kunci itu di slot miliknya sendiri, bernama
api_keypada setiap target penyaji model yang memeriksa kunci —core/ai-model/vllm,teidantgi, model LiteLLM, dan AI gateway, tempat kunci itu adalah yang disebut LiteLLM sebagai master key — dan setiap Recipes-nya mengirimkan kunci sebagai variabel yang dibaca server.core/gateway/apisixdancore/gateway/agentgatewaymasing-masing menyimpan satu kunci untuk setiap pemanggil yang disebut Release-nya diinfra.callers, di slotcaller_keys-nya: satu Secret, yang memuat kunci setiap pemanggil di bawah nama pemanggil itu.core/gateway/traefik-hubmenyimpan pemanggilnya dengan cara yang sama, kecuali bahwa Secret-nya memuat hash htpasswd dari kunci setiap pemanggil, yang dibandingkan oleh pemeriksaan kuncinya dengan kunci yang disajikan, sehingga itu bukan Secret tempat pemanggil menyajikan kuncinya. Pemanggil menyimpan kunci yang disajikannya di sisinya sendiri, pada koneksi tempat ia menyajikannya, di slot yang dideklarasikan soketnya: agen pustaka standar mendeklarasikannya pada soketmodelmereka,credential; AI gateway pada soketmodels-nya dan pada soketcache_store-nya, tempat itu adalah kata sandi yang disajikan cache semantik gateway ke penyimpanannya;core/gateway/kongdancore/gateway/kong-enterprisepada soketmodelsmereka;core/gateway/apisixpada soketmodels-nya dan pada soketcache_store-nya, tempat itu juga kata sandi yang disajikan cache semantiknya ke penyimpanannya;core/gateway/agentgatewaypada soketmodels-nya;core/gateway/envoy-gatewaypada soketmodels-nya dan pada soketcache-nya, tempat itu adalah kata sandi yang disajikan layanan pembatas laju gateway ke penyimpanan yang mencatat hitungan anggaran periode;core/gateway/higresspada soketmodels-nya dan pada soketcache-nya, tempat itu adalah kata sandi yang disajikan batas tokennya ke penyimpanan yang mencatat hitungan anggaran periode; dancore/gateway/traefik-hubpada soketmodels-nya, pada soketcache-nya, tempat itu adalah kata sandi yang disajikan kuotanya ke penyimpanan yang mencatat hitungan anggaran periode, dan pada soketcache_store-nya, tempat itu adalah kata sandi yang disajikan cache semantiknya ke penyimpanannya — sehingga agen yang menjangkau model, atau gateway yang menjangkau model yang dilayaninya, menyimpan kunci koneksi itu di sana. AI gateway, kedua Kong, APISIX, dan agentgateway mengirimkan kunci setiap model yang terhubung dalam variabel tersendiri, yang disebut oleh entri atau rute model itu dalam konfigurasi mereka; Envoy Gateway menyebut Secret dalam kebijakan keamanan backend model, dan controller Envoy AI Gateway membaca kunci darinya; Traefik Hub menyebut Secret dan kunci data dalam middleware Chat Completion pada rute model, dan membaca kunci darinya. Koneksi yang menjangkau model berlabelcomponent.aggrega.ai/hosting: managedmembawa satu kunci, atau menyatakan dalamvaluesmiliknya bahwa model tidak menerima kunci,unauthenticated: true; tanpa keduanya, asersi pemanggil menghentikan build dengan menyebut koneksi dan targetnya, dan model yang berlabel lain tidak memicu penghentian seperti itu. Kunci yang justru dideklarasikan Component pemanggil di slot miliknya sendiri adalah satu kunci untuk setiap koneksi yang dibuatnya. Tidak satu pun ujung melihat pemasangan ujung lainnya, sehingga server tidak mengetahui apa pun tentang kunci pemanggil, dan keduanya cocok karena Aggregate mengisi keduanya dari satu parameter: jika kedua ujung menyelesaikan secret dalam satu cakupan — satu namespace Kubernetes, satu proyek Compose — keduanya merujuk ke satu secret, dan jika tidak, masing-masing menyimpan miliknya sendiri, yang direalisasikan dari entri penyimpanan yang sama. vLLM, TEI, dan TGI masing-masing memeriksa satu kunci, sehingga setiap pemanggil menyajikan kunci yang sama dan server tidak dapat membedakan pemanggilnya, dan TGI mencocokkan kuncinya tanpa memperhatikan huruf besar-kecil; APISIX, agentgateway, dan Traefik Hub masing-masing memeriksa kunci setiap pemanggil yang dideklarasikan dan membedakan pemanggilnya berdasarkan kunci itu; kedua Kong tidak mendeklarasikan pemanggil dan tidak memeriksa kunci pemanggil mana pun, karena alasan yang diberikan “Kong di depan model” di atas; model LiteLLM dan AI gateway juga menerima kunci yang mereka terbitkan, selama basis data pembukuannya terpasang. Model kredensial menguraikan bentuk ini dalam satu Aggregate. -
Memilih di antara target:
core/target-selectionmendeklarasikan cara gateway memilih di antara beberapa target yang dapat melayani permintaan yang sama, denganstrategyberupalatency(target yang teramati menjawab paling cepat) ataucost(target yang paling murah untuk dipanggil). Strategi adalah bagian dari apa yang diminta aplikasi dari gateway-nya, sehingga pengembang memasangnya di Aggregate. Pada AI gateway, targetnya adalah entrivalues.models-nya yang memublikasikan alias yang sama — model yang terhubung dilayani di bawah alias koneksinya, yang tidak boleh dipublikasikan entri lain — dan pustaka standar merealisasikanlatencydengan menulislatency-based-routingmilik proxy ke dalam konfigurasi routing yang dirender Recipe gateway: proxy mengirim setiap permintaan ke entri yang sepuluh balasan terakhirnya memakan waktu rata-rata paling sedikit, per token keluaran jika balasan melaporkan tokennya, atau hingga token pertamanya untuk permintaan streaming, dan entri yang belum dicoba dihitung sebagai yang tercepat. Tanpa pemasangan, konfigurasi tidak menyebut strategi apa pun, dan proxy memilih secara acak di antara entri-entri itu.costditolak di sana dengan menyebut namanya: proxy menentukan harga sebuah entri dengan mencari targetnya, persis seperti yang tertulis, dalam tabel harga yang menyebut model OpenAI dan Anthropic tanpa awalan penyedia yang dibawa target gateway, dan memberi entri yang tidak ditemukannya harga cadangan tetap, sehingga entri yang berbagi alias akan dihargai sama dan dipilih menurut urutannya. Padacore/gateway/kong-enterprisesetiap pemasangan berhenti, karena setiap model yang terhubung ke sana dilayani pada rute tersendiri yang hanya membawa satu model itu, sehingga tidak ada yang bisa dipilih. Padacore/gateway/agentgatewaysetiap pemasangan juga berhenti, dengan menyebut alasannya: agentgateway mengambil secara acak dua target dari sebuah nama model dan mengambil yang kesehatannya, dibagi dengan waktu yang dibutuhkannya untuk menjawab, mendapat skor lebih tinggi, sehingga target tercepat hanya diambil jika terambil, dan ia tidak memilih target berdasarkan biaya. Padacore/gateway/higresssetiap pemasangan juga berhenti, dengan menyebut alasannya: Higress dapat mengukur latensi suatu layanan, tetapi plugin load balancer-nya berjalan setelah AI proxy — yang sudah menetapkan model, alamat, dan kredensial permintaan untuk kandidat yang diselesaikan rute — dan menulis pilihannya ke header permintaan yang tidak dipakai apa pun untuk routing tanpa filter Envoy yang tidak dirender katalog ini, sehingga pilihan itu tidak berlaku, dan ia tidak memilih target berdasarkan biaya. Padacore/gateway/traefik-hubsetiap pemasangan juga berhenti, dengan menyebut alasannya: Traefik memilih berdasarkan waktu respons terendah hanya di antara server dari satu Service, yang dicakup oleh satu nama model dan satu kredensial, dan di antara Service menyeimbangkan berdasarkan bobot atau hash alamat klien, tidak pernah berdasarkan latensi, dan tidak satu pun strateginya memilih target berdasarkan biaya; selain itu, setiap model yang terhubung ke gateway dilayani pada rute tersendiri yang hanya membawa satu model itu, sehingga tidak ada yang bisa dipilih. Pada gateway lain mana pun, pemasangan menghentikan build. -
Ketahanan:
core/fallback-chainmeneruskan permintaan yang modelnya gagal ke model lain:chainsmenyebutkan, untuk setiap alias model yang beralih ke cadangan, alias yang dicoba secara berurutan hingga salah satunya menjawab, dengan cadangan yang gagal pada gilirannya mengikuti entrinya sendiri, danmax_hopsmembatasi seberapa jauh sepanjang rantai itu sebuah permintaan diteruskan. Pustaka standar mewujudkannya pada gateway AI dengan menulis keduanya ke dalam konfigurasi perutean yang dirender oleh Recipe gateway, dan menghentikan build pada nama yang tidak dipublikasikan oleh peta model gateway. Sebuah permintaan beralih ke cadangan hanya setelah gateway menyerah pada alias yang dimintanya: jika satu alias dipublikasikan lebih dari sekali, panggilan yang gagal terlebih dahulu berpindah ke entri lain dari alias itu sebagai percobaan ulang, dibatasi oleh jumlah percobaan ulang gateway.core/retry-policymenetapkan jumlah itu — berapa kali gateway dapat mengirim permintaan, termasuk pengiriman pertama (max_attempts), untuk kegagalan yang berhasil jika dikirim ulang, seperti koneksi yang ditolak, batas laju, atau timeout — dan pustaka standar mewujudkannya pada gateway AI dengan menuliskannya ke dalam konfigurasi perutean yang dirender oleh Recipe gateway. Padacore/gateway/envoy-gateway, ini diwujudkan sebagai retry dari traffic policy pada rute yang melayani model yang tersambung, policy yang sama yang membawa batas laju anggaran periode, karena Envoy Gateway melampirkan satu traffic policy ke satu rute: permintaan dikirim ulang setelah koneksi atau stream yang ditolak, reset, atau balasan 429, 503, atau 504, hinggamax_attemptspengiriman, dan model yang tidak menjawab apa pun dalam timeout permintaan rute tidak dikirimi ulang, karena timeout itu mencakup semua pengiriman. Padacore/gateway/azure-api-management, ini diwujudkan sebagai retry Azure di sekitar penerusan, di bagian backend dari policy API: permintaan yang dijawab dengan HTTP 429 atau status 5xx dikirim ulang, dengan body-nya ditahan agar dapat dikirim ulang, satu detik setelah pengiriman sebelumnya, hinggamax_attemptspengiriman. Koneksi yang ditolak atau terputus, dan model yang tidak menjawab apa pun dalam timeout penerusan, tidak memicu pengiriman ulang, karena Azure mengakhiri retry pada galat seperti itu dan menyerahkannya ke bagian on-error dari policy. Azure mencoba ulang 1 hingga 50 kali setelah pengiriman pertama, sehinggamax_attemptsbernilai 1 tidak menulis retry apa pun dan nilai di atas 51 ditolak secara eksplisit. Retry menggantikan penerusan yang akan diwarisi API, sehingga selama retry terlampir, pengaturan penerusan yang dibuat pada cakupan instans yang lebih luas, seperti timeout, tidak berlaku untuk API, yang meneruskan dengan default Azure. Pada gateway yang di-hosting,core/retry-policydiwujudkan dengan menulis ke dalam resource gateway jumlah percobaan ulangnya, yang menyebutkan pengiriman setelah yang pertama, dari 1 hingga 5, sehinggamax_attemptsdari 2 hingga 6 dihormati dan nilai lain ditolak;core/fallback-chaintidak diwujudkan di sana, karena gateway itu beralih antarmodel hanya di dalam rute yang disebut oleh permintaan sebagai pengganti model, sehingga permintaan untuk sebuah model tidak pernah beralih ke cadangan. Padacore/gateway/kong-enterprise,core/fallback-chaindiwujudkan pada Recipe chart-nya: rute chat dan completion dari setiap alias yang diberi entri olehchainsmembawa AI Proxy Advanced milik Kong sebagai pengganti AI proxy-nya, dengan model alias dan model-model tempat jalurnya beralih sebagai target dalam urutan prioritas — alias, lalu cadangan entrinya secara berurutan, dengan entri milik cadangan diikuti pada gilirannya hanya selama yang terhitung masih kurang darimax_hops. Balancer mengirim permintaan ke setiap target jalur sekali, secara berurutan, hingga salah satunya menjawab, berpindah setelah galat atau timeout koneksi, header balasan yang tidak valid, atau balasan 429, 500, 502, 503, atau 504, dan mengembalikan setiap balasan lain sebagaimana adanya. Build berhenti pada nama yang tidak dibawa oleh soketmodels, pada jalur yang mencapai sebuah alias dua kali, di sampingcore/retry-policy, karena Kong menyimpan satu jumlah percobaan ulang untuk seluruh jalur dan tidak dapat mengirim ulang ke sebuah model sebelum beralih ke cadangan, dan pada image gateway yang lebih lama dari 3.12.core/retry-policytidak diwujudkan di sana, dan perwujudannya menghentikan setiap lampiran dengan menyebutkan alasannya: setiap model yang tersambung dilayani pada rutenya sendiri yang hanya membawa model itu, sehingga retry harus mengirim ulang permintaan ke target yang sama, dan referensi Kong dapat dibaca dua arah mengenai apakah balancer-nya melakukannya. Padacore/gateway/agentgateway,core/retry-policydiwujudkan pada Recipe chart sebagai policy retry dari konfigurasi gateway itu sendiri, dilampirkan ke listener tempat permintaan modelnya tiba: permintaan dikirim ulang, segera dan ke model yang sama, setelah balasan 429, 500, 502, 503, atau 504, koneksi yang ditolak atau di-reset, koneksi yang membutuhkan lebih dari 11 detik untuk terbuka, atau pencarian nama yang gagal, hinggamax_attemptspengiriman. agentgateway mengirim permintaan satu kali lebih banyak daripada jumlah percobaan policy-nya, sehingga policy ditulis sebagaimax_attemptsdikurangi satu,max_attempts1 tidak menulis apa pun, dan nilai di atas 256 ditolak secara eksplisit. Permintaan yang body-nya lebih besar dari 64 KiB dikirim sekali, dan konfigurasi tidak menetapkan timeout, sehingga model yang menerima koneksi dan tidak menjawab apa pun ditunggu alih-alih dikirimi ulang.core/fallback-chaintidak diwujudkan di sana, dan perwujudannya menghentikan setiap lampiran dengan menyebutkan alasannya: agentgateway berpindah antarmodel dengan menyingkirkan model yang gagal untuk permintaan berikutnya, sementara permintaan yang gagal dijawab dengan kegagalannya, sehingga tidak ada permintaan yang dijalankan sepanjang rantai. Padacore/gateway/higress,core/retry-policydiwujudkan sebagai retry milik rute itu sendiri, ditulis sebagai anotasi Ingress pada setiap rute model: permintaan dikirim ulang setelah koneksi yang ditolak atau di-reset, balasan 5xx, atau 429, termasuk POST, hinggamax_attemptspengiriman;max_attempts1 menonaktifkan retry, menimpa retry yang diberikan control plane Higress kepada rute tanpa anotasi, dan nilai di atas 2147483648 ditolak secara eksplisit. Model yang menerima koneksi lalu tidak menjawab apa pun atau menjawab lambat tidak dikirimi ulang, karena rute tidak menetapkan tenggat per percobaan, dan permintaan streaming dikirim ulang hanya sebelum balasannya dimulai.core/fallback-chainjuga tidak diwujudkan di sana, dan perwujudannya menghentikan setiap lampiran dengan menyebutkan alasannya: Higress meneruskan permintaan yang gagal paling banyak sekali, ke satu tujuan lain — backend default sebuah rute, atau satu-satunya rute cadangan yang ditulis konsolnya untuk rute AI — sehingga tidak ada permintaan yang dijalankan sepanjang rantai. Padacore/gateway/traefik-hub, keduanya diwujudkan pada Recipe chart, dan masing-masing menghentikan build pada image Traefik Hub yang lebih lama dari v3.20, yang failover-nya tidak menerima middleware pada layanan yang dicobanya dan yang retry-nya tidak dapat mengirim ulang POST berdasarkan status balasan — kecuali policy retry dengan satu pengiriman.core/fallback-chainmelewatkan rute setiap alias yang diberi entri olehchainsmelalui failover bersarang milik Traefik sendiri, mencoba model-model dalam jalur alias secara berurutan — alias, lalu cadangan entrinya secara berurutan, dengan entri milik cadangan diikuti pada gilirannya hanya selama yang terhitung masih kurang darimax_hops— masing-masing dengan nama model, kredensial, kuota, dan retry-nya sendiri. Balasan 429 atau 500 hingga 504 dari sebuah model, setelah retry model itu jika ada, memindahkan permintaan ke model berikutnya; balasan lain dikembalikan sebagaimana adanya, balasan model terakhir apa pun bentuknya, dan body permintaan di atas 1 MiB ditolak dengan HTTP 413 alih-alih dikirim. Build berhenti pada nama yang tidak dibawa oleh soketmodelsdan pada jalur yang mencapai sebuah alias dua kali.core/retry-policyadalah middleware retry Traefik, yang terakhir pada setiap rute model, atau pada setiap model yang dicoba sebuah jalur: permintaan dikirim ulang segera setelah koneksi yang tidak membawa apa pun ke model dan setelah balasan 429 atau 500 hingga 504, termasuk POST, hinggamax_attemptspengiriman, termasuk yang pertama, danmax_attempts1 tidak menulis apa pun. Setelah balasan yang dibentuk gateway sendiri — penolakan oleh pemeriksaan kuncinya, sebuah guard, masking, atau kuota — permintaan tidak pernah dikirim ulang, begitu pula setelah balasan streaming yang sudah dimulai. -
Anggaran periode:
core/period-budgetmembatasi apa yang boleh dikonsumsi oleh lalu lintas yang melewati gateway selama satu periode: sebuahlimit,periodyang dicakupnya, sebuahscope— semua yang dilayani gateway, setiap pemanggil, atau setiap model — dan sebuahunit— biaya dalam dolar AS atau token — dan begitu yang telah dihitung gateway selama periode itu melampaui batas, permintaan model berikutnya ditolak. Anggaran ini dapat dilekatkan pada komponen apa pun yang mendeklarasikandataplane.aggrega.ai/period-budget. Pustaka standar mewujudkannya pada gateway AI, yang anggarannya mencakup semua yang dilayani gateway, dihitung dalam dolar AS, dan dimulai lagi pada awal setiap periode — sejumlah hari sejak tengah malam UTC, atau satu bulan kalender sejak hari pertamanya: perwujudan menulis batas dan periode ke dalam konfigurasi yang dirender oleh Recipe gateway, menolak dengan menyebut namanya unit, cakupan, atau periode lain apa pun — termasuk30d, yang dihitung gateway sebagai satu bulan kalender — dan berhenti kecuali slot kredensialdatabase_urldanapi_keymilik gateway keduanya dilekatkan, karena tanpa basis data pembukuannya gateway tidak menyimpan hitungan apa pun dan tanpa kunci administratif gateway tidak memeriksa pemanggil mana pun terhadap anggaran. Begitu hitungan melampaui batas, gateway menolak permintaan model dari kunci administratif maupun dari setiap pemanggil; daftar model dan pengelolaan kuncinya tetap menjawab kunci tersebut. Pada gateway yang di-hosting, anggaran ini diwujudkan sebagai aturan batas pengeluaran pada resource gateway, dihitung dalam dolar AS selama jendela yang bergerak maju seiring waktu —periodterakhir, untuk model yang harganya diketahui gateway — untuk semua yang dilayani gateway: anggaran per pemanggil atau per model, token, dan bulan kalender ditolak dengan menyebut namanya. Padacore/gateway/apisix, anggaran ini diwujudkan pada Recipe chart, ditulis ke rute model yang tersambung sebagai pembatasan laju token APISIX: dihitung dalam token yang dilaporkan oleh balasan setiap model —total_tokens,prompt_tokens, ataucompletion_tokens— selama jendela tetap sepanjangperiodyang dibuka oleh permintaan model pertama setelah jendela sebelumnya ditutup, bukan menurut jam, untuk semua yang dilayani gateway, untuk setiap model yang tersambung secara terpisah, atau untuk setiap pemanggil yang dideklarasikan oleh Release miliknya dalaminfra.callerssecara terpisah, dengan gateway membedakan mereka berdasarkan kunci yang diajukan masing-masing. Begitu hitungan mencapai batas, gateway menjawab permintaan model dengan HTTP 503 hingga jendela ditutup; token suatu permintaan ditambahkan begitu balasannya selesai, sehingga permintaan yang mencapai batas tetap dilayani, dan balasan yang dilayani oleh cache semantiknya tidak dihitung sama sekali dan dilayani melewati batas. APISIX tidak menghitung token pada permintaan completion, sehingga selama anggaran dilekatkan setiap model yang tersambung hanya mendapat rute chat-nya, dan APISIX menyimpan hitungan di memori proses gateway, sehingga chart menjalankan satu replika dan restart membuka jendela baru. Anggaran dalam dolar AS, anggaran per pemanggil selamainfra.callerstidak mendeklarasikan satu pun, bulan kalender, dan anggaran kedua pada satu gateway ditolak dengan menyebut namanya, demikian pula pelekatan pada Recipe workload miliknya, yang tidak merender rute apa pun. Padacore/gateway/envoy-gateway, anggaran ini diwujudkan sebagai batas laju berbasis penggunaan dari Envoy Gateway, pada rute AI yang melayani model-model yang tersambung ke gateway: rute mendeklarasikan hitungan token yang disebut olehunit—total_tokens,prompt_tokens, ataucompletion_tokens— sebagai biaya yang dibaca Envoy AI Gateway dari setiap balasan, dan traffic policy pada rute itu membebankannya saat balasan selesai, terhadaplimittoken per satu unit batas laju Envoy Gateway, untuk semua yang dilayani gateway atau untuk setiap model yang tersambung secara terpisah. Setiap jendela ditetapkan menurut jam UTC — satu detik, satu menit, satu jam, satu hari sejak tengah malam, satu minggu sejak hari Kamis, atau 30 atau 365 hari yang dihitung sejak 1 Januari 1970 — dan1moadalah satu bulan kalender, berdasarkan pengaturan layanan batas laju Envoy Gateway yang kemudian berlaku untuk setiap batas laju bulanan yang disimpan instalasi tersebut. Hitungan disimpan oleh layanan batas laju yang dibuat dan diaktifkan oleh control plane Envoy Gateway untuk setiap gateway yang dilayaninya, di penyimpanan berprotokol Redis yang tersambung ke soketcachegateway. Begitu hitungan melampaui batas, gateway menjawab permintaan model dengan HTTP 429 hingga jendela berakhir; token suatu permintaan ditambahkan begitu balasannya selesai, sehingga permintaan yang melewati batas tetap dilayani. Selama penyimpanan atau layanan batas laju tidak dapat dijangkau, atau suatu pemeriksaan memakan waktu lebih lama dari batas waktu batas laju Envoy, permintaan model ditolak dengan HTTP 500, berdasarkan pengaturan control plane Envoy Gateway yang kemudian berlaku untuk setiap batas laju yang disimpan instalasi tersebut, sehingga batas laju yang diterapkan padanya secara manual juga gagal tertutup; permintaan yang diterima tepat sebelum gangguan tetap dilayani dan tidak dihitung, karena tokennya dibebankan setelah balasan, dan penyimpanan yang menyimpan hitungan di memori memulai setiap jendela dari awal saat restart. Anggaran dalam dolar AS, anggaran per pemanggil — gateway membedakan pemanggil hanya berdasarkan header yang ditulis sendiri oleh pemanggil, dan tidak ada apa pun di jalur itu yang memverifikasinya — periode lain apa pun, dan anggaran kedua pada satu gateway ditolak dengan menyebut namanya, demikian pula pelekatan tanpa apa pun yang tersambung ke soketmodelsatau soketcache. Padacore/gateway/azure-api-management, anggaran ini diwujudkan sebagai batas token Azure, ditulis ke dalam kebijakan API: dihitung dalam token prompt dan completion yang dilaporkan setiap balasan, secara bersama-sama, untuk semua yang dilayani API atau untuk setiap langganan API Management, yang kuncinya diverifikasi gateway — berupa kuota selama jendela tetap menurut jam UTC, yaitu satu jam, satu hari, satu minggu, satu bulan kalender, atau satu tahun kalender (1h,1d,7d,1mo, atau12mo; Microsoft tidak menyebutkan hari apa minggu dimulai), yang dijawab dengan HTTP 403 setelah terlampaui, atau berupa laju selama satu menit (1m), yang dijawab dengan HTTP 429 dan dihitung selama jendela geser pada tingkatan klasik dan sebagai token bucket pada tingkatan v2. Hitungan adalah penggunaan yang dilaporkan setiap balasan, sehingga permintaan yang bersamaan dapat melewati batas, dan setiap gateway dari instans menyimpan hitungannya sendiri. Anggaran dalam dolar AS atau hanya dalam token prompt atau completion, anggaran per model — model yang disebut suatu permintaan ditulis oleh pemanggil, dan beberapa nama dapat mencapai satu model — anggaran per langganan pada API yang tidak mewajibkan kunci langganan, periode lain apa pun, dan batas yang bukan bilangan bulat ditolak dengan menyebut namanya. Tingkatan Consumption tidak menjalankan batas token apa pun. Padacore/gateway/kong-enterprise, anggaran ini diwujudkan pada Recipe chart, ditulis ke rute yang diimpor gateway sebagai AI Rate Limiting Advanced dari Kong: dihitung dalam token yang dilaporkan balasan setiap model —total_tokens,prompt_tokens, ataucompletion_tokens— dalam jendela tetap sepanjangperiod, yaitu sejumlah detik, menit, jam, atau hari, dengan setiap permintaan dihitung dalam satu jendela tempat waktunya jatuh, untuk semua yang dilayani gateway atau untuk setiap model yang tersambung secara terpisah, dengan permintaan di bawah cakupanmodeldihitung terhadap alias yang disebutnya, model mana pun yang menjawabnya. Begitu hitungan mencapai batas, permintaan model berikutnya dijawab dengan HTTP 429 hingga jendela berakhir, sehingga permintaan yang melewati batas tetap dilayani; Kong juga dapat menolak permintaan lebih awal, berdasarkan perkiraannya sendiri atas token prompt yang dibawanya. Hitungan disimpan di backend PostgreSQL gateway, dibagikan oleh setiap replika dan dipertahankan melewati restart. Anggaran dalam dolar AS — Kong menghitung biaya hanya dari harga yang diberikan konfigurasinya untuk setiap model, dan katalog tidak menyediakan satu pun — anggaran per pemanggil — Kong membedakan pemanggil hanya sebagai consumer yang disebut oleh plugin autentikasi, dan gateway tidak mendeklarasikan pemanggil, karena alasan yang diberikan “Kong di depan model” di atas — bulan kalender, anggaran kedua pada satu gateway, dan image gateway yang lebih lama dari 3.15 ditolak dengan menyebut namanya, demikian pula pelekatan tanpa apa pun yang tersambung ke soketmodels. Padacore/gateway/agentgateway, anggaran ini diwujudkan pada Recipe chart, ditulis ke dalam konfigurasi gateway dan dihitung dalam total token yang dilaporkan setiap balasan: di bawah cakupancallersebagai anggaran pada kunci API setiap pemanggil yang dideklarasikan oleh Release miliknya dalaminfra.callers, selama jendela tetap sepanjangperiodyang diselaraskan dengan epoch Unix, dengan satu hari dimulai pada tengah malam UTC, disimpan di penyimpanan SQLite pada volume yang dirender Recipe, dengan satu replika; di bawah cakupangatewayataumodelsebagai token bucket untuk semua yang dilayani gateway atau untuk setiap nama model yang diminta suatu permintaan, diisi hingga batas setiapperiodsejak gateway membaca konfigurasinya dan disimpan di memorinya, sehingga restart atau konfigurasi yang diubah mengisinya kembali. Begitu yang dihitung mencapai batas, permintaan model dijawab dengan HTTP 429 hingga jendela berakhir atau bucket terisi; permintaan yang mencapainya tetap dilayani. Anggaran dalam dolar AS — katalog biaya model gateway tidak memberi harga untuk satu pun model yang tersambung kepadanya, sehingga anggaran tidak akan menghitung apa pun — hanya dalam token prompt atau completion, anggaran per pemanggil selamainfra.callerstidak mendeklarasikan satu pun, bulan kalender, batas yang bukan bilangan bulat, dan anggaran kedua pada satu gateway ditolak dengan menyebut namanya, demikian pula pelekatan tanpa apa pun yang tersambung ke soketmodels; Recipe compose miliknya tidak memiliki perwujudannya. Padacore/gateway/traefik-hub, anggaran ini diwujudkan pada Recipe chart sebagai middleware kuota Traefik Hub pada rute setiap model yang tersambung, yang menyimpan hitungannya di penyimpanan berprotokol Redis yang tersambung ke soketcachegateway: middleware ini menghitung token yang dilaporkan setiap balasan —total_tokens,prompt_tokens, ataucompletion_tokens— atau, di bawahusd, biayanya dalam dolar AS, yang harganya diambil dari daftar model yang disertakan bersama middleware, dengan model yang tidak memiliki harga ditolak dengan HTTP 422, selama jendela yang bergeser seiring waktu, dengan apa yang dihitung pada satu saat dibebaskan kembali satu periode kemudian, untuk setiap model yang tersambung secara terpisah, atau untuk semua yang dilayani gateway selama satu model tersambung. Begitu hitungan mencapai batas, permintaan model ditolak dengan HTTP 429; hitungan suatu permintaan ditambahkan begitu balasannya selesai, sehingga permintaan yang melewati batas, dan permintaan mana pun yang dilayani bersamanya, tetap dilayani, dan balasan yang dilayani cache semantik tidak dihitung sama sekali. Referensi Traefik menyebutkan bahwa kuota melayani permintaan tanpa menghitungnya selama penyimpanan tidak dapat dijangkau. Anggaran per pemanggil — kuota membedakan permintaan berdasarkan alamat klien, header permintaan, atau host permintaan, dan tidak satu pun darinya adalah pemanggil yang diverifikasi oleh pemeriksaan kunci gateway — anggaran untuk seluruh gateway selama beberapa model tersambung, karena referensi Traefik tidak menyebutkan apakah rute yang menyebut satu kuota berbagi hitungannya, bulan kalender, dan periode apa pun selain jam atau hari, atau menit atau detik yang membentuk jam penuh, ditolak dengan menyebut namanya, demikian pula batas yang bukan bilangan bulat token dan pelekatan tanpa apa pun yang tersambung ke soketmodelsatau soketcache. Padacore/gateway/higress, anggaran ini diwujudkan pada Recipe chart sebagai plugin batas token Higress pada rute setiap model yang tersambung, yang menyimpan hitungannya di penyimpanan berprotokol Redis yang tersambung ke soketcachegateway: plugin ini menjumlahkan token prompt dan completion yang dilaporkan setiap balasan, secara bersama-sama, begitu balasan selesai, selama jendela tetap sepanjangperiod— satu detik, satu menit, satu jam, atau satu hari — yang dibuka saat balasan pertama di dalamnya dihitung, untuk semua yang dilayani gateway atau untuk setiap alias secara terpisah. Selama hitungan melampaui batas, permintaan model dijawab dengan HTTP 429 hingga jendela berakhir, sehingga permintaan yang melewati batas tetap dilayani. Balasan yang tidak melaporkan penggunaan tidak dihitung sama sekali, sehingga Recipe meminta model dari permintaan streaming untuk melaporkan penggunaannya dan menolak dengan HTTP 403 permintaan streaming yang mematikan laporan itu, permintaan yang tipe kontennya tidak mengandungapplication/jsondan tidak diawalimultipart/form-data, yang diteruskan proxy AI tanpa meminta laporan, dan permintaan yang body-nya tidak dibaca oleh plugin gateway — body terkompresi, tipe konten yang mengandungoctet-streamataugrpc, upgrade; klien yang dengan sengaja mengirim body yang tidak dapat didekode oleh validasi gateway lolos dari penolakan tersebut, dan permintaan streaming seperti itu tidak terhitung. Tanpa masking yang dilekatkan, permintaan yang body-nya melebihi buffer 32 KiB gateway dapat ditolak dengan HTTP 413, tergantung kapan penyimpanan menjawab. Selama penyimpanan tidak dapat dijangkau, permintaan model dilayani dan tidak dihitung: plugin tidak memiliki pengaturan yang menolaknya pada saat itu. Anggaran dalam dolar AS atau hanya dalam token prompt atau completion, anggaran per pemanggil — gateway tidak mendeklarasikan pemanggil, sehingga tidak memverifikasi satu pun — periode lain apa pun, batas yang bukan bilangan bulat, dan anggaran kedua pada satu gateway ditolak dengan menyebut namanya, demikian pula pelekatan tanpa apa pun yang tersambung ke soketmodelsatau soketcache. -
Konkurensi:
core/concurrency-limitmembatasi berapa banyak permintaan yang dibawa gateway sekaligus (max_in_flight), yang mencegah lonjakan pemanggil berubah menjadi antrean di model di belakangnya.scopemenyatakan apa yang dihitung oleh satu batas:gateway, nilai default, menghitung setiap permintaan yang diteruskan gateway secara bersama-sama;modelmemberi setiap target yang dikirimi permintaan oleh gateway hitungannya sendiri, dengan target berupa setiap entri upstream yang menjadi tujuan perutean gateway, sehingga jika satu nama model memiliki beberapa entri, masing-masing dihitung secara terpisah. Batas dan cakupannya adalah penentuan kapasitas yang diputuskan operator, ditetapkan dalaminfrapelekatan, sehingga operator melekatkannya dalam Release. Batas dihitung per proxy yang berjalan, sehingga jika beberapa replika berjalan, masing-masing menerima sebanyak itu. Batas ini dapat dilekatkan pada komponen apa pun yang mendeklarasikandataplane.aggrega.ai/concurrency-cap, dan suatu perwujudan menolak dengan menyebut namanya cakupan yang tidak dihitung oleh gateway-nya. Padacore/gateway/nginx, cakupangatewaydiwujudkan sebagailimit_connNGINX, dengan kunci berupa satu kata yang sama untuk setiap permintaan, sehingga NGINX menghitung setiap permintaan yang sedang diprosesnya sebagai satu total, yang disimpan dalam memori yang dibagikan oleh proses worker-nya, dan menjawab permintaan yang melewati batas dengan HTTP 503; cakupanmodelditolak, karena NGINX tidak menyimpan hitungan untuk setiap target upstream, demikian pulamax_in_flightdi atas 65535, nilai maksimum yang diterimalimit_conn. Padacore/gateway/envoy-gateway, cakupanmodeldiwujudkan sebagai circuit breaker dari traffic policy pada rute yang melayani model-model yang tersambung, yaitu policy yang juga membawa batas laju anggaran periode dan percobaan ulang dari kebijakan percobaan ulang: Envoy Gateway menerapkannya pada backend setiap aturan rute itu, dan setiap model yang tersambung memiliki aturannya sendiri, sehingga paling banyakmax_in_flightpermintaan dikirim ke setiap model yang tersambung sekaligus, dan permintaan yang melewati batas dijawab dengan HTTP 503 dan tidak dikirim lagi; pengiriman yang diulang oleh kebijakan percobaan ulang dihitung terhadap batas seperti yang pertama. Thread worker Envoy memeriksa hitungan lalu menambahkannya, sehingga permintaan yang tiba bersamaan dapat membawanya sebentar di atas batas. Cakupangatewayditolak, karena Envoy Gateway menyimpan batas untuk setiap backend dan tidak ada untuk totalnya, demikian pula pelekatan tanpa apa pun yang tersambung ke soketmodels. Pada gateway AI, cakupanmodeldiwujudkan sebagaimax_parallel_requestsdari setiap entri peta modelnya, baik yang diketik manual maupun yang tersambung: paling banyakmax_in_flightpermintaan sedang berjalan ke setiap entri sekaligus, dan permintaan yang mendapati entrinya penuh dijawab dengan HTTP 429 — setelah percobaan ulang gateway jika aliasnya memiliki satu entri, dan segera jika memiliki beberapa, bahkan selagi entri lain masih memiliki ruang, karena proxy memilih entri sebelum menghitung — kecualicore/fallback-chainmencantumkan fallback untuk aliasnya, yang kemudian menjadi tujuan pengiriman permintaan tersebut. Proxy menyimpan setiap hitungan di memori, tempat secara default sebuah catatan kedaluwarsa sepuluh menit setelah dibuat dan hitungan baru kemudian dimulai dari nol, sehingga pelekatan juga menetapkan masa hidup itu menjadi satu abad, mempertahankan setiap hitungan selama proxy berjalan. Karena masa hidup itu, gateway menolak permintaan yang membawapriorityselama batas dilekatkan, bahkan jika Release mengizinkan field tersebut, karena proxy menyimpan entri antrean untuk setiap permintaan semacam itu hingga catatannya kedaluwarsa; dan build berhenti pada peta model berisi lebih dari 100 entri, karena di atas jumlah itu penyimpanan tempat hitungan disimpan, yang memuat 200 catatan dan membuang satu setiap kali penuh, dapat membuang sebuah hitungan. Cakupangatewayditolak di sana, karena satu-satunya total milik proxy hanya dibaca oleh pembatas permintaan yang diaktifkan oleh variabel lingkungan, yang menghitung permintaan selama detik pertamanya. Gateway yang di-hosting juga tidak mewujudkannya: batas permintaan yang ditulis Recipe terraform miliknya ke dalam resource gateway adalah laju, yaitu jumlah permintaan selama suatu interval, bukan batas atas permintaan yang sedang berjalan. -
Pencatatan audit:
core/audit-loggingmembuat gateway menyimpan catatan setiap permintaan model yang dilayaninya, yang menyebutkan model yang menjawab dan token yang dilaporkan balasan, dan setiap realisasi menyatakan ke mana catatan itu berakhir. Ini dilampirkan ke komponen apa pun yang membawagateway.aggrega.ai/intelligence: semantic, dan ketiga nilainya adalah milik operator, ditetapkan diinfra-nya, sehingga operatorlah yang melampirkannya di Release.require_cost, aktif secara default, membuat catatan juga menyebutkan biaya setiap permintaan, dalam mata uang yang disebutkan realisasi.require_verified_caller, aktif secara default, membuat catatan menyebutkan pemanggil yang diverifikasi gateway, melalui kunci yang diterbitkan atau diperiksa gateway.retention_days, tidak ditetapkan secara default, membuat gateway menghapus catatan setelah catatan itu berumur sebanyak hari tersebut; tanpanya, gateway sendiri tidak menghapus catatan apa pun, dan catatan bertahan selama tempat ia berakhir menyimpannya. Gateway yang tidak dapat memenuhi suatu nilai menolak lampiran saat build, dengan menyebutkan nilai tersebut, sehingga lampiran yang membiarkanrequire_costdanrequire_verified_callerpada nilai default-nya mendapatkan biaya dan pemanggil terverifikasi, atau penghentian. Menonaktifkanrequire_verified_callerberarti menerima catatan yang pemanggilnya adalah apa pun yang diklaim permintaan itu sendiri, atau tanpa pemanggil sama sekali: siapa pun yang mengirim permintaan kemudian dapat membuatnya dicatat atas nama pemanggil lain, sehingga catatan seperti itu tidak menunjukkan siapa yang mengirim permintaan. Pada gateway AI, catatan adalah baris di basis data pembukuan gateway, dan setiap nilai dipenuhi: baris itu menyebutkan biaya permintaan dalam dolar AS, dihargai dari tabel yang disimpan gateway per model — model yang tidak dihargai tabel dicatat tanpa biaya — dan menyebutkan kunci yang diverifikasi gateway, beserta pengguna dan tim pemilik kunci tersebut, sedangkan pengguna akhir yang disebutkan suatu baris adalah apa pun yang ditulis permintaan, tanpa diperiksa. Tanpa basis data pembukuannya, gateway tidak menulis baris apa pun, dan tanpa kunci administratif gateway tidak memeriksa pemanggil apa pun dan tidak menulis baris untuk permintaan yang tidak menyajikan kunci dan tidak menyebutkan pengguna akhir, sehingga build berhenti kecuali slot kredensialdatabase_urldanapi_keymilik gateway keduanya dilampirkan; selamavalues.log_maskingmilik gateway mencantumkan apa yang harus disamarkan, gateway hanya mencatat permintaan yang dijawab. Padacore/gateway/envoy-gateway, catatan adalah baris log akses gateway, yang ditulis Recipe-nya selama lampiran ada: satu baris JSON per permintaan pada output standar data plane, yang membawa kolom yang ditulis Envoy Gateway secara default, model yang disebutkan permintaan, model yang menjawab, serta token prompt, completion, dan total yang dilaporkan balasan, dengan rute yang melayani model mendeklarasikan hitungan tersebut agar Envoy AI Gateway mencatatnya. Permintaan yang tidak dijawab model tidak membawa model yang menjawab dan tidak membawa token, dan log akses sendiri tidak menyimpan apa pun, sehingga berapa lama suatu baris bertahan bergantung pada apa pun yang mengumpulkan output tersebut. Tidak ada kolom yang menyebutkan pemanggil yang diverifikasi gateway: alamat klien dan header yang dikirimnya ditulis apa adanya saat tiba. Gateway tidak menyimpan harga, tidak ada apa pun pada rute yang dirender Recipe-nya yang memverifikasi pemanggil, dan log akses tidak menyimpan catatan yang dapat dihapusnya, sehingga realisasinya membangun lampiran yang menonaktifkanrequire_costdanrequire_verified_callerdan tidak memberikanretention_days, dan jika tidak, berhenti dengan menyebutkan setiap nilai yang tidak dapat dipenuhinya, semuanya dalam satu kegagalan; realisasi ini juga berhenti jika tidak ada apa pun yang terhubung ke soketmodels. Padacore/gateway/agentgateway, catatan adalah baris yang ditulis gateway ke penyimpanan SQLite pada volume yang dirender Recipe chart-nya selama lampiran ada, dengan satu replika, untuk setiap permintaan model yang lolos pemeriksaan kunci, anggaran, dan otorisasinya, termasuk penolakan oleh guard: model yang diminta gateway dari server model — nama yang diterbitkan model yang terhubung, bukan alias yang dikirim pemanggil — dan model yang menjawab, token input, output, dan total yang dilaporkan balasan, status dan waktunya, serta, untuk setiap pemanggil yang dideklarasikan Release-nya diinfra.callers, nama pemanggil tersebut, dari kunci API yang diverifikasi gateway. Permintaan yang ditolak karena kuncinya, oleh aturan otorisasi, atau oleh anggaran pemanggil tidak meninggalkan baris. Tidak ada teks prompt atau balasan yang disimpan, dan baris-baris dibaca melalui antarmuka admin gateway, yang mendengarkan di dalam pod-nya.require_verified_callerdipenuhi selama pemanggil dideklarasikan;require_costditolak dengan menyebut namanya, karena katalog biaya model gateway tidak menghargai satu pun model yang terhubung dengannya, demikian pularequire_verified_callertanpa pemanggil yang dideklarasikan danretention_days, karena gateway tidak menghapus catatan apa pun; Recipe compose-nya tidak memiliki realisasinya. Padacore/gateway/higress, catatan adalah kolomai_logdari baris log akses gateway, yang diisi plugin statistik Higress selama lampiran ada: model yang menjawab serta token input, output, dan total yang dilaporkan balasan, pada output standar gateway, tanpa teks prompt atau balasan. Gateway tidak mendeklarasikan pemanggil, tidak menghargai apa pun, dan tidak menyimpan catatan yang dapat dihapusnya, sehingga realisasinya membangun lampiran yang menonaktifkanrequire_costdanrequire_verified_callerdan tidak memberikanretention_days, dan jika tidak, berhenti dengan menyebutkan setiap nilai yang tidak dapat dipenuhinya, semuanya dalam satu kegagalan; realisasi ini juga berhenti jika tidak ada apa pun yang terhubung ke soketmodels. Padacore/gateway/traefik-hub, setiap lampiran berhenti dengan menyebutkan alasannya: Traefik Hub menyimpan catatan permintaan model hanya sebagai span OpenTelemetry yang diekspor middleware AI-nya ke backend tracing — yang menyebutkan model dan, pada tingkat detailnya, token dan biayanya dalam dolar AS — dan realisasinya tidak menghubungkan backend tracing apa pun, sehingga catatan tidak akan berakhir di mana pun; span juga tidak menyebutkan pemanggil, sehingga tidak dapat menyebutkan pemanggil yang diverifikasi oleh pemeriksaan kunci gateway. Padacore/gateway/azure-api-management, setiap lampiran berhenti, seperti yang dinyatakan butir gateway tersebut di atas, dan tidak ada gateway lain di pustaka standar yang merealisasikannya, sehingga lampiran pada gateway lain mana pun berhenti dengan menyebutkan tipenya. -
Caching semantik:
core/semantic-cachingmendeklarasikan cache yang menjawab prompt dengan balasan yang disimpan untuk prompt sebelumnya yang cukup dekat maknanya, alih-alih memanggil model lagi.embedding_modelmenyebutkan model yang mengubah setiap prompt menjadi vektor, sebagaimana gateway menerbitkannya; balasan tersimpan disajikan ketika kedua prompt setidaknya semiripsimilarity_threshold, dan balasan itu tetap dapat digunakan selamattl_seconds.scopemenentukan siapa yang berbagi cache:end_user, default-nya, memisahkan setiap pengguna akhir yang diidentifikasi gateway, sedangkankeymelayani setiap pemanggil yang menyajikan kunci yang sama dari satu cache, sehingga pengguna akhir di balik kunci itu dapat disajikan balasan yang dibuat untuk pengguna lain.core/data-maskingmendeklarasikan konflik dengannya, sehingga build berhenti pada komponen yang membawa keduanya. Pustaka standar merealisasikannya pada gateway AI, yang menyimpan balasan dalamcore/datastore/redisyang terhubung ke soketcache_store-nya, dengan menyajikan kepada penyimpanan kata sandi yang dimuat kredensial pada koneksi itu jika penyimpanan memerlukannya, sementara penyimpanan menghapus setiap balasan setelahttl_secondsberlalu, dan gateway meng-cache permintaan chat, responses, dan messages, bukan completions atau embeddings. Realisasi menghentikan build kecuali slotapi_keymilik gateway dilampirkan, karena tanpa kunci administratif gateway tidak memeriksa pemanggil apa pun, juga padaembedding_modelyang tidak diterbitkan peta model gateway, dan ketika tidak ada apa pun yang terhubung kecache_store. Balasan tersimpan hanya disajikan kepada permintaan yang cocok dengan apa yang menjadi dasar penyimpanannya: kunci yang disajikan permintaan, yang diverifikasi gateway, beserta tim dan organisasi kunci tersebut; di bawahend_user, pengguna akhir yang disebutkan permintaan; dan model yang diminta permintaan beserta parameter lainnya. Gateway menulis kunci, tim, organisasi, dan pengguna akhir ke dalam permintaan itu sendiri, menimpa nilai apa pun yang dikirim pemanggil untuknya pada permintaan chat; pada permintaan responses atau messages, gateway menghapus kolom tim, organisasi, atau pengguna akhir dari metadata milik permintaan itu sendiri dan menolak kolom yang menyebutkan kunci di sana, sehingga tidak ada permintaan yang dapat masuk ke balasan kunci lain hanya dengan menyebutkannya. Metadata milik permintaan itu sendiri tetap dapat memindahkannya di antara balasan kunci yang disajikannya: pada permintaan responses,model_groupmenggantikan model yang dimintanya dalam dasar penyimpanan balasannya; pada permintaan responses atau messages,caching_groupsmemungkinkan permintaan yang menyebutkan kelompok alias model yang sama untuk berbagi balasan di antara alias tersebut; dan pada permintaan responses atau chat,redis_namespacememisahkan permintaan yang menyebutkan namespace dari permintaan yang tidak menyebutkan namespace apa pun. Gateway membaca pengguna akhir dari header atau kolom body yang disebutkan permintaan itu sendiri, dan tidak memverifikasi satu pun: di bawahend_user, pemanggil yang menyebutkan pengguna akhir lain disajikan balasan pengguna akhir tersebut, dan permintaan yang tidak menyebutkan pengguna akhir berbagi satu cache dengan setiap permintaan sejenis lainnya di bawah kunci yang disajikannya. Gateway yang di-hosting tidak merealisasikannya: cache-nya hanya menjawab permintaan yang identik dengan permintaan sebelumnya. Padacore/gateway/azure-api-management, ini direalisasikan sebagai lookup dan store cache semantik Azure, yang ditulis ke dalam kebijakan API:embedding_modelmenyebutkan backend yang sudah dimiliki instans API Management untuk model embeddings, yang dijangkau instans dengan identitas terkelolanya, dan instans memerlukan cache Redis dengan RediSearch yang dikonfigurasi sebagai cache eksternalnya, yang keduanya tidak dapat dilihat build, sehingga build berhenti sampai operator menegaskan bahwa cache melayani RediSearch dengan menetapkaninfra.cache_serves_vector_searchmilik gateway; penyimpanan menyimpan balasan selamattl_seconds; dansimilarity_thresholdditulis sebagai ambang skor Azure, satu dikurangi ambang, dengan membaca skor itu sebagai jarak kosinus, karena Microsoft memberikan rentang dan arahnya — lebih rendah memerlukan prompt yang lebih dekat — tetapi bukan ukurannya. Balasan disimpan dan disajikan secara terpisah per API dan per langganan API Management, yang kuncinya diverifikasi gateway, sehingga realisasi mempertahankankey, menolaknya pada API yang tidak memerlukan kunci langganan, dan menolakend_user: API yang dirender Recipe-nya tidak memvalidasi token pengguna akhir mana pun, sehingga gateway tidak memiliki pengguna akhir terverifikasi untuk dipisahkan.core/gateway/contourdancore/gateway/nginxjuga tidak merealisasikannya, karena keduanya tidak menawarkan cache semantik. Padacore/gateway/agentgateway, realisasinya menghentikan setiap lampiran dengan menyebutkan alasannya: agentgateway tidak menyimpan cache balasan, dan prompt caching-nya hanya menandai di mana penyedia yang meng-cache prompt sendiri boleh melakukannya. Padacore/gateway/kong-enterprise, realisasinya menghentikan setiap lampiran dengan menyebutkan cakupan yang diminta: AI Semantic Cache milik Kong tidak memiliki pengaturan yang memisahkan balasan tersimpan satu pemanggil dari milik pemanggil lain, dan gateway membedakan pemanggil hanya sebagai consumer yang disebutkan plugin autentikasi dan tidak mendeklarasikan pemanggil, karena alasan yang diberikan “Kong di depan model” di atas, sehingga di bawahend_usermaupun di bawahkeysetiap permintaan akan berbagi satu cache. Padacore/gateway/higress, realisasinya menghentikan setiap lampiran dengan menyebutkan cakupan yang diminta: cache semantik Higress menyimpan setiap balasan di bawah satu prefiks kunci yang diikuti teks prompt, dan tidak ada apa pun dalam kunci itu yang menyebutkan pemanggil atau pengguna akhir, sementara gateway tidak mendeklarasikan pemanggil, sehingga setiap permintaan akan berbagi satu cache. Padacore/gateway/apisix, ini direalisasikan pada Recipe chart, ditulis ke rute chat setiap model yang terhubung sebagai cache semantik APISIX 3.18.0, untuk pemanggil yang dideklarasikan Release-nya diinfra.callers: balasan disimpan per rute dan per pemanggil, di bawah kunci yang disajikan pemanggil, yang diverifikasi gateway, sehingga tidak ada pemanggil yang disajikan balasan yang disimpan untuk pemanggil lain; realisasi mempertahankankeydan menolakend_userdengan menyebut namanya, karena gateway tidak dapat membedakan pengguna akhir di balik satu kunci.embedding_modelmenyebutkan koneksi pada soketmodelsmilik gateway, yang endpoint, model, dan kredensialnya digunakan cache untuk membuat embedding. Cache membuat embedding pesan pengguna terakhir dari suatu permintaan dan menyajikan balasan tersimpan yang pesannya setidaknya semiripsimilarity_thresholddan yang pesan-pesan sebelumnya — prompt sistem, giliran sebelumnya — sama. Balasan berada selamattl_secondsdalamcore/datastore/redisyang terhubung ke soketcache_storemilik gateway, kepada penyimpanan itu cache menyajikan kata sandi yang dimuat kredensial pada koneksi tersebut, dan balasan yang disajikan berdasarkan makna disimpan lagi di bawah permintaan itu selamattl_secondsberikutnya. Permintaan completion tidak di-cache, dan kegagalan penyimpanan atau embedding dianggap miss: permintaan tetap dijawab. Realisasi berhenti jika tidak ada pemanggil yang dideklarasikan, jika tidak ada apa pun yang terhubung kecache_storeatau ke soketmodels, dan padaembedding_modelyang tidak dibawa koneksi mana pun di sana. APISIX mengindeks balasan tersimpan berdasarkan rute dan pemanggil, bukan berdasarkan gateway, sehingga dua gateway APISIX yang terhubung ke satu penyimpanan, atau dua Releases dari satu Aggregate yang mengarahkan gateway-nya ke satu penyimpanan eksternal, dapat menyajikan balasan dari cache kepada pemanggil dengan nama yang sama pada alias dan model yang sama. Recipe workload-nya, pada APISIX 3.17.0, sama sekali tidak membawa cache semantik. Padacore/gateway/traefik-hub, ini direalisasikan pada Recipe chart sebagai cache semantik Traefik Hub pada rute setiap model yang terhubung, untuk pemanggil yang dideklarasikan Release-nya diinfra.callers: balasan disimpan per model terhubung dan per pemanggil, di bawah pemanggil yang diverifikasi oleh pemeriksaan kunci gateway, masing-masing dengan kuncinya sendiri, sehingga tidak ada pemanggil yang disajikan balasan yang disimpan untuk pemanggil lain; realisasi mempertahankankeydan menolakend_userdengan menyebut namanya, karena gateway tidak dapat membedakan pengguna akhir di balik satu kunci.embedding_modelmenyebutkan koneksi pada soketmodelsmilik gateway, yang endpoint, model, dan kredensialnya digunakan cache untuk membuat embedding teks permintaan.similarity_thresholdditulis sebagai batas jarak cache, satu dikurangi ambang, yang dibaca sebagai jarak kosinus, karena referensi Traefik memberikan arah batas tetapi bukan ukurannya. Balasan disimpan selamattl_secondsdalamcore/datastore/redisyang terhubung ke soketcache_storemilik gateway, dan permintaan yang terlalu besar untuk dibuat embedding-nya dijawab tanpa cache. Realisasi berhenti jika tidak ada pemanggil yang dideklarasikan, jika tidak ada apa pun yang terhubung kecache_storeatau ke soketmodels, padaembedding_modelyang tidak dibawa koneksi mana pun di sana, dan pada image Traefik Hub yang tag-nya tidak menyebutkan rilis mulai v3.19.11 dalam 3.19 atau mulai v3.20.6, karena rilis yang lebih awal berbagi satu cache di antara semua pemanggil suatu rute. -
Penyaringan prompt injection:
core/prompt-injection-shieldmendeklarasikan bahwa permintaan model yang diteruskan oleh gateway diperiksa, sebelum model dipanggil, terhadap upaya untuk mengesampingkan instruksi yang diberikan kepada model, dengansensitivitybernilaistandardataustrict— strict menolak lebih banyak upaya semacam itu, dan bersamanya lebih banyak permintaan yang sah. Pemeriksaan ini adalah putusan sebuah pengklasifikasi probabilistik: pemeriksaan ini melewatkan sebagian serangan — termasuk yang ditulis ulang, dienkode, atau dieja secara berbeda —, menolak sebagian permintaan yang sah, dan diketahui dapat dihindari, sehingga ini adalah satu kontrol di samping kontrol lain, dan pemeriksaan ini tidak menilai balasan model, argumen pemanggilan alat, ataupun gambar. Ini dapat dilampirkan ke gateway mana pun, dan sebuah realisasi entah mengirim permintaan gateway melalui sebuah penjaga yang terhubung ke soketguard-nya, yang tidak menuntut apa pun dari gateway selain meneruskan ke alamat yang dikonfigurasikan untuknya, atau mengaktifkan pemeriksaan yang dijalankan gateway itu sendiri. Dengan penjaga, penjaga memeriksa setiap permintaan dan meneruskan apa yang diterimanya ke model, dan melampirkan Feature tanpa apa pun pada soket itu menghentikan build dengan menyebutkannya. Pustaka standar merealisasikannya pada gateway AI dan pada gateway NGINX, masing-masing dengancore/security/nemo-guardrailssebagai penjaga: sebuah layanan yang menggunakan API chat-completions OpenAI, yang rail-nya mengirim pesan pengguna terakhir dari sebuah permintaan ke pengklasifikasicore/security/trustyai-huggingface-detectoryang terhubung dengannya dan menolak permintaan ketika skor pengklasifikasi itu mencapai ambang penjaga. Permintaan yang ditolak dijawab oleh penjaga itu sendiri, dengan completion biasa, dan tidak ada bagiannya yang mencapai model; ketika penjaga atau detektornya tidak dapat dijangkau, permintaan juga ditolak. Masing-masing dari keduanya menghentikan build kecuali penjaganya adalah layanan tersebut, yang menjalankan ambang yang disebutkan oleh sensitivitas — 0.5 untukstandarddan 0.001 untukstrict, dua nilai yang diukur untuk pengklasifikasi bawaan detektor, yang modelnya tidak dapat diperiksa oleh gateway karena gateway melihat penjaga, bukan detektor di belakangnya. Pada gateway AI, setiap alias dari peta model dikirim ke penjaga, dengan setiap target ditulisopenai/<model>, sehingga peta itu adalah peta yang ditulis secara manual: model yang terhubung ke soketmodelsgateway akan dikirim ke endpoint-nya sendiri dengan kredensial koneksinya sendiri, melewati penjaga, dan realisasi menghentikan build selama soket itu berisi koneksi, dengan menyebutkannya. Gateway AI menolak setiap permintaan selain chat completion, satu-satunya jenis yang diperiksa penjaga; pada gateway NGINX, satu-satunya location-nya meneruskan ke penjaga sebagai pengganti upstream, dan penjaga tidak menjawab rute model lain. Padacore/gateway/azure-api-management, ini direalisasikan sebagai prompt shield milik Azure sendiri, yang diaktifkan dalam policy API melalui backend Azure AI Content Safety milik instans yang disebutkan olehinfra.content_safety_backend_id, dan build berhenti selama kunci itu belum diatur: Azure AI Content Safety memeriksa setiap permintaan terhadap serangan pengguna sebelum model dipanggil, mendahului pencarian cache semantik, dan gateway menjawab permintaan yang di dalamnya serangan terdeteksi dengan HTTP 403, sebagaimana gateway menjawab permintaan yang lebih panjang daripada yang diterima layanan. Shield itu aktif atau nonaktif, sehinggastandarddipertahankan danstrictditolak dengan menyebut namanya, dan shield berjalan pada sensitivitas milik Microsoft sendiri, yang tidak diukur terhadap ambang yang disebutkanstandardpada penjaga. Instans menjangkau backend itu dengan managed identity-nya, yang memerlukan peran Cognitive Services User pada layanan tersebut; build tidak melihat keduanya. Tidak ada gateway dalam pustaka standar selain ketiga ini yang merealisasikannya, dan melampirkannya ke gateway lain menghentikan build dengan menyebutkan jenisnya: sebagian besar tidak menghasilkan rute yang dapat dikirim oleh realisasi melalui penjaga — mereka menyimpan rutenya dalam penyimpanan sendiri, mengambilnya dari layanan di belakangnya, atau merupakan layanan yang di-host yang padanya pustaka standar tidak mengaktifkan pemeriksaan semacam ini —, dancore/gateway/apisix, yang Recipe chart-nya menghasilkan rute model yang terhubung dengannya, sertacore/gateway/envoy-gateway, yang Recipe-nya menghasilkan rute AI model yang terhubung dengannya, tidak memiliki realisasinya. Padacore/gateway/agentgateway, yang Recipes-nya menghasilkan entri untuk setiap model yang terhubung dengannya, realisasi menghentikan setiap lampiran dengan menyebutkan alasannya: agentgateway menilai permintaan terhadap upaya semacam itu hanya melalui layanan yang dipanggilnya — webhook yang dijalankan operator, atau Azure AI Content Safety, Google Model Armor, atau AWS Bedrock Guardrails — dan realisasi tidak menghubungkan satu pun darinya. Padacore/gateway/higress, realisasi juga menghentikan setiap lampiran dengan menyebutkan alasannya: Higress menilai upaya semacam itu hanya melalui layanan yang dipanggilnya — layanan keamanan konten Alibaba Cloud atau, melalui plugin yang ada dalam kode sumbernya tetapi tidak diterbitkan oleh rilis plugin 2.2.5-nya, layanan model Qwen3Guard yang dijalankan operator — masing-masing meloloskan permintaan ketika panggilan itu gagal, dan realisasi tidak menghubungkan keduanya. Padacore/gateway/traefik-hub, realisasi juga menghentikan setiap lampiran dengan menyebutkan alasannya: Traefik Hub menilai upaya semacam itu hanya melalui layanan yang dipanggilnya — middleware LLM Guard dan Parallel LLM Guard miliknya, yang memanggil layanan penjaga atau model dengan permintaan dan kondisi yang harus ditulis oleh realisasi, dan yang kinerjanya dengan detektor serangan prompt tidak diukur, sehingga tidak ada sensitivitas yang sesuai dengan pemeriksaan di sana; atau middleware Azure Prompt Shield, Amazon Bedrock Guardrails, dan GCP Model Armor miliknya, yang memanggil layanan yang di-host yang tidak dihubungkan oleh realisasi. Penjaga hanya membaca pesan pengguna terakhir, sehingga pesan sistem, giliran sebelumnya, atau hasil alat mencapai model tanpa dibaca, dan hanya lalu lintas yang melewati gateway yang disaring: workload yang memanggil alamat model secara langsung akan melewatinya. -
Validasi respons dan evaluasi:
core/response-validationmendeklarasikan pemeriksaan balasan model terhadap JSON Schema sebelum balasan itu mencapai pemanggil:schemamembawa skema itu sendiri, dan balasan yang tidak cocok dengannya ditolak alih-alih diteruskan — atau, denganinvertaktif, balasan yang cocok. Skema itu milik lampiran, sama untuk setiap permintaan, bukan skema yang dikirim pemanggil bersama permintaannya sendiri, sehingga pengembang melampirkannya di Aggregate, dengan menulis skema dalamvalues-nya. Tidak ada realisasi dalam pustaka standar yang menerapkannya: padacore/gateway/agentgateway, realisasinya menghentikan setiap lampiran dengan menyebutkan alasannya — penjaga respons agentgateway mencocokkan pola atau memanggil layanan content safety atau webhook, dan tidak satu pun menerima skema —, begitu pula realisasinya padacore/gateway/higress, yang pemeriksaan balasannya menjawab balasan yang lolos dengan JSON polos yang ditemukannya dalam pesan balasan alih-alih chat completion yang dikembalikan oleh rute OpenAI-nya, dilewati oleh klien mana pun yang mengirim header permintaanX-HIGRESS-AI-JSON-RESP: true, dan membiarkan skema yang bersarang lebih dari enam tingkat tidak diperiksa; begitu pula realisasinya padacore/gateway/traefik-hub, karena tidak ada middleware dalam referensi Traefik Hub yang memeriksa balasan terhadap skema — middleware Chat Completion-nya memeriksa permintaan terhadap skema chat completion, manajemen API-nya memeriksa body permintaan terhadap dokumen OpenAPI, dan LLM Guard-nya mengirim balasan ke layanan luar, yang tidak dihubungkan oleh realisasi; pada gateway lain mana pun, sebuah lampiran menghentikan build dengan menyebutkan jenisnya.core/traffic-shadowingmenyalin permintaan langsung ke layanan kedua dan membuang jawaban layanan itu, sehingga model atau layanan kandidat dapat dievaluasi di bawah lalu lintas nyata tanpa ada pemanggil yang melihat keluarannya. Ini dapat dilampirkan ke komponen mana pun yang mendeklarasikandataplane.aggrega.ai/request-mirroring, yang tidak dilakukan oleh gateway AI; pustaka standar merealisasikannya pada gateway NGINX, yang menyalin seluruh aliran alih-alih sebagiannya, dan berhenti pada porsi yang lebih kecil dengan menyebutkan namanya.
5. Eksekusi asinkron dan infrastruktur HITL
Aggrega memperlakukan framework interaktif-manusia (seperti AutoGen dan LangGraph) sebagai node worker. Untuk mendukung agen yang “tertidur” menunggu masukan manusia tanpa kehilangan status, arsitek platform dapat mendeklarasikan soket usesSchema pada Components agen-agen ini yang secara ketat mewajibkan pengikatan eksplisit komponen berkategori datastore ke agen-agen tersebut, yang dipilih berdasarkan label engine datastore — datastore.aggrega.ai/engine in (vector, semantic-memory, search) untuk penyimpanan yang darinya agen mengambil data berdasarkan kemiripan, atau datastore.aggrega.ai/engine=kv untuk penyimpanan tempat agen menyimpan checkpoint status eksekusinya. Soket mengikat pada label engine, bukan pada nama produk, sehingga penulis memilih penyimpanan mana yang datang dan deklarasi tetap berlaku. Selain itu, untuk loop umpan balik dari manusia ke agen (misalnya integrasi Slack), peran putusan tata kelola dapat dikonfigurasi untuk menolak arsitektur kecuali komponen gateway yang dideklarasikan secara eksplisit dilampirkan, sehingga webhook callback masuk melalui batas ingress yang dideklarasikan.
Agen yang dibangun di atas framework atau SDK yang menjadi dasar penulisan sebuah aplikasi, alih-alih dikirim sebagai produk tersendiri, memiliki satu bentuk dalam pustaka standar. Release menyebutkan image aplikasi, yang tidak dipatok oleh katalog. Soket model membawa apa yang dibaca framework dari model yang terhubung — alamatnya dan nama modelnya, di tempat framework membacanya, serta kredensial koneksi, melalui referensi — ke variabel yang dibaca framework itu. Ketika framework tidak mendefinisikan server sendiri, komponennya adalah worker dan tidak membuka port: core/ai-agent/crewai dan core/ai-agent/langgraph mengambil bentuk ini, begitu pula core/ai-agent/openai-agents-sdk, yang soket model-nya hanya menerima model atau gateway yang membawa model.aggrega.ai/api: openai, core/ai-agent/claude-agent-sdk, yang soketnya hanya menerima yang membawa model.aggrega.ai/api: anthropic, dan core/ai-agent/agent-framework, untuk aplikasi yang dibangun di atas Microsoft Agent Framework, yang tidak melayani apa pun sendiri, yang soketnya hanya menerima yang membawa model.aggrega.ai/api: openai dan menyediakan variabel yang dibaca klien OpenAI Python milik Agent Framework; ketiganya menghentikan build, dengan menyebutkan infra.image, hingga Release mengaturnya. OpenAI Agents SDK secara bawaan mengunggah trace setiap eksekusi ke OpenAI, sehingga core/ai-agent/openai-agents-sdk menonaktifkan unggahan itu kecuali Aggregate mengatur nilai upload_traces_to_openai-nya ke true. Ketika framework melayani HTTP sendiri, komponennya adalah server pada port framework itu sendiri dan menerbitkan alamat yang dijangkau pemanggil sebagai host, port, endpoint, dan protocol, dan komponen ini juga menghentikan build, dengan menyebutkan infra.image, hingga Release mengaturnya: core/ai-agent/google-adk melayani REST API ADK pada port 8000 dan menyediakan kunci yang dikirim klien Gemini milik ADK ke Gemini API, dengan soket model-nya hanya menerima model yang membawa model.aggrega.ai/api: gemini, seperti core/ai-model/gemini, dan tidak pernah gateway, yang alamatnya tidak akan dibaca oleh klien ADK; core/ai-agent/mastra melayani server yang dibangun Mastra pada port 4111, siap di Kubernetes begitu rute /health-nya menjawab, menerima model atau gateway yang membawa model.aggrega.ai/api: openai, dan, ketika Aggregate menyebutkan salah satu agen aplikasi dalam nilai agent_id-nya, menerbitkan alamat kartu Agent2Agent agen itu, sehingga core/ai-tool/agent-invocation dapat mendelegasikan kepadanya. Rute kedua server menjawab pemanggil mana pun kecuali aplikasi mengautentikasinya, sehingga lampiran core/public-ingress atau core/http-route pada salah satunya menghentikan build hingga Release mengatur infra.routes_authenticated-nya ke true, yang menegaskan bahwa aplikasi mengautentikasi setiap permintaan yang diterima rutenya. Runtime SDK dan server serta core/ai-agent/agent-framework juga mendeklarasikan soket tools opsional, yang menyediakan alamat setiap alat yang terhubung, dan kredensial koneksi melalui referensi, di bawah variabel yang dinamai menurut alias koneksi. Karena aplikasi adalah kode milik Release itu sendiri, variabel yang disediakan agen-agen ini untuk dibaca kode tersebut hanyalah nilai bawaan: setiap soketnya menerima blok inject:, yang melaluinya Aggregate menyebutkan variabel atau file yang dibaca aplikasi sebagai gantinya, sementara variabel yang dibaca framework dengan sendirinya dan apa yang disediakan lampiran pada koneksi tetap dipertahankan. Hal yang sama berlaku untuk nilai milik agen itu sendiri: setiap komponen menerima blok inject: berisi entri env dan file pada dirinya sendiri, dan entri yang templatnya membaca salah satu nilai miliknya sendiri dan tidak ada hal lain dari komponen — tidak ada nilai lain, infra-nya, metadatanya, maupun identitasnya — menggantikan nama bawaan yang digunakan Recipe untuk menyediakan nilai itu, seperti CREWAI_ROLE untuk role milik agen CrewAI. Impor deklarasi agen dari proyek CrewAI, langgraph.json dari aplikasi LangGraph, konfigurasi agen dari aplikasi Google ADK, atau agen deklaratif Agent Framework menghasilkan draf agen-agen ini — core/ai-agent/crewai, core/ai-agent/langgraph, core/ai-agent/google-adk, dan core/ai-agent/agent-framework — yang terhubung ke datastore yang disebutkan konfigurasi, dan ke model yang disebutkannya bila soket model agen menerimanya, di samping draf Release yang menyerahkan kepada operator untuk menyebutkan image tempat program berjalan, dan hanya membaca konfigurasi, tidak pernah programnya, sebagaimana dijelaskan dalam Plugins pengimpor.
6. Validasi keamanan topologis dan penegakan saat runtime
Karena workload AI menghadirkan vektor serangan baru (seperti prompt injection dan eksfiltrasi data otonom), mengamankannya memerlukan penyatuan tata kelola arsitektur statis dengan penegakan aktif saat runtime. Sebagai compiler Ahead-of-Time (AOT, kompilasi di muka), Aggrega tidak mencegat lalu lintas jaringan langsung atau mengevaluasi prompt AI. Sebaliknya, Aggrega menyelesaikan persyaratan keamanan yang kompleks melalui jabat tangan arsitektural dua bagian: kompilasi arsitektur statis (saat kompilasi) dan penyerahan eksekusi (saat deploy).
A. Saat kompilasi: validasi kebijakan dan pembuatan artefak
Compiler membangun graf representasi perantara (IR) datar yang berisi semua node, edge, dan Features yang dilampirkan. Sebelum infrastruktur fisik apa pun dihasilkan, postur keamanan perusahaan ditegakkan dengan mengevaluasi graf JSON statis ini terhadap mesin kebijakan standar industri pada sebuah peran putusan tata kelola.
Karena soket mengevaluasi data JSON generik, soket tidak terikat pada satu bahasa kebijakan. Perusahaan dapat mengompilasi dan menegakkan aturan arsitekturnya menggunakan standar yang paling sesuai dengan ekosistemnya:
- Open Policy Agent (OPA/Rego): Bahasa yang banyak digunakan untuk mengevaluasi hubungan graf yang kompleks dan multi-hop serta menghitung akses hak istimewa minimum di seluruh topologi terdistribusi. Mesin Rego yang dikompilasi ke dalam CLI menjalankan file
.regoapa adanya; kebijakan yang membutuhkan seluruh fungsi bawaan OPA dikompilasi dengan toolchain OPA sendiri dan berjalan di balik guest adaptor. - Common Expression Language (CEL): Mesin CEL yang dikompilasi ke dalam CLI menjalankan aturan yang ditulis sebagai ekspresi tunggal atas sebuah dokumen, seperti cara kebijakan validating-admission Kubernetes ditulis.
- Kyverno: Mengevaluasi manifest JSON/YAML statis, sehingga tim dapat menulis kebijakan dalam YAML asli alih-alih mempelajari Rego. Tidak ada guest Kyverno yang disertakan bersama compiler, yang menjalankan kebijakan hanya sebagai guest WebAssembly dan tidak pernah memanggil Kyverno CLI, sehingga aturan Kyverno berjalan di balik guest yang membungkus mesin tersebut.
- Validasi kustom Rust/TypeScript: Tim keamanan dapat menulis kebijakan organisasi yang dibuat khusus dalam bahasa standar dan mengompilasinya ke Wasm agar berfungsi sebagai gerbang validasi.
Setelah mesin kebijakan memvalidasi graf, compiler menerjemahkan persyaratan keamanan abstrak itu menjadi konfigurasi fisik. Ketika pengembang melampirkan Feature keamanan — misalnya core/data-masking pada gateway AI — compiler menjalankan langkah pipeline yang disebutkan oleh realisasinya, sebuah plugin WebAssembly (Wasm) yang terisolasi, dan langkah itu menulis pengaturan yang dibutuhkan kontrol ke dalam konfigurasi yang sudah dihasilkan oleh Recipe milik gateway itu sendiri. Sebuah realisasi dapat sebaliknya menyerahkan penulisan kepada Recipe milik gateway itu sendiri, yang membaca lampiran dan menulis pengaturannya sendiri, seperti yang dilakukan core/data-masking pada core/gateway/kong-enterprise, dan realisasi untuk jenis kontrol lain dapat memancarkan sumber dayanya sendiri; bagaimanapun juga, keluarannya adalah artefak statis yang ditulis dari apa yang dilampirkan pengembang.
B. Saat deploy dan runtime: penyerahan eksekusi dan penegakan
Tanggung jawab Aggrega berakhir tepat pada saat ia selesai memproses masukan dan menulis artefak statis yang telah dikonfigurasi ke direktori keluaran. Aggrega adalah compiler murni: ia menulis konfigurasi, lalu kendali kembali sepenuhnya ke sistem apa pun yang memanggilnya.
Cara konfigurasi tersebut dieksekusi sangat fleksibel dan sepenuhnya bergantung pada perusahaan:
- Penyerahan artefak (saat deploy): Pengendali deployment eksternal mengambil alih untuk mewujudkan artefak. Ini bisa berupa pengendali GitOps yang ketat (seperti ArgoCD atau Flux) yang menyinkronkan file ke kluster Kubernetes, tetapi bisa juga berupa pipeline CI/CD standar yang menjalankan
terraform apply, atau pengembang yang menjalankan skrip shell lokal terhadap Docker Compose. - Penegakan saat runtime: Setelah konfigurasi diterapkan ke lingkungan target, infrastruktur fisik mengambil alih. Alat khusus yang dikonfigurasi oleh Aggrega (seperti sidecar guardrail, service mesh aktif, atau firewall cloud bawaan) dinyalakan dan memulai kerja aktifnya: mencegat payload secara fisik, memverifikasi JWT, atau membuang prompt injection berbahaya.
7. Cara Aggrega menangani tantangan keamanan AI
Dengan memisahkan validasi arsitektur dari eksekusi saat runtime, tim platform dapat menggunakan Aggrega untuk secara eksplisit memodelkan, memvalidasi, dan menghasilkan solusi konfigurasi bagi kerentanan AI di bawah ini.
A. Eksfiltrasi data dan intersepsi payload
- Masalahnya: Agen otonom mungkin mencoba membocorkan data perusahaan yang dibatasi ke API eksternal yang tidak berwenang.
- Solusi Aggrega:
- Saat kompilasi (validasi dan pembuatan): Tim platform menulis kebijakan (misalnya Rego) yang dievaluasi pada peran putusan tata kelola dan menyatakan: “Setiap jalur yang melewati gateway AI harus membawa
core/data-masking.” Jika tidak ada, compiler berhenti. Jika ada, realisasi yang diikat oleh Manifest menulis penyamaran ke dalam konfigurasi yang sudah dihasilkan gateway: padacore/gateway/litellm, entri guardrail yang mencocokkan ekspresi reguler yang dicantumkan lampiran dan yang mengirim teks ke analyzer dan anonymizer Presidio yang terhubung ke soketpii_analyzerdanpii_anonymizergateway untuk jenis entitas yang dicantumkannya; padacore/gateway/kong-enterprise, AI PII Sanitizer milik Kong pada rute chat dan completion setiap model yang terhubung, ditulis oleh Recipe chart gateway, yang mengirim teks yang disamarkannya, bersama ekspresi reguler dan jenis entitas yang dicantumkan lampiran, ke layanan Kong AI PII yang terhubung ke soketpii_sanitizergateway; padacore/gateway/agentgateway, penjaga ekspresi reguler milik gateway itu sendiri, ditulis ke konfigurasinya oleh Recipe chart-nya, yang mengganti setiap kecocokan pola yang dicantumkan lampiran dengan<masked>, atau di bawahrefusemenjawab permintaan atau balasan dengan HTTP 403, dan tidak mengenali jenis entitas apa pun; penjaga tersebut tidak menyamarkan balasan streaming, sehingga selama balasan disamarkan, Recipe yang sama menulis aturan yang menolak dengan HTTP 403, sebelum diteruskan, permintaan yang meminta balasan semacam itu, serta permintaan mana pun yang body-nya lebih besar dari 2 MiB yang dibaca gateway untuk aturan itu, streaming atau tidak; padacore/gateway/traefik-hub, Content Guard dari gateway AI Traefik Hub pada rute setiap model yang terhubung, ditulis oleh Recipe chart-nya, yang menyamarkan kecocokan pola yang dicantumkan lampiran melalui mesin ekspresi regulernya, atau kecocokan jenis entitas yang dicantumkannya melalui analyzer Presidio yang terhubung ke soketpii_analyzergateway, satu mesin per lampiran; padacore/gateway/higress, pluginai-data-maskingmilik Higress pada rute setiap model yang terhubung, ditulis oleh Recipe chart-nya, yang mengganti setiap kecocokan pola yang dicantumkan lampiran dalam pesan permintaan chat dengan nama pola dalam tanda kurung, dan tidak mengenali jenis entitas apa pun. Sebuah kebijakan juga dapat mengajukan pertanyaan yang lebih sempit — apakah penyamaran berada di antara data yang dibatasi dan penyedia — dengan membaca lampiran setiap komponen di sepanjang rute alih-alih lampiran rute secara keseluruhan, seperti yang dilakukan examples/policy-data-class-route. - Runtime (penegakan fisik): Setelah orkestrator men-deploy artefak yang dihasilkan, gateway mengganti setiap kecocokan dalam teks permintaan yang disamarkannya dengan placeholder sebelum meneruskannya, sehingga penyedia model menerima placeholder tersebut; dengan
action: refuse, pemasangan tidak meneruskan apa pun dari permintaan yang memuat kecocokan dan sebagai gantinya menjawabnya dengan error. Pengenal yang tidak dapat dijangkau atau yang mengalami error membuat permintaan gagal, sehingga teksnya tidak diteruskan. Apa yang tidak dijangkau oleh penyamaran ditentukan oleh dua nilai yang default-nya adalah perlindungan itu sendiri. Pada AI gateway, selama pemasangan juga menyamarkan balasan, gateway menyamarkan teks balasan dan bagian yang ditambahkan model atau penyedianya di sampingnya — penolakan, kutipan dan anotasi, kueri dan hasil pencarian web, field dengan nama milik penyedia sendiri — atau, di bawahrefuse, tidak mengirim apa pun dari balasan yang memuat kecocokan; balasan streaming yang disamarkannya berdasarkan pola sampai ke pemanggil secara utuh, di akhir. Secara default, apa yang tidak dijangkau oleh penyamarannya dalam permintaan — route seperti pembuatan gambar, field sepertisafety_identifier, gambar atau file dalam percakapan, tool yang dijalankan sendiri oleh penyedia — ditolak oleh AI gateway dengan HTTP 400 sebelum meneruskan apa pun darinya; operator yang menerima teks semacam itu sampai ke penyedia tanpa disamarkan menetapkanallow_unmasked_textpada pemasangan di Release, dengan realisasi mencantumkan secara persis apa yang kemudian lolos, dan konten yang bukan teks tetap diatur olehallow_non_text_content. Secara default, apa yang dibawa balasan tersamarkan yang tidak dapat dibaca penyamarannya — audio lisan beserta transkripnya, gambar, probabilitas token yang dipilih model — ditahan, dan panggilan yang gagal sampai ke pemanggil dengan pesan tetap sebagai pengganti pesan yang dikembalikan penyedia;allow_unmasked_reply_partsmembiarkan bagian-bagian itu sampai ke pemanggil tanpa disamarkan. Teks balasan itu sendiri tidak pernah diloloskan oleh nilai ini, tetapi bagian yang diloloskannya dapat membawa kata-kata balasan: transkrip balasan lisan, token di balik probabilitas token, pesan error penyedia yang mengutip balasan. Padacore/gateway/kong-enterprisesetiap kecocokan diganti dengan placeholder bernomor, sehingga pemasangan yang mencantumkan pola di bawahredactmenetapkanplaceholder_shows_name: false;refusehanya menjangkau permintaan, mulai Kong 3.12, yang menjawab permintaan yang memuat kecocokan dengan HTTP 400; dan balasan disamarkan mulai 3.12, dengan permintaan yang meminta balasan streaming lalu ditolak sebelum diteruskan, danallow_streamed_repliesditolak. Sanitizer Kong membaca teks giliran pengguna, prompt completion, dan teks pesan balasan, dan referensi Kong tidak menyebut setelan apa pun yang menolak permintaan karena hal yang tidak dibaca sanitizer atau yang menahan sisa balasan, sehingga pada gateway itu setiap perlindungan ditolak berdasarkan namanya saat build selama masih mempertahankan default-nya, dan pemasangan dapat di-build setelah Release melonggarkannya —allow_unmasked_textdanallow_non_text_contentdi tempat permintaan disamarkan,allow_unmasked_reply_partsdanmask_reasoning: falsedi tempat balasan disamarkan — dengandata-masking-kong-enterprisemencantumkan apa yang kemudian diloloskan masing-masing. Di sana, balasan yang teksnya tidak tiba sebagai string tunggal yang dikembalikan API OpenAI lolos tanpa dibaca, dengan teksnya sendiri sampai ke pemanggil tanpa disamarkan; pengamannya adalah pemeriksaan build pada setiap model yang terhubung ke gateway itu, yang berhenti pada model yangmodel.aggrega.ai/api-nya bukanopenai. Padacore/gateway/traefik-hubsetiap kecocokan diganti dengan deretan*sepanjang kecocokan itu, sehingga pemasangan yang mencantumkan pola di bawahredactmenetapkanplaceholder_shows_name: false;refusemenjawab HTTP 403 sebagai pengganti permintaan atau balasan; dan balasan yang disamarkan ditahan utuh dan dikirim di akhir, termasuk balasan streaming, sehingga pemasangan yang menyamarkan tipe entitas dalam balasan menetapkanallow_streamed_replies. Referensi Traefik tidak menyebutkan field mana dari permintaan atau balasan chat yang dibaca Content Guard, dan tidak menyebut setelan apa pun yang menolak permintaan, atau menahan sebagian balasan, karena hal yang tidak dibacanya, sehingga pada gateway itu setiap perlindungan ditolak berdasarkan namanya saat build selama masih mempertahankan default-nya, dan pemasangan dapat di-build setelah Release melonggarkannya —allow_unmasked_textdanallow_non_text_contentdi tempat permintaan disamarkan,allow_unmasked_reply_partsdanmask_reasoning: falsedi tempat balasan disamarkan — dengandata-masking-traefik-hubmencantumkan apa yang kemudian diloloskan masing-masing. Pemasangan yang mencantumkan pola sekaligus tipe entitas, dan pemasangan penyamaran kedua pada satu gateway, ditolak, karena referensi Traefik tidak menyebutkan apakah Content Guard kedua pada suatu route membaca teks yang telah disamarkan oleh yang pertama atau permintaan sebagaimana dikirim pemanggil. Padacore/gateway/higress, pluginai-data-maskingmilik Higress mengganti setiap kecocokan pola yang dicantumkan pemasangan, dalam konten dan penalaran setiap pesan permintaan chat, dengan nama pola dalam tanda kurung siku; plugin ini hanya menyamarkan permintaan, sehinggascoperesponsedanbothditolak, dan tidak mengenali tipe entitas apa pun. Plugin itu tidak membaca hal lain dari permintaan, sehingga selama perlindungan mempertahankan default-nya, Recipe chart gateway juga menulis plugin validasi permintaan Higress untuk menolak dengan HTTP 403, sebelum apa pun diteruskan, permintaan yang membawa hal yang tidak dibaca penyamaran — body yang tidak dikirim sebagai JSON atau bukan chat completion, pesan yang kontennya berupa list atau null, tool call atau giliran tool, nama pesan, parameter apa pun selain parameter non-teks chat completion serta tool, format respons, dan stop sequence milik developer sendiri — dan, apa pun yang dilonggarkan pemasangan, permintaan yang body-nya dilewati plugin Higress — body terkompresi, content type yang memuatoctet-streamataugrpc, upgrade — serta body yang memuat karakter pengganti Unicode U+FFFD, yang merupakan cara validasi itu membaca byte yang bukan UTF-8 valid, karena plugin penyamaran meneruskan body yang bukan UTF-8 valid tanpa disamarkan. Permintaan yang body-nya melebihi buffer 32 KiB gateway ditolak dengan HTTP 413. Validasi hanya membaca body yang diterima decoder JSON-nya, sehingga klien yang dengan sengaja mengirim JSON valid yang ditolak decoder — misalnya angka di luar kapasitas double — melewati setiap penolakan atas body-nya: plugin penyamaran lalu hanya menyamarkan konten polos dan penalaran setiap pesan, sehingga nilai yang dicantumkan di bagian lain mana pun dari body — argumen tool call, nama, field lain apa pun — diteruskan tanpa disamarkan, begitu pula konten yang ditulis dengan escape sequence JSON, dan jika body semacam itu juga bukan UTF-8 valid, seluruhnya diteruskan tanpa disamarkan. Klien yang dengan sengaja menyarangkan body lebih dari 127 tingkat, di dalam field yang diizinkan validasi sepertitools, mengirim JSON valid yang didekode dan diizinkan validasi, tetapi pembaca JSON plugin penyamaran berhenti pada kedalaman itu, sehingga konten yang ditulis dengan escape sequence JSON dalam body itu juga diteruskan tanpa disamarkan. Penyamaran saja tidak cukup: teks yang tidak cocok dengan pola mana pun dan tidak terdeteksi oleh pengenal mana pun lolos tanpa perubahan; pada AI gateway, argumen tool call dan hasil tool disamarkan nilai demi nilai, tetapi nama kuncinya tidak; definisi tool, format respons, dan stop sequence milik developer sendiri lolos sebagaimana dikirim; gateway dan layanan pengenal melihat teks aslinya; apa yang dicatat gateway tentang suatu panggilan — dalam log-nya sendiri, atau dalam apa yang diserahkannya ke integrasi logging — masih dapat memuat teks itu; dan lalu lintas yang tidak melewati gateway tidak tersentuh.
- Saat kompilasi (validasi dan pembuatan): Tim platform menulis kebijakan (misalnya Rego) yang dievaluasi pada peran putusan tata kelola dan menyatakan: “Setiap jalur yang melewati gateway AI harus membawa
B. Bertahan dari peracunan MCP (kepercayaan dan isolasi)
- Masalahnya: Jika agen disusupi melalui tool Model Context Protocol (MCP) yang diracuni, agen tersebut dapat secara otonom menjalankan tindakan destruktif (seperti menghapus database atau mengotorisasi transfer).
- Solusi Aggrega:
- Waktu kompilasi (validasi dan pembuatan): Developer memasang Feature gerbang persetujuan pada tool sensitif di
Aggregate.yamlmiliknya. Pustaka standar tidak menyertakan Feature semacam itu, sehingga yang ini ditulis di katalog milik perusahaan sendiri, bersama FeatureRecipe yang merendernya. Compiler memvalidasi graf dan menerjemahkan pemasangan itu menjadi konfigurasi untuk proxy L7 atau gateway webhook. - Runtime (penegakan fisik): Ketika agen yang dibajak mencoba memanggil tool, proxy yang di-deploy menjeda permintaan dan secara fisik memblokir eksekusi sampai persetujuan yang ditandatangani secara kriptografis diterima dari operator manusia.
- Waktu kompilasi (validasi dan pembuatan): Developer memasang Feature gerbang persetujuan pada tool sensitif di
C. Mengatasi “Confused Deputy” (propagasi konteks)
- Masalahnya: Dalam rantai multi-agen, agen yang menghadap publik dapat dibajak dan memerintahkan agen internal dengan hak istimewa tinggi untuk mengambil data sensitif. Firewall standar hanya melihat bahwa “Agen A sedang berbicara dengan Agen B” dan mengizinkan lalu lintas tersebut, sepenuhnya kehilangan konteks pengguna jahat aslinya.
- Solusi Aggrega: Perusahaan dapat menggabungkan dua pola spesifik:
- Propagasi identitas pemanggil, pada dua hop: Identitas pemanggil asli harus bertahan melewati dua hop yang berbeda, dan masing-masing dilindungi di tempat yang berbeda. Pada hop gateway, developer memasang
core/context-propagation, yang memilih berdasarkandataplane.aggrega.ai/caller-identity, pada gateway tempat permintaan masuk. Pada waktu kompilasi, pemasangan itu direalisasikan dalam konfigurasi gateway itu sendiri — pada Envoy Gateway, client traffic policy yang memverifikasi sertifikat setiap klien terhadap otoritas yang disebut Release dan meneruskan detail sertifikat; pada AI gateway LiteLLM, hook permintaan yang menghapus header identitas apa pun yang diberikan pemanggil dan menambahkan pengguna dan tim dari kunci virtual yang diverifikasi gateway, serta organisasinya jika kunci itu menyebut satu, pada permintaan ke alias model yang dicantumkan pemasangan didestinations. Pada runtime, layanan di balik gateway menerima siapa yang memanggil, bukan hanya bahwa gateway yang memanggil. Pada hop beban kerja, permintaan yang dibuat satu agen langsung ke agen lain tidak pernah melewati gateway itu, sehingga diperiksa di ingress milik agen penerima, tempat service mesh menolak setiap permintaan yang tidak membawa token bertanda tangan yang membuktikan niat pengguna asli (mis.,AuthorizationPolicyJWT Istio). Pustaka standar menyertakan Feature hop gateway dan tidak ada Feature hop beban kerja, sehingga memasangcore/context-propagationmelindungi lalu lintas yang melewati gateway dan menyerahkan panggilan antaragen kepada konfigurasi mesh yang disediakan perusahaan sendiri. Agen yang dijalankan pihak lain, yang dijangkaucore/ai-tool/agent-invocationmelalui A2A sebagaicore/ai-agent/a2a-remote, berada sepenuhnya di luar Release: pihak tersebut memeriksa setiap panggilan terhadap skema keamanan yang dideklarasikan Agent Card agen itu, dan tool menyajikan kredensial yang disimpan pada koneksinya, dibaca dari Secret melalui referensi, di bawah header permintaan yang dipublikasikan agen. Jika card mewajibkan client credentials OAuth 2.0 atau OpenID Connect, koneksi menyimpan client secret sebagai gantinya, atau sebagai tambahan, dengan client id yang ditulis operator padanya, dan agen memublikasikan alamat token atau discovery serta scope yang dideklarasikan card-nya; container milik tool memperoleh token dengan semua itu, memperbaruinya, dan menyajikannya pada setiap panggilan; katalog hanya mengirimkan input tersebut, dan tidak ada build yang dapat memeriksa apa yang dilakukan container dengannya. Jika card mewajibkan mutual TLS, koneksi menyimpan sertifikat klien, dan, jika otoritas yang belum dipercaya image menandatangani sertifikat server agen, otoritas itu juga; masing-masing di-mount ke container tool sebagai file dari Secret yang disebut koneksi, dan container sendiri yang menyajikan sertifikat dalam handshake TLS. Jadi tool menjangkau agen yang card-nya mendeklarasikan kunci API dalam header atau cookie, skema autentikasi HTTP yang nilainya tetap, seperti Bearer atau Basic, dengan Secret menyimpan seluruh nilai header, OAuth 2.0 atau OpenID Connect dengan grant client-credentials, atau mutual TLS. Tool tidak menjangkau agen yang card-nya mewajibkan kunci dalam query string, skema HTTP yang menjawab challenge dari agen, seperti Digest, atau alur OAuth 2.0 selain client credentials. Tool juga tidak menyajikan kredensial kepada agen yang dijalankan pihak lain melalui HTTP biasa: jika alamat agen itu adalahhttp, kredensial atau client secret pada koneksi menghentikan build, dengan menyebut koneksinya, karena kredensial itu, atau token yang diperoleh dengan secret tersebut, akan dikirim kepadanya tanpa enkripsi. Agen yang berjalan di dalam Release tetap dapat dijangkau melaluihttpdengan keduanya, dan kredensial itu kemudian melintasi jaringan cluster tanpa enkripsi. - Inspeksi payload antaragen: Permintaan yang dikirim satu agen langsung ke agen lain tidak pernah melewati AI gateway, sehingga diinspeksi di ingress milik agen penerima, oleh mesin guardrail yang berjalan di samping agen itu (mis., NeMo Guardrails). Pada waktu kompilasi, FeatureRecipe yang merealisasikan Feature yang dipasang pada agen penerima merender konfigurasi mesin itu. Pada runtime, mesin mengevaluasi setiap permintaan terhadap aturan yang ditulis perusahaan dan menolak permintaan yang ditolak aturan itu; seberapa baik mesin membedakan permintaan yang dibajak dari yang sah bergantung pada mesin dan aturannya, karena Aggrega mengompilasi konfigurasi dan tidak pernah mengevaluasi prompt. Pustaka standar tidak menyertakan Feature yang menempatkan mesin semacam itu, sehingga pola ini ditulis di katalog milik perusahaan sendiri. Penjaga pola milik gateway sendiri,
dataplane.aggrega.ai/prompt-guard: pattern-list, lebih sempit, dancore/prompt-deny-patternsmengaktifkannya — pada AI gateway, setiap pesan permintaan dibaca dan huruf besar-kecil diabaikan, padacore/gateway/apisixdancore/gateway/kong, setiap pesan dari setiap peran dibaca sebagai satu teks, huruf besar-kecil dibedakan, dan daftar pola yang juga harus dicocokkan permintaan dipatuhi, padacore/gateway/agentgateway, setiap pesan, argumen tool call, dan hasil tool dibaca terpisah, huruf besar-kecil dibedakan, dan padacore/gateway/traefik-hub, permintaan dibaca sebagai chat completion, yang field-field terbacanya tidak dicantumkan referensi Traefik, huruf besar-kecil dibedakan: penjaga ini menolak permintaan model yang teksnya secara harfiah cocok dengan salah satu ekspresi yang dicantumkan pemasangan — parafrase, bahasa lain, atau encoding lolos darinya — dan hanya pada lalu lintas yang melewati gateway, sehingga permintaan yang dikirim langsung antaragen tidak pernah menemuinya.core/prompt-injection-shieldadalah padanannya yang berbasis classifier pada hop yang sama, yang mengirim setiap permintaan model yang diteruskan gateway melalui guard NeMo Guardrails yang terhubung ke socketguardgateway itu, atau melalui prompt shield Azure AI Content Safety di Azure API Management, dan juga hanya mencakup lalu lintas yang melewati gateway.
- Propagasi identitas pemanggil, pada dua hop: Identitas pemanggil asli harus bertahan melewati dua hop yang berbeda, dan masing-masing dilindungi di tempat yang berbeda. Pada hop gateway, developer memasang
D. Analisis risiko topologis
- Masalahnya: Arsitektur AI yang kompleks dengan puluhan model, vektor, dan tool yang saling terhubung terlalu besar untuk diaudit manusia secara manual guna menemukan kerentanan transitif (mis., “Dapatkah Agen A berbicara dengan Tool B, yang berbicara dengan Agen C, yang memiliki akses ke Database D?”).
- Solusi Aggrega: Pemeriksaan ini berjalan lebih awal. Karena Aggrega membangun graf IR lengkap dari topologi yang dimaksud di memori, peran putusan tata kelola dapat menjalankan aturan pencarian jalur tingkat lanjut di seluruh arsitektur. Jika kebijakan mendeteksi rantai edge yang berkesinambungan dan transitif yang berawal dari node publik dan berakhir di database yang sangat sensitif tanpa satu pun kontrol yang diwajibkan perusahaan terpasang di sepanjang rantai itu, kebijakan langsung menghentikan build. Arsitektur yang tidak aman diblokir sebelum satu baris pun kode infrastruktur dihasilkan.
8. Observabilitas & kepatuhan
Untuk memenuhi persyaratan regulasi yang ketat (misalnya, EU AI Act), Platform Architect dapat memanfaatkan sistem fitur Aggrega untuk menerapkan observabilitas AI sebagai persyaratan infrastruktur struktural alih-alih mengandalkan kode aplikasi:
- Pencatatan audit: Dengan plugin Wasm yang ditulis oleh perusahaan, sidecar gateway dapat dikonfigurasi untuk mengalirkan secara asinkron prompt dan respons mentah yang tidak disensor ke bucket penyimpanan WORM (Write Once, Read Many) yang aman, melewati log aplikasi standar.
- Penelusuran LLM: Fitur proxy dapat mengonfigurasi data-plane untuk mengekstrak dan meneruskan header span OpenTelemetry khusus AI, sehingga loop penalaran agen yang kompleks dapat divisualisasikan di alat eksternal.
9. Kompatibilitas Feature & keamanan topologis
Karena compiler inti agnostik terhadap mekanisme infrastruktur fisik, compiler sepenuhnya mengandalkan deklarasi eksplisit di katalog untuk mencegah dihasilkannya konfigurasi yang tidak kompatibel.
conflictsWith: Daftar, yang dideklarasikan pada entitas katalog sebuah Feature di bawahinteroperability, berisi Features yang tidak dapat dilampirkan bersamanya. Compiler membandingkannya dengan Features yang akhirnya dibawa setiap komponen setelah semua cakupan berkontribusi — lampiran milik komponen itu sendiri, lampiran yang ditulis pada subsistem atau boundary yang memuatnya, lampiran pada entri komponennya di Release, dan lampiran yang dihasilkan oleh ekspansi berbasis anotasi — dan berhenti sebelum me-render artefak fisik apa pun ketika satu komponen membawa keduanya (yaitu, seorang penulis melampirkan, secara langsung atau melalui suatu cakupan, dua Features yang oleh penulis salah satu Feature dideklarasikan secara eksplisit tidak kompatibel). Satu deklarasi sudah cukup, dan Features dicocokkan berdasarkan nama apa pun versinya. Compiler tidak menafsirkan apa pun dari nama-nama tersebut: ketidakkompatibelan adalah deklarasi penulis, dan pemeriksaannya adalah perbandingan nama. Atomisitas dan kemurnian Feature itu sendiri tetap merupakan kontrak sosial — tidak ada yang memeriksa bahwa sebuah Feature hanya melakukan satu hal.
10. Pemetaan topologi dinamis (resolusi dependensi)
Untuk membangun graf IR tanpa aturan yang di-hardcode, compiler membacanya dari tiga deklarasi eksplisit:
- Edge
uses: Pengembang menautkan komponen di blokusessetiap instance, dengan menyebutkan komponen target dalam sebuah soket, dan setiap edge graf berasal dari blok semacam itu. Entrivaluesyang kebetulan menyebutkan nama komponen lain tidak menggambar edge apa pun: compiler tidak membaca makna apa pun dari sebuah nilai. - Target edge: Setiap target
usesharus menyebutkan komponen yang ada dalam build; target yang tidak ada menghentikan build, dengan menyebutkan soket tempat target itu dihubungkan. - Keamanan tipe lintas node: String selector
usesSchemaberfungsi sebagai instruksi out-of-band yang eksplisit, yang dievaluasi secara native oleh mesin pencocokan label compiler Go selama analisis statis. String tersebut menjamin bahwa developer tidak dapat secara tidak sengaja menyambungkan komponen standar ke socket yang dideklarasikan yang memerlukan kapabilitas AI-native atau label kepatuhan tertentu. Jaminan ini secara konstruksi terbatas pada socket yang dideklarasikan: sebuah selector berada di dalam entriusesSchema, sehingga socket ad-hoc tidak memiliki selector untuk dievaluasi. Setiap edge mencatat apakah socket-nya dideklarasikan di katalog, sehingga operator yang membutuhkan jaminan menyeluruh dapat mewajibkannya sebagai verdict governance.
11. Desain otomatis sistem agentik (ADAS)
Sistem AI tingkat lanjut memiliki Meta-Agent yang menulis kode untuk menciptakan dan men-deploy agen baru secara langsung saat berjalan. Karena Aggrega memerlukan arsitektur statis ahead-of-time (AOT), Aggrega menangani evolusi infrastruktur saat runtime melalui dua batas eksplisit:
- Batas sandbox yang disediakan sebelumnya: Untuk alat sementara yang diciptakan saat runtime, Architect mendefinisikan sebuah fitur (misalnya,
dynamic-execution-environment). Saat dilampirkan, plugin rendering Wasm menghasilkan konfigurasi untuk menyediakan pool komputasi yang terkunci rapat (seperti runtime WebAssembly). Meta-Agent menyuntikkan kode baru ke dalam sandbox ini, tetapi blast radius-nya dibatasi oleh kebijakan jaringan statis yang dihasilkan. - Meta-Agent sebagai peran “Developer” (loop GitOps): Jika Meta-Agent membutuhkan infrastruktur fisik baru yang sesungguhnya, Meta-Agent bertindak sebagai Developer. Meta-Agent menulis
Aggregate.yamlbaru dan meng-commit-nya ke Git. Ini memicu pipeline CI/CD standar. Peran verdict governance menganalisis secara statis topologi yang diminta AI, dan menghentikan build dengan aman jika AI berhalusinasi menghasilkan kerentanan.
12. Serialisasi model & keamanan rantai pasok
Men-deploy model open-source sering kali berarti mengunduh file .pkl atau .gguf yang tidak transparan dan dapat berisi payload kode berbahaya. Perusahaan dapat memperlakukan keamanan rantai pasok model sebagai masalah konfigurasi platform target. Dengan mendefinisikan fitur model_provenance di Katalog, plugin rendering Wasm milik perusahaan dapat mengevaluasi konfigurasi tersebut dan menerjemahkannya menjadi artefak runtime (seperti kebijakan Kyverno Kubernetes), sehingga cluster target dikonfigurasi untuk memblokir orkestrator agar tidak menarik bobot model yang tidak ditandatangani atau tidak terverifikasi.