Các Features AI
Bộ Feature AI của Aggrega
Để đáp ứng các nhu cầu đặc thù, tính biến động và các mối đe dọa bảo mật của hệ thống AI hiện đại, Aggrega nhúng trí tuệ chuyên biệt trực tiếp vào thư viện chuẩn AI (Danh mục) mã nguồn mở của mình. Điều này đảm bảo rằng cả khung cloud-native chung lẫn các công cụ suy luận AI-native chuyên biệt cao đều cùng tồn tại một cách an toàn.
Trình biên dịch Go lõi là một bộ định tuyến phổ quát trung lập về nội dung; toàn bộ trí tuệ đặc thù cho AI nằm trong các chính sách WebAssembly (Wasm) có thể cắm vào và trong các khai báo JSON Schema 2020-12 mà kiến trúc sư nền tảng viết trên các thực thể Danh mục.
1. Bản thể luận đám mây vận hành và duck typing cho AI
Để kết nối Open Application Model (OAM) chung với những thực tế khắt khe của hạ tầng hiện đại, nhãn component.aggrega.ai/type ánh xạ độc quyền tới một tập đóng gồm các nguyên thủy cloud-native phổ quát. Danh tính ngữ nghĩa này là thứ mà một bộ chọn socket, appliesTo của một Feature và một chính sách quản trị đọc để biết một thành phần xử lý trạng thái, lưu lượng mạng đi vào và vòng đời như thế nào; trình biên dịch so khớp nó như một chuỗi mờ và không phân nhánh theo nó, còn cách một thành phần được kết xuất do Recipe mà Manifest ánh xạ cho nó quyết định.
Các kiểu cloud-native (nền tảng hạ tầng):
server: tài nguyên tính toán không trạng thái, chạy lâu dài, chờ lưu lượng ứng dụng đi vào (ví dụ: một AI Gateway hoặc một Chat UI).worker: tài nguyên tính toán không trạng thái, chạy lâu dài, lấy từ hàng đợi hoặc chạy các vòng lặp nền mà không có cổng ứng dụng đi vào nào (ví dụ: một agent LangGraph hoặc worker Celery).task: tài nguyên tính toán tạm thời chạy đến khi hoàn tất rồi kết thúc (ví dụ: các script di chuyển DB).function: tài nguyên tính toán hướng sự kiện, co giãn về không (ví dụ: AWS Lambda).stateful-server: tài nguyên tính toán trong cluster cần danh tính mạng ổn định và đĩa lưu trữ lâu dài (ví dụ: một cơ sở dữ liệu vector Qdrant, một broker Kafka).resource: hạ tầng bên ngoài, do nền tảng quản lý (ví dụ: AWS RDS PostgreSQL, bucket S3, một event bus được lưu trữ).
Tập hợp này là của riêng Aggrega và là tập đóng. Schema Component được công bố liệt kê các giá trị này, và một tài liệu mang bất kỳ giá trị nào khác sẽ bị từ chối khi tải — E0215 nêu tên nhãn và liệt kê các giá trị nhãn đó chấp nhận. Đó là điều mà trục này mang lại: một Feature hoặc một bộ chọn socket được viết dựa trên stateful-server có cùng ý nghĩa trong mọi danh mục mà nó gặp.
Một thành phần là gì trong từ vựng của riêng bạn thì đặt vào khóa của riêng bạn. Một tầng, một vùng dữ liệu, một lớp dịch vụ, một cách phân chia chi tiết hơn các nguyên thủy — mỗi thứ là một khóa nhãn mà bạn viết bên cạnh khóa dành riêng, vì schema Component chấp nhận bất kỳ khóa nhãn bổ sung nào có giá trị chuỗi và mọi bề mặt bộ chọn đều đọc nó giống hệt nhau. Đó cũng chính là cơ chế mà các nhãn duck typing AI bên dưới đã sử dụng; khóa dành riêng là nền chung, và mọi thứ phía trên là của bạn.
Kiểu vận hành không phải là danh mục duyệt, và chúng là các trục tách biệt có chủ đích. Một broker Kafka nằm trong danh mục messaging — nơi người dùng tìm nó — và mang stateful-server làm kiểu của nó, vì đó là điều hạ tầng phải làm cho nó. Một bộ chọn được viết dựa trên một trục không bao giờ khớp trên trục kia.
Xem entities/component để biết các bảng Phân loại nhãn ngữ nghĩa — các nhãn Generic Cloud Layer, Specialized AI Layer, Cross-Cutters và Dynamic Business Context mà kiến trúc sư dùng để xếp lớp danh tính nhận thức lên trên các kiểu cơ sở.
1.1 Tiêu chuẩn danh mục mã nguồn mở: “Nền trần, rìa chuyên biệt”
Khi áp dụng các nhãn này, có một sự phân biệt quan trọng giữa Danh mục mã nguồn mở chính thức của Aggrega (core/*) và một Danh mục doanh nghiệp riêng (acme/*).
Để danh mục mã nguồn mở chính thức vẫn dùng được một cách phổ quát, nó phải phân biệt nghiêm ngặt giữa vật lý kỹ thuật bất biến và ý định nhận thức chủ quan. Nếu core/datastore/postgres đa dụng được mã hóa cứng với engine: relational, một plugin phán quyết quản trị được cấu hình để áp đặt việc khớp kiểu kho dữ liệu sẽ dừng bản build khi một nhà phát triển bật extension pgvector trong values của họ và cố kết nối một agent AI yêu cầu kho dữ liệu vector.
Để duy trì một danh mục lõi không có quan điểm riêng, các thành phần chính thức tuân theo tiêu chuẩn này: Giữ nền trần, và chuyên biệt hóa các rìa.
- Nền trần:
Componentmã nguồn mở ở cấp gốc chỉ mã hóa cứng những gì đúng một cách khách quan về sản phẩm và không thể bị thay đổi bởi bất cứ điều gì tác giả cấu hình — trước hết và luôn luôn là nguyên thủy vận hành (component.aggrega.ai/type). Một cơ sở dữ liệu Postgres về mặt khách quan là mộtstateful-server; sự thật đó không thể thay đổi. Cùng phép thử đó chấp nhận một nhãn năng lực khi danh tính của sản phẩm chính là năng lực đó:core/datastore/qdrantvàcore/datastore/weaviatelà các công cụ tìm kiếm vector và không điều gì tác giả viết có thể biến chúng thành thứ khác, vì vậy mỗi cái mangdatastore.aggrega.ai/engine: vectortrên nền, đúng nhưcore/datastore/redismangkv. Điều nền trần từ chối là trường hợp ngược lại — một đặc điểm phụ thuộc vào cách một thành phần được cấu hình hoặc sử dụng, là lý do tồn tại của cơ chế thứ ba bên dưới. - Giao diện chuyên biệt (kế thừa schema): Một Component có thể khai báo
extends, chỉ định một Component khác làm nền của nó, và những gì điều đó kết hợp là cấu trúc: nhãn, chú thích, slot attachment, danh sách cho phép tự inject, socket topology và cácassertionscó tên. Ba trụ cột dữ liệu không kết hợp — một Component mở rộng ghi dấu hiệu nguyên vănschema: inheritedvà không viết nội dungvalues,infrahayprovidesnào của riêng nó, vì vậy hợp đồng của nó giống hệt hợp đồng của nền. Đó là lý do cơ chế này thu hẹp chứ không biến đổi: vì hợp đồng không đổi, mọi Recipe viết cho nền đều đã phục vụ được bản chuyên biệt, và bản chuyên biệt chỉ tốn một thực thể danh mục và một dòng ánh xạ trong Manifest. Do đó, điều một bản chuyên biệt bổ sung là danh tính mà một bộ chọn hoặc một chính sách đọc — một tầng kiểm toán, một vùng dữ liệu, một đầu mối quản trị, hoặc một socket có bộ chọn chấp nhận ít hơn bộ chọn của nền. Nó không thể bổ sung một hợp đồng khác, vì nó không có bề mặt nào để viết hợp đồng đó. Có một hệ quả dễ bị bỏ sót: dòng ánh xạ vẫn là bắt buộc. Việc chọn Recipe dựa trên khóa ánh xạ chính xác, nên một bản chuyên biệt cần mụcmappings.components.typeriêng dù nó không cần Recipe riêng. Xem examples/extends-wrapper để biết một wrapper đã công bố bổ sung nhãn tầng đã được duyệt và thu hẹp một socket dựa trên nhãn đó, cùng với bản build dừng lại khi một cạnh được nối vào socket đó rời khỏi tầng. Một đặc điểm phụ thuộc vào cách cấu hình thành phần không phải là đối tượng của cơ chế này: một bản chuyên biệt ghim tạo phẩm của nền và kế thừa hợp đồng của nền, vì vậy một đặc điểm đúng với bản chuyên biệt thì đã đúng với nền, nơi quy tắc Nền trần đặt nó. Đặc điểm như vậy thuộc về Bộ biến đổi động bên dưới. - Bộ biến đổi động (thăng cấp Wasm): Nếu một đặc điểm được quyết định bởi payload của nhà phát triển (ví dụ:
enable_vector: true), doanh nghiệp sử dụng vai tròlabel-transformcủa socket quản trị khi dựng topology để đọc động cácvaluesmờ và tự động inject nhãndatastore.aggrega.ai/engine: vectorvào đồ thị IR trước khi các chính sách chạy. Đây là nơi một đặc điểm phụ thuộc cấu hình trở nên sẵn có cho việc đánh giá chính sách nghiêm ngặt — chính cácvaluesđược nhà phát triển khai báo là thứ thăng cấp nó, và phép biến đổi chạy trước khi bất kỳ chính sách nào đọc một nhãn.
Ngoại lệ doanh nghiệp: Vì trình biên dịch không có quan điểm riêng, các doanh nghiệp viết danh mục nội bộ của riêng mình được tự do phá vỡ quy tắc này. Nếu chính sách bảo mật của công ty quy định rằng mọi cơ sở dữ liệu nội bộ đều có độ nhạy cảm cao, kiến trúc sư nền tảng có thể và nên mã hóa cứng compliance.aggrega.ai/data-class: restricted (hoặc một nhãn tương tự do công ty quy định) trực tiếp lên thành phần nền acme/postgres của họ, để mọi thực thể của nó đều mang lớp đó và một chính sách do doanh nghiệp gắn vào đọc nó trên từng thực thể. Bản thân nhãn không áp đặt điều gì: trình biên dịch mang nó như một chuỗi, và chính chính sách được gắn vào mới là thứ dừng bản build. Khi chỉ một số cách sử dụng một sản phẩm trong hệ thống của tổ chức nắm giữ dữ liệu đó, thì một bản chuyên biệt thông qua extends sẽ mang lớp đó thay thế — xem examples/policy-data-class-route, trong đó trợ lý xử lý yêu cầu bồi thường là agent LangGraph của thư viện chuẩn cộng thêm một nhãn lớp, bên cạnh chính sách đọc nhãn đó.
1.2 Cách nhãn ngữ nghĩa vận hành pipeline của trình biên dịch
Để giữ nhãn trong miền của kiến trúc sư nền tảng, nhà phát triển không thể viết nhãn trên các thực thể Component của họ bên trong Aggregate: lược đồ Aggregate không cung cấp khóa labels cho thực thể thành phần. Nhãn của một nút là nhãn của thực thể danh mục của nó, cùng với bất kỳ nhãn nào mà một phần đính kèm quản trị label-transform do người vận hành cấu hình bổ sung trong quá trình dựng topology. Dưới đây là chính xác cách các nhãn này điều khiển pipeline biên dịch mà không cần mã Go tùy chỉnh:
1. component.aggrega.ai/type (nguyên thủy cơ sở)
- Ai viết nó? Kiến trúc sư nền tảng (Miền 2). Nhãn này là bắt buộc cho mọi thành phần trong danh mục.
- Ai tiêu thụ nó? Bộ phân tích tĩnh và các Plugins kết xuất Wasm.
- Trường hợp sử dụng trong trình biên dịch: Đây là bản thể luận đám mây vận hành cốt lõi. Bộ phân tích tĩnh đánh giá các chuỗi bộ chọn
usesSchemamột cách gốc trong Go để đảm bảo rằng nhà phát triển không thể gắn một agent vào một cơ sở dữ liệu tiêu chuẩn nếu socket yêu cầu một năng lực AI cụ thể. Ngoài ra, DevOps dùng nhãn này để định tuyến rõ ràng các nguyên thủy có trạng thái (stateful-server,resource) vào các ranh giới cluster vật lý hỗ trợ đĩa lưu trữ lâu dài, trong khi một vai trò phán quyết quản trị có thể áp đặt rằng các thành phần có trạng thái không bao giờ được đặt trong các ranh giới chỉ tạm thời.
2. model.aggrega.ai/capability
- Ai viết nó? Kiến trúc sư nền tảng.
- Ai tiêu thụ nó? Bộ phân tích tĩnh (thông qua các label selector kiểu Kubernetes của các socket
usesSchema). - Trường hợp sử dụng trong trình biên dịch: Khi một kiến trúc sư viết một bộ chọn
usesSchemanêu tên nhãn năng lực cần thiết, công cụ khớp nhãn gốc của trình biên dịch sẽ từ chối việc đi dây không thỏa mãn bộ chọn trước khi các tạo phẩm được sinh ra. Trình biên dịch coi các nhãn này là chuỗi mờ; ý nghĩa ngữ nghĩa của “text-generation” so với “embedding” nằm ở cách kiến trúc sư viết bộ chọn.
3. component.aggrega.ai/hosting
- Ai viết nó? Kiến trúc sư nền tảng.
- Ai tiêu thụ nó? Công cụ chính sách (một vai trò phán quyết quản trị), các Plugins kết xuất Wasm, và chính các thành phần gọi model hoặc agent của thư viện chuẩn: các agent của nó, có assertion đọc nhãn này trên mỗi kết nối
model,core/ai-tool/agent-invocation, có assertion đọc nhãn này trên kết nốitarget_agentcủa nó, cũng như bản hiện thực Kubernetes của nó, vốn từ chối cấp thông tin xác thực cho một agentexternalđược truy cập quahttp, cổng AI, có assertion đọc nhãn này trên mỗi kết nối tới các socketmodelsvàcache_storecủa nó, vàcore/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgatewayvàcore/gateway/higress, có các assertion đọc nhãn này trên mỗi kết nối tới các socketmodelscủa chúng, và tớibackendcủa hai Kong, các socketcache_storecủa APISIX và Traefik Hub và các socketcachecủa Envoy Gateway, Higress và Traefik Hub — xem “Khóa mà bên gọi xuất trình” bên dưới. - Trường hợp sử dụng trong trình biên dịch: Nhãn này ghi lại ai vận hành tài nguyên nền bên dưới của thành phần, cho phép một chính sách do người vận hành gắn vào đánh giá rủi ro rò rỉ dữ liệu; trình biên dịch đọc giá trị như một chuỗi và không đánh giá điều gì. Khi một agent có nhãn lớp cho biết nó nắm giữ dữ liệu
internalkết nối tới một model được gắn nhãnmanaged— một dịch vụ được vận hành bên ngoài ranh giới của chính Release — một chính sách như vậy có thể đọc được rằng dữ liệu rời khỏi ranh giới đó, và dừng bản build trừ khi kết nối được định tuyến qua một cổng AI mangcore/data-masking, thứ che giấu văn bản chat và completion mà cổng chuyển tiếp. Socketmodelcủa một agent chấp nhận một cổng như vậy thay cho model, vì vậy tuyến đó là một cạnh của đồ thị mà chính sách đọc, và một model mà cổng phục vụ từ socketmodelscủa nó là một cạnh riêng, từ cổng tới thành phần model, có các nhãn mà chính sách đọc — nhờ vậy đường đi từ một agent qua cổng tới một modelmanagednằm trong đồ thị từ đầu đến cuối. Một upstream được gõ tay vào map model của cổng thì không: đó là một chuỗi mà trình biên dịch không phân giải, vì vậy một chính sách đọc đồ thị chỉ thấy cổng và không thấy gì phía sau. examples/policy-data-class-route là một chính sách như vậy: các thiết lập của nó xếp một modelmanagedvào lớppublic, và nó dừng một bản build trong đó một trợ lý nắm giữ dữ liệurestrictedtiếp cận một model như vậy mà không có cổng che giấu trên tuyến. Đây là một đặc điểm xuyên suốt: cùng các giá trịself-hosted | managed | externalmô tả một cơ sở dữ liệu được quản lý hoặc một máy chủ suy luận tự vận hành giống như chúng mô tả một model, vì vậy nhãn nằm trong không gian tên dùng chungcomponent.aggrega.ai/thay vì không gian tên dành riêng cho model.
4. agent.aggrega.ai/autonomy
- Ai viết nó? Kiến trúc sư nền tảng.
- Ai tiêu thụ nó? Công cụ chính sách (một vai trò phán quyết quản trị).
- Trường hợp sử dụng trong trình biên dịch: Nhãn này xác định rủi ro thực thi của vòng lặp nhận thức. Nếu một agent được gắn nhãn
autonomous(nghĩa là nó chạy các vòng lặp nền mà không cần prompt của người dùng) và kết nối tới một cơ sở dữ liệu có độ nhạy cảm cao, công cụ chính sách có thể dừng bản build trừ khi tác giả gắn Feature phê duyệt hoặc ngăn chặn mà các quy tắc riêng của doanh nghiệp yêu cầu, để một vòng lặp không có người giám sát không thể tiếp cận dữ liệu đó khi chưa được xem xét. - Ý nghĩa của một thành phần không có nhãn trên trục này, vì sự vắng mặt là có chủ đích. Nhãn mô tả rủi ro thực thi của một vòng lặp nhận thức, vì vậy một thành phần không có vòng lặp riêng sẽ không mang giá trị nào ở đây thay vì giá trị thấp hơn trong hai giá trị. Khá nhiều thành phần trong danh mục agent không có nhãn chính vì lý do đó: các phần hỗ trợ mà một nền tảng agent phân phối kèm máy chủ của nó — một bảng điều khiển trên trình duyệt, một lần chạy di chuyển schema, một task worker, một sandbox mã, một proxy egress — nằm trong danh mục đó vì đó là nơi bạn tìm chúng, trong khi vòng lặp mà chúng hỗ trợ nằm trong máy chủ của nền tảng, và đó là nơi đặt nhãn. Trường hợp rõ ràng nhất là một sản phẩm duy nhất được chia ra theo cả hai cách xử lý: máy chủ của một nền tảng mang
copilot, và sandbox mã được phân phối kèm theo không mang gì. Phép thử là vòng lặp nằm ở đâu chứ không phải phần đó có hình dạng gì, vì vậy một runtime lưu trữ mã agent do bạn cung cấp cũng không có nhãn — vòng lặp ở đó là bất cứ thứ gì bạn triển khai vào nó, không phải điều sản phẩm khẳng định. Do đó, một bộ chọn nêu tên một trong hai giá trị sẽ khớp với các thành phần có vòng lặp và không khớp với thành phần nào khác, và một bộ chọn được viết để khớp với bất kỳ mức tự chủ nào sẽ bỏ qua các phần hỗ trợ thay vì coi chúng là thứ ít tự chủ nhất trong bản triển khai.
5. gateway.aggrega.ai/intelligence
- Ai viết nó? Kiến trúc sư nền tảng.
- Ai tiêu thụ nó? Bộ phân tích tĩnh, và các plugin Wasm linter do doanh nghiệp viết.
- Trường hợp sử dụng trong trình biên dịch: Nhãn này quy định những tính năng mà một bộ định tuyến có thể hỗ trợ về mặt vật lý. Feature AI
fallback-chainkhai báoappliesTo: gateway.aggrega.ai/intelligence=semantic, và bộ phân tích tĩnh đánh giá bộ chọn đó dựa trên nhãn của thành phần đích trước khi bất kỳ tạo phẩm nào được kết xuất. Nếu một nhà phát triển gắn nó vào một cổngl4-meshtiêu chuẩn, bản build dừng lại với một vi phạm bộ chọn nêu tên Feature và bộ chọn mà nó không thỏa mãn, vì kiến trúc sư đã viết bộ chọn đó khi biết rằng một mesh TCP tiêu chuẩn không thể phân tích payload JSON của LLM để đọc model mà một yêu cầu nêu tên. Việc từ chối dựa trên sự vắng mặt củasemanticchứ không phải sự hiện diện củal4-mesh, vì vậy nó đúng như nhau trên một bộ định tuyến hoàn toàn không mang nhãn intelligence nào. Trình biên dịch coi nhãn là một chuỗi mờ, đúng như ở trên: ý nghĩa củasemanticnằm ở cách kiến trúc sư viết bộ chọn. Trên một bộ định tuyến có mangsemantic, attachment vượt qua bộ chọn, và điều gì xảy ra tiếp theo là việc của bản hiện thực của nó: bản hiện thực của thư viện chuẩn ghi chuỗi đó vào cấu hình định tuyến của cổng AI. - Những gì thư viện chuẩn mang. Các thành phần sau mang
semantic:core/gateway/litellm, có bản hiện thực kết xuất bảng định tuyến của proxy: một map model trên nhiều nhà cung cấp upstream;core/gateway/cloudflare-ai-gateway, cổng được lưu trữ của Cloudflare, đọc mọi yêu cầu model mà nó chuyển tiếp — model mà yêu cầu nêu tên, các token được tính phí cho yêu cầu đó và, khi các kiểm tra riêng của cổng được bật, nội dung của yêu cầu;core/gateway/azure-api-management, cổng AI của Azure API Management, một dịch vụ được lưu trữ, đọc mọi yêu cầu model trên một API phục vụ model — prompt mà bộ nhớ đệm ngữ nghĩa của nó so sánh, các token mà một phản hồi báo cáo và nội dung mà bước kiểm tra an toàn của nó gửi đi để kiểm tra;core/gateway/apisix, có proxy AI đọc body của mọi yêu cầu trên một route phục vụ model và các token mà phản hồi của model báo cáo;core/gateway/envoy-gateway, có extension Envoy AI Gateway đọc body của mọi yêu cầu trên route phục vụ các model được nối với nó, để tìm model mà yêu cầu nêu tên, cùng các token mà mỗi phản hồi báo cáo;core/gateway/kong-enterprise, Kong Gateway Enterprise, có proxy AI đọc body của mọi yêu cầu trên một route phục vụ một model được nối — model mà yêu cầu nêu tên và các thông điệp nó mang — cùng các token mà mỗi phản hồi báo cáo;core/gateway/traefik-hub, Traefik Hub, có middleware Chat Completion đọc body của mọi yêu cầu trên route phục vụ một model được nối, kiểm tra nó theo schema chat completion và đọc các token mà mỗi phản hồi báo cáo;core/gateway/agentgateway, agentgateway, đọc body của mọi yêu cầu trên các đường dẫn phục vụ model của nó để tìm model mà yêu cầu nêu tên, đó cũng là cách nó chọn model được nối mà yêu cầu sẽ được gửi tới, cùng các token mà mỗi phản hồi báo cáo; vàcore/gateway/higress, Higress, có proxy AI đọc body của mọi yêu cầu trên một route phục vụ một model được nối — model mà yêu cầu nêu tên và liệu nó có streaming hay không — và có các plugin đọc các token mà mỗi phản hồi báo cáo — vì vậy các Features AI yêu cầu giá trị này được phân giải dựa trên bất kỳ thành phần nào trong số đó, và mỗi bản hiện thực cho biết cổng của nó tuân thủ điều gì, hoặc dừng bản build ở nơi cổng của nó không tuân thủ điều gì trong đó; một Feature không có bản hiện thực cho một cổng sẽ dừng bản build tại đó, nêu tên kiểu của nó. Không có thành phần nào mangl4-mesh, và các thành phần cổng khác của thư viện chuẩn hoàn toàn không mang nhãn intelligence nào: những thành phần định tuyến lưu lượng thì kết thúc HTTP và định tuyến ở tầng 7, và một trong số chúng là một control plane hoàn toàn không định tuyến gì, vì vậy không giá trị nào trong hai giá trị mô tả nó. Một mesh TCP tầng 4 lại là một lớp sản phẩm khác nữa. Điều đó giữ nguyên hoàn toàn hiệu lực của việc từ chối nêu trên, vì nó dựa trên sự vắng mặt củasemantic: một attachment yêu cầu giá trị đó sẽ dừng trên bất kỳ thành phần nào trong số đó. Một kiến trúc sư có danh mục thực sự chạy một mesh tầng 4 sẽ gắnl4-meshcho thành phần đó, giúp sự phân biệt có thể chọn được theo cả hai chiều. - Trục này gọi tên một hạng sản phẩm, và đó là một câu hỏi khác với việc một thành phần có thể làm gì với lưu lượng, và đọc nó theo nghĩa thứ hai là sai lầm mà nó dễ dẫn đến.
semanticcho biết bộ định tuyến phân tích thân yêu cầu, đó là điều mà một cơ chế kiểm soát tác động lên mô hình được nêu trong yêu cầu cần đến — vì vậy đây là trục đúng cho việc đó. Nó không nói gì về việc một bộ định tuyến có thể sao chép lưu lượng, mang danh tính của bên gọi, kiểm tra chứng chỉ của một upstream, từ chối một prompt khớp với một danh sách mẫu hay duy trì ngân sách trong một khoảng thời gian hay không, và một Feature cần một trong những khả năng đó không có lý do gì để hỏi về hạng: phần lớn các thành phần cung cấp chúng là các proxy tầng 7 thông thường không mang giá trị intelligence nào, và khi một bộ định tuyếnsemanticcung cấp một khả năng như vậy, nó cung cấp vì những lý do mà hạng không ghi nhận. Vì vậy hạng chạm tới sai tập hợp theo cả hai chiều — nó loại hoàn toàn các proxy đơn thuần và không nói gì về những khả năng mà gateway AI nó chạm tới thực sự có. Câu hỏi đó thuộc về trục đường dữ liệu bên dưới, và hai trục kết hợp được với nhau — một Feature có thể yêu cầu một bộ định tuyếnsemanticđồng thời có khả năng mirroring, bằng cách nêu cả hai.
6. tool.aggrega.ai/impact
- Ai viết nó? Kiến trúc sư nền tảng.
- Ai sử dụng nó? Công cụ chính sách và các Plugins Wasm để kết xuất.
- Trường hợp sử dụng của trình biên dịch: Bằng cách chuyển thông tin này ra khỏi khối
valuescó thể thay đổi của nhà phát triển và đưa vào danh tính nhãn bất biến, nó cho phép công cụ chính sách đánh giá các cấu hình đặc quyền tối thiểu nghiêm ngặt. Một plugin kết xuất có thể tạo các quyềninvoketiêu chuẩn cho một công cụ tìm kiếm webread-only, nhưng đòi hỏi cấu hình chữ ký mật mã nghiêm ngặt để gọi một công cụ SQL dropmutating.
7. compliance.aggrega.ai/data-class
- Ai viết nó? Kiến trúc sư nền tảng của danh mục riêng của một hệ thống CNTT doanh nghiệp (hoặc được chèn động thông qua vai trò quản trị
label-transform). - Ai tiêu thụ nó? Công cụ chính sách (một vai trò phán quyết quản trị).
- Trường hợp sử dụng của trình biên dịch: Nó trao cho dữ liệu mà một thành phần nắm giữ một danh tính quản trị mà một chính sách có thể lần theo dọc đồ thị. Trình biên dịch mang nhãn tới đồ thị IR dưới dạng chuỗi và không xếp hạng gì: nó không biết rằng
restrictednhạy cảm hơnpublic, hay rằng từ nào trong hai từ đó mang ý nghĩa gì. Một chính sách được gắn ở vai tròir-verdictcung cấp ý nghĩa đó trong các thiết lập của riêng nó — những lớp nào tồn tại và chúng xếp hạng ra sao — và đọc nhãn trên các thành phần của những tuyến mà trình biên dịch liệt kê qua các cạnhuses, nhờ đó nó có thể dừng một bản dựng mà trong đó một thành phần nắm giữ dữ liệurestrictedchạm tới một thành phần thuộc lớp khác dọc theo một tuyến không gắn Feature nào mà chính sách coi là hạ cấp phân loại, chẳng hạncore/data-maskingtrên gateway AI mà tuyến đi qua. Việc liệt kê bị giới hạn theo từng thành phần xuất phát và không liệt kê gì vượt quá giới hạn, nên một tuyến mà chính sách đọc được là có thật, còn việc không có tuyến nào không chứng minh rằng không tồn tại tuyến nào. examples/policy-data-class-route chính là chính sách đó, được viết cho các công cụ Rego và CEL được biên dịch vào CLI và cho OPA, với các bản dựng bị dừng và bản dựng hoàn tất đặt cạnh nhau. - Những gì thư viện chuẩn mang theo. Không có Component
core/nào mang nhãn này. Dữ liệu của một thành phần thuộc lớp nào là một phát biểu về cách một hệ thống CNTT doanh nghiệp sử dụng thành phần đó, không phải một thuộc tính của sản phẩm đúng trong mọi Release, nên theo quy tắc Naked Base, nhãn này không đặt trên phần cơ sở: một doanh nghiệp đặt nó trên Component của riêng mình — một bản chuyên biệt hóa thông quaextends, như trợ lý bồi thường trong ví dụ minh họa, hoặc một phần cơ sở của riêng mình theo Enterprise Exception đã nêu ở trên.
8. hardware.aggrega.ai/accelerator
- Ai viết nó? Kiến trúc sư nền tảng. Khi đóng gói một thành phần mô hình cục bộ, họ biết rằng về cơ bản thành phần đó cần GPU để hoạt động.
- Ai sử dụng nó? DevOps (Miền 4).
- Trường hợp sử dụng của trình biên dịch: DevOps định tuyến tường minh các thành phần mang nhãn GPU vào ranh giới các nhóm phần cứng vật lý trong
Releasethông qua ánh xạcomponents: {}. Nhà phát triển chỉ cần yêu cầu mô hình nhận thức trongAggregatecủa mình, và DevOps đặt nó vào ranh giới cụm GPU đắt tiền, giữ trọn vẹn nguyên tắc phân tách mối quan tâm. Một vai trò phán quyết quản trị còn có thể buộc rằng không thành phần nào mang nhãn này bị đặt vào một ranh giới thiếu hạ tầng GPU.
9. datastore.aggrega.ai/engine
- Ai viết nó? Kiến trúc sư nền tảng, trên các thành phần thuộc danh mục datastore (tĩnh, trên một bản chuyên biệt hóa flavored, hoặc được chèn bởi vai trò
label-transformkhivaluescủa nhà phát triển nâng cấp vai trò). Các giá trị được dùng trong toàn bộ danh mục là:relational,document,kv,vector,graph,semantic-memory,search. Mỗi giá trị gọi tên một công cụ lưu trữ mà một sản phẩm là —searchgọi tên một công cụ tìm kiếm và phân tích đồng thời lập chỉ mục vector — vì vậy một đặc điểm nằm trong lược đồ và mô hình truy cập riêng của một ứng dụng chứ không nằm trong bất kỳ kho lưu trữ có thể triển khai nào thì không phải là một giá trị trên trục này. - Ai sử dụng nó? Bộ phân tích tĩnh (thông qua các chuỗi bộ chọn) và công cụ chính sách.
- Trường hợp sử dụng của trình biên dịch: Bộ chọn nhắm tới ngữ nghĩa lưu trữ thay vì sản phẩm — socket cơ sở tri thức của một agent chọn
datastore.aggrega.ai/engine in (vector, semantic-memory, search), và một công cụ chính sách có thể từ chối định tuyến payload SQL tới một công cụ vector. Mức độ liên quan tới AI của các datastore lưỡng dụng được suy ra từ nhãn này, không bao giờ được lưu thành một giá trị boolean riêng. - Những gì thư viện chuẩn mang theo.
core/datastore/qdrant,core/datastore/weaviate,core/datastore/chroma,core/datastore/pgvectorvàcore/datastore/milvusmangvector,core/datastore/cogneemangsemantic-memory, còncore/datastore/opensearchvàcore/datastore/elasticsearchmangsearch, nên bộ chọn cơ sở tri thức ở trên được phân giải với từng thành phần này.core/datastore/redis,core/datastore/valkeyvàcore/datastore/memcachedmangkv. Mỗi nhãn này nằm trên phần cơ sở riêng của thành phần, vì danh tính của sản phẩm chính là công cụ đó. Vớicore/datastore/pgvector, danh tính đó là hiện vật mà nó ghim: nó chạy image PostgreSQL của chính dự án pgvector, vốn đã có sẵn phần mở rộng, và mọi Recipe đều bật phần mở rộng trong cơ sở dữ liệu mà thành phần tạo ra — vì vậy đặc điểm vector của nó không phụ thuộc vào một thiết lập nào, và đó là điều tách nó khỏi trường hợp được cấu hình nêu ở mục “Naked Base, Flavored Edges” phía trên, nơi một PostgreSQL đa dụng chỉ có được đặc điểm này khi nhà phát triển bật một phần mở rộng.relational,documentvàgraphkhông có thành phần nào trong thư viện chuẩn, nên một bộ chọn chỉ nêu các giá trị trong số đó sẽ không khớp với gì ở đây và được thỏa mãn bởi một danh mục có mang một thành phần như vậy.
10. pipeline.aggrega.ai/mode
- Ai viết nó? Kiến trúc sư nền tảng, trên các thành phần thuộc danh mục pipeline. Mỗi giá trị gọi tên cách một sản phẩm chạy một job nhiều bước, và các giá trị đi theo những thành phần mang chúng thay vì theo một danh sách định sẵn. Thư viện chuẩn mang hai giá trị:
durabletrêncore/ai-pipeline/temporal, có công cụ ghi lại kết quả của mọi bước dưới dạng lịch sử sự kiện và phát lại nó, nhờ đó một job có worker bị sập sẽ tiếp tục từ chỗ đã dừng; vàreconciledtrêncore/ai-pipeline/argo-workflows, có bộ điều khiển chạy mỗi bước dưới dạng một pod từ một tài nguyên workflow được lưu trong chính API của cụm. - Ai sử dụng nó? Công cụ chính sách và các Plugins Wasm để kết xuất.
- Trường hợp sử dụng của trình biên dịch: Cho phép các chính sách và trình kết xuất phân biệt các công cụ pipeline theo cách một lần chạy vượt qua sự cố — một lịch sử sự kiện được phát lại hoặc một tài nguyên cụm được đối soát — thay vì theo tên sản phẩm.
11. dataplane.aggrega.ai/* (Các khả năng của đường dữ liệu)
- Ai viết nó? Kiến trúc sư nền tảng, trên bất kỳ thành phần nào nằm trên đường đi của lưu lượng — một reverse proxy, một ingress gateway, một service mesh, một gateway AI.
- Ai sử dụng nó? Bộ phân tích tĩnh, thông qua
appliesTocủa một Feature và bộ chọnusesSchemacủa một socket. - Trường hợp sử dụng của trình biên dịch: Nó trả lời thành phần này có thể làm gì với lưu lượng, đó là điều một cơ chế kiểm soát lúc chạy thực sự cần biết và là điều một nhãn hạng sản phẩm không thể nói ra.
core/traffic-shadowing, vốn sao chép các yêu cầu thực tới một dịch vụ thứ hai để đánh giá, khai báoappliesTo: dataplane.aggrega.ai/request-mirroring— chỉ riêng khóa — và bộ phân tích tĩnh đánh giá điều đó với các nhãn của đích trước khi bất cứ thứ gì được kết xuất, vì vậy việc gắn nó vào một thành phần hoàn toàn không thể mirroring sẽ dừng lại với một vi phạm bộ chọn nêu tên Feature và bộ chọn mà nó không thỏa mãn. Trình biên dịch coi mỗi chuỗi này là mờ, đúng như cách nó coi các chuỗi còn lại. - Vì sao tiền tố gọi tên đường đi của lưu lượng thay vì một loại thành phần. Mirroring, danh tính bên gọi và việc xác minh upstream không phải là thuộc tính của gateway — chúng là thuộc tính của bất cứ thứ gì đứng trên đường đi của yêu cầu, và một service mesh được thêm vào danh mục có cả ba. Đặt tên họ nhãn theo loại thành phần tình cờ mang chúng đầu tiên sẽ buộc mọi loại sau đó phải khai báo lại cùng một bộ từ vựng dưới tiền tố riêng của mình, khiến một khả năng có nhiều tên và không có bộ chọn nào bao quát được tất cả.
- Vì sao độ trung thực nằm trong giá trị. Hai thành phần có thể cùng mirroring yêu cầu mà vẫn khác nhau ở điều một Feature quan tâm: một bên sao chép mọi yêu cầu khớp, bên kia sao chép một tỷ lệ có thể thiết lập. Một khóa chỉ cho biết liệu một thành phần có mirroring hay không sẽ chấp nhận cả hai và để sự khác biệt bị phát hiện sau khi kết xuất. Đặt độ trung thực vào giá trị cho phép yêu cầu nó theo cách nào trong hai cách phù hợp với Feature. Một Feature hoàn toàn không thể hoạt động nếu thiếu một độ trung thực nhất định sẽ nêu giá trị đó trong bộ chọn của mình. Một Feature vẫn hoạt động ở độ trung thực thấp hơn chỉ chọn theo khóa, và phần hiện thực hóa của nó từ chối thiết lập mà thành phần không thể đáp ứng: sao chép toàn bộ luồng hoạt động trên mọi thành phần có mirroring, nên
core/traffic-shadowinggắn được vào tất cả chúng, và phần hiện thực hóa cho một thành phần khai báofull-ratetừ chối một tỷ lệ dưới 100 bằng một thông báo nêu tỷ lệ được yêu cầu và độ trung thực mà thành phần khai báo — hai điều mà vi phạm bộ chọn không nói ra. Do đó các giá trị được suy ra từ những gì các sản phẩm đang phát hành triển khai thay vì được soạn thành một hệ phân loại:request-mirroringmangfull-ratevàsampledvì các proxy thực tế phân chia đúng như vậy, một loại cung cấp thiết lập tỷ lệ sao chép và loại khác không cung cấp gì. - Một giá trị khẳng định một khả năng, không bao giờ là một trạng thái đã cấu hình. Với nhà phát triển, hai điều này đọc giống hệt nhau, và chỉ một trong số đó là thuộc tính của thành phần. Một proxy có khả năng xác minh chứng chỉ của một upstream mang
upstream-tls: trust-anchorbất kể có bản triển khai nào bật việc kiểm tra hay không — nhãn là thứ mà một Feature dùng để chọn trước khi bất cứ thứ gì được cấu hình, nên việc nạp cấu hình vào nó sẽ khiến nó không đọc được đúng vào lúc nó được dùng. - Những gì thư viện chuẩn mang theo.
core/gateway/nginxmangrequest-mirroring: full-rate,upstream-tls: trust-anchorvàconcurrency-cap: total, một giới hạn duy nhất cho mọi yêu cầu mà nó chuyển tiếp.core/gateway/contourmangrequest-mirroring: sampled,caller-identity: client-certificatevàupstream-tls: trust-anchor.core/gateway/envoy-gatewaymang ba giá trị giốngcore/gateway/contour, cùngperiod-budget: tokens, đếm các token mà mỗi phản hồi của một mô hình nó phục vụ qua Envoy AI Gateway báo cáo, vàconcurrency-cap: per-target, một giới hạn cho các yêu cầu đang xử lý tới từng mô hình mà nó phục vụ.core/gateway/kongmangupstream-tls: trust-anchorvàprompt-guard: pattern-list, với AI Prompt Guard của nó đối chiếu các tin nhắn của một yêu cầu mô hình với các danh sách mà các route của nó lưu giữ.core/gateway/tykmangupstream-pinning: public-key, giá trị màcore/upstream-key-pinningchọn.core/gateway/litellmmangcaller-identity: injected-header,content-masking: entity-recognition,period-budget: cost,prompt-guard: pattern-list,upstream-tls: trust-anchorvàconcurrency-cap: per-target, một giới hạn cho các yêu cầu đang xử lý tới từng mục trong ánh xạ mô hình của nó.core/gateway/cloudflare-ai-gatewaymangperiod-budget: cost.core/gateway/apisixmangperiod-budget: tokens, đếm các token mà phản hồi của mỗi mô hình báo cáo và không định giá gì, cùngprompt-guard: pattern-list.core/gateway/kong-enterprisemangperiod-budget: tokens, đếm các token mà phản hồi của mỗi mô hình báo cáo, vàcontent-masking: entity-recognition.core/gateway/traefik-hubmangcontent-masking: entity-recognitionvàprompt-guard: pattern-list, với middleware Content Guard của nó che các kết quả khớp của những mẫu mà cấu hình của nó lưu giữ hoặc các loại thực thể mà một bộ phân tích Presidio nó gọi phát hiện, hoặc từ chối một yêu cầu khớp với một mẫu, cùngperiod-budget: cost, được định giá theo bảng giá theo từng mô hình đi kèm middleware hạn mức của nó, vốn có thể thay vào đó đếm các token mà mỗi phản hồi báo cáo.core/gateway/agentgatewaymangcontent-masking: pattern-listvàprompt-guard: pattern-list, với cơ chế bảo vệ dựa trên biểu thức chính quy của nó che hoặc từ chối các kết quả khớp của những mẫu mà cấu hình của nó lưu giữ và không nhận diện loại thực thể nào, cùngperiod-budget: cost, các ngân sách nó duy trì theo từng khóa API bằng đô la Mỹ, được định giá theo danh mục chi phí mô hình của nó, hoặc bằng token.core/gateway/higressmangcontent-masking: pattern-list, với pluginai-data-maskingcủa nó che các kết quả khớp của những mẫu mà cấu hình của nó lưu giữ trong văn bản các tin nhắn của một yêu cầu chat và không nhận diện loại thực thể nào, cùngperiod-budget: tokens, đếm gộp các token prompt và completion mà mỗi phản hồi báo cáo và không định giá gì.core/gateway/azure-api-managementmangperiod-budget: tokens, đếm gộp các token prompt và completion mà mỗi phản hồi báo cáo, với một bộ đếm riêng tại mỗi gateway của phiên bản, và không định giá gì.core/security/nemo-guardrailsvàcore/security/trustyai-guardrails-gateway, hai bộ bảo vệ đứng trên đường đi của một mô hình và đánh giá một yêu cầu bằng một bộ phân loại đã huấn luyện, mangprompt-guard: classifier, giá trị mà các socketguardcủa gateway AI và gateway NGINX chọn. Các gateway AI trong số đó —core/gateway/litellm,core/gateway/cloudflare-ai-gateway,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/kong-enterprise,core/gateway/traefik-hub,core/gateway/agentgateway,core/gateway/higressvàcore/gateway/azure-api-management— mangsemanticvà phần còn lại không mang giá trịgateway.aggrega.ai/intelligencenào, đó là sự phân tách đang vận hành chứ không phải một ngoại lệ của nó: một Feature cần mirror chạm tới ba thành phần có khả năng đó, trong khi một bộ chọn hạng sản phẩm sẽ chỉ chạm tới Envoy Gateway trong số đó, vì một lý do không nói gì về mirroring, và một Feature cần bộ bảo vệ prompt, che nội dung hoặc ngân sách theo kỳ chạm tới một gateway AI dựa trên những gì nó có thể làm thay vì hạng mà nó thuộc về, còn một Feature giới hạn các yêu cầu đang xử lý chạm tới gateway NGINX, vốn không mang giá trị hạng nào, cũng như nó chạm tới Envoy Gateway và gateway AI, và một Feature từ chối yêu cầu dựa trên danh sách mẫu chạm tới Kong mã nguồn mở, vốn cũng không mang giá trị nào, cũng như nó chạm tới APISIX. Một thành phần không có gì để mô tả trên một trong các trục này sẽ không mang giá trị nào ở đó thay vì một giá trị yếu nhất, nên một bộ chọn nêu bất kỳ giá trị nào trên trục đó, một cách đúng đắn, không gắn vào nó.
12. security.aggrega.ai/text-anonymization
- Ai viết nó? Kiến trúc sư nền tảng, trên một dịch vụ tham gia vào việc che văn bản nhạy cảm. Khi công việc đó được chia cho hai dịch vụ,
analyzerđặt trên dịch vụ tìm các đoạn nhạy cảm trong văn bản và báo cáo chúng, cònanonymizerđặt trên dịch vụ viết lại các đoạn được giao cho nó;sanitizerđặt trên một dịch vụ làm cả hai trong một lần gọi, tìm các đoạn nhạy cảm trong văn bản được gửi tới, tự viết lại chúng và phản hồi bằng văn bản đã được viết lại. - Ai sử dụng nó? Bộ phân tích tĩnh, thông qua bộ chọn
usesSchemacủa một socket. - Trường hợp sử dụng trong trình biên dịch: Đây là cách một bên tiêu thụ được trao đúng địa chỉ.
core/gateway/litellmkhai báo một socketpii_analyzerchọnsecurity.aggrega.ai/text-anonymization=analyzervà một socketpii_anonymizerchọn giá trịanonymizer, nên việc nối một trong hai dịch vụ vào socket của dịch vụ kia sẽ dừng build với một vi phạm selector nêu tên socket đó.core/gateway/kong-enterprisekhai báo một socket,pii_sanitizer, chọn giá trịsanitizer, vàcore/gateway/traefik-hubkhai báo một socket,pii_analyzer, chỉ chọn giá trịanalyzer, vì Content Guard mà Recipe chart của nó viết chocore/data-maskingtự thay thế những gì bộ phân tích tìm thấy. Trình biên dịch định tuyến địa chỉ mà thành phần được chọn công bố và không kiểm tra gì về thứ trả lời tại đó. - Thư viện chuẩn mang những gì.
core/security/presidio-analyzermanganalyzervàcore/security/presidio-anonymizermanganonymizer. Cả hai đều dùng API HTTP của Presidio mà gateway AI gọi khi một phần gắncore/data-masking, hoặcvalues.log_maskingcủa chính gateway, liệt kê các loại thực thể, và Content Guard của Traefik Hub chỉ gọi bộ phân tích khi một phần gắncore/data-maskingtrên gateway đó liệt kê chúng.core/security/kong-ai-pii-servicemangsanitizervà dùng API dịch vụ AI PII của Kong, mà AI PII Sanitizer của Kong Gateway Enterprise gọi với mọi văn bản nó che, kể cả các biểu thức chính quy của nó, trong khi có một phần gắncore/data-maskingtrên gateway đó. Sanitizer không xuất trình thông tin xác thực nào cho nó và mọi văn bản đến nó ở dạng chưa che, nên địa chỉ của nó là địa chỉ nội bộ trong cluster, không nhằm để lộ ra ngoài cluster.
13. model.aggrega.ai/api
- Ai viết? Platform Architect, trên mọi thành phần thuộc danh mục model và trên một gateway phục vụ một API mô hình. Giá trị cho biết API mô hình nào trả lời tại địa chỉ mà thành phần công bố:
openaikhi đó là API OpenAI — của chính nhà cung cấp, hoặc bản triển khai của một máy chủ —anthropickhi đó là Messages API của Anthropic,geminikhi đó là Gemini API của Google, vànativekhi đó là API riêng của sản phẩm chứ không phải bất kỳ API nào ở trên, mà bên tiêu thụ truy cập qua client của sản phẩm đó. Mỗi giá trị được đọc từ tài liệu tham khảo của chính sản phẩm, và một thành phần mang nó bất kể một Release cụ thể cấu hình gì. - Ai sử dụng? Static Analyzer, thông qua selector
usesSchemacủa một socket, cùng các assertion của gateway AI, củacore/gateway/kong, củacore/gateway/kong-enterprise, củacore/gateway/apisix, củacore/gateway/envoy-gateway, củacore/gateway/traefik-hub, củacore/gateway/agentgatewayvà củacore/gateway/higress, trên mỗi kết nối tới các socketmodelscủa chúng. - Trường hợp sử dụng trong trình biên dịch: Đây là điều cho phép một socket nhận hoặc một mô hình hoặc một gateway phục vụ mô hình. Socket
modelcủa mọi agent trừ năm runtime được nêu bên dưới, sockettarget_modelcủacore/ai-tool/model-invocationvà hai socket mô hình củacore/datastore/cogneechọncomponent.aggrega.ai/category in (ai-model, gateway), model.aggrega.ai/api: yêu cầu danh mục chấp nhận hai danh mục đó, và yêu cầu khóa chỉ chấp nhận những thành phần trong số đó mang nhãn, nên việc nối một socket như vậy vào một gateway không phục vụ API mô hình nào sẽ dừng build với một vi phạm selector nêu tên socket. Mọi yêu cầu của một selector đều phải thỏa mãn và các lựa chọn thay thế của nó nằm trong tập của một khóa duy nhất, nên khóa duy nhất mà cả hai loại thành phần đáp ứng phải có trên mọi thành phần mô hình cũng như trên gateway — đó là lý do nhãn nêu tên một API thay vì chỉ đánh dấu các gateway. Một gateway mang nhãn này công bố các khóaendpointvàmodelmà một mô hình công bố, nên Recipe của bên tiêu thụ đọc cả hai theo cùng một cách. Một agent có các Recipes cung cấp biến của một API mô hình duy nhất thì thay vào đó nêu giá trị của API đó: các socketmodelcủacore/ai-agent/openai-agents-sdk,core/ai-agent/agent-frameworkvàcore/ai-agent/mastrachọnmodel.aggrega.ai/api=openai, socket củacore/ai-agent/claude-agent-sdkchọnmodel.aggrega.ai/api=anthropic, và socket củacore/ai-agent/google-adkchọnmodel.aggrega.ai/api=gemini, nên việc nối một trong số chúng vào một mô hình hoặc một gateway phục vụ API khác sẽ dừng build với một vi phạm selector nêu tên socket. Socket củacore/ai-agent/google-adkcòn thu hẹp danh mục thànhai-model, từ chối mọi gateway, vì client của ADK không đọc địa chỉ nào và sẽ gửi thông tin xác thực của gateway tới địa chỉ riêng của Google. Gateway AI đọc giá trị thay vì chọn theo nó: socketmodelscủa nó chọncomponent.aggrega.ai/category=ai-model, chấp nhận mọi mô hình, và vì gateway mô tả một mô hình được nối ở đó cho proxy của nó chỉ qua API OpenAI, assertion của Component của nó dừng build trên một kết nối có đích mang bất kỳ giá trị nào khácopenai, nêu tên kết nối và yêu cầu thay vào đó nhập upstream đó vào bản đồ mô hình viết tay của gateway.core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgatewayvàcore/gateway/higressđọc nó theo cùng cách trên các socketmodelscủa riêng chúng, vì mỗi cái viết route của một mô hình được nối, hoặc trên agentgateway là mục mô hình của nó, chỉ cho API OpenAI. Trình biên dịch coi giá trị là một chuỗi không minh bạch và không kiểm tra gì về thứ trả lời tại địa chỉ. - Thư viện chuẩn mang những gì.
core/gateway/litellm,core/gateway/kong,core/gateway/kong-enterprise,core/gateway/apisix,core/gateway/envoy-gateway,core/gateway/traefik-hub,core/gateway/agentgatewayvàcore/gateway/higressmangopenai, cũng như các máy chủ tự lưu trữcore/ai-model/vllm,ollama,docker-model-runner,tgi,tei,nvidia-nimvàlitellm, các API được quản lýcore/ai-model/openai,openai-embeddingvànvidia-api, và brokercore/ai-model/openai-compatible, được trỏ tới một dịch vụ dùng API đó.core/ai-model/anthropicmanganthropic, vàcore/ai-model/geminimanggemini. Mọi thành phần mô hình khác mangnative.
14. tool.aggrega.ai/transport
- Ai viết? Platform Architect, trên một công cụ mà bên tiêu thụ truy cập qua một giao thức truyền tải mà nó phải dùng được. Giá trị nêu tên giao thức truyền tải đó.
- Ai sử dụng? Static Analyzer, thông qua socket công cụ của bên tiêu thụ.
- Trường hợp sử dụng trong trình biên dịch: Đây là cách một bên tiêu thụ chỉ được trao những công cụ mà nó có thể giao tiếp. Một socket công cụ chọn
component.aggrega.ai/category=ai-tool, tool.aggrega.ai/transport=http: yêu cầu danh mục chấp nhận công cụ và không gì khác, còn yêu cầu truyền tải chỉ chấp nhận những công cụ được truy cập qua HTTP, nên việc nối một socket như vậy vào một công cụ không mang nhãn đó sẽ dừng build với một vi phạm selector nêu tên socket. Cách truy cập một công cụ phải là một nhãn chứ không phải một giá trị được công bố, vì selector đọc nhãn và không bao giờ đọc nội dung của một giá trị. Trình biên dịch coi giá trị là một chuỗi không minh bạch và không kiểm tra gì về thứ trả lời tại địa chỉ. - Thư viện chuẩn mang những gì.
core/ai-tool/mcpmanghttp. Nó gắn một máy chủ Model Context Protocol vào một agent, và Manifest chọn cách hiện thực máy chủ đó:helm/mcpvàcompose/mcpchạy một image phục vụ giao thức qua HTTP;helm/mcp-stdio-bridgevàcompose/mcp-stdio-bridgechạy một gói chỉ dùng stdio phía sau một bridge được ghim phiên bản phục vụ nó qua HTTP;helm/mcp-remotevàcompose/mcp-remotetruy cập một máy chủ do người khác vận hành, và không chạy gì. Mọi hiện thực đều công bố cùnghost,port,endpoint,protocolvàcredential_header, nên cách nối của bên tiêu thụ không thay đổi theo hiện thực. Thông tin xác thực riêng của một máy chủ là các biến môi trường, được giữ trong slotserver_envcủa công cụ: được chuyển tới bridge theo tham chiếu trên Kubernetes, và trên Docker Compose được ghi vào môi trường của dịch vụ nguyên dạng được chuyển, nơi một tham chiếu biến Compose giữ thông tin xác thực ở ngoài tệp; thông tin xác thực của một máy chủ từ xa được bên tiêu thụ giữ trên kết nối riêng của nó tới công cụ và xuất trình dưới header màcredential_headernêu tên, làAuthorizationtrừ khi Release nêu một header khác. Khi một máy chủ từ xa đọc khóa của nó từ chính địa chỉ của nó, bên tiêu thụ cũng giữ toàn bộ địa chỉ trên kết nối đó, trong một slotendpointđược điền trên Kubernetes bằng một tham chiếu tới một Secret và trên Docker Compose bằng một tham chiếu biến Compose, nên khóa không đến được tệp nào được render, trong khiinfra.endpointcủa công cụ giữ địa chỉ không có phần mang khóa; examples/mcp-address-from-secret xây dựng cả hai.core/ai-agent/openai-agents-sdk,core/ai-agent/claude-agent-sdk,core/ai-agent/agent-framework,core/ai-agent/google-adkvàcore/ai-agent/mastra, cùng các nền tảng luồngcore/ai-agent/flowisevàcore/ai-agent/n8n, khai báo một socket công cụ dạng này,tools, và chuyển địa chỉ của từng công cụ được nối, cùng thông tin xác thực của kết nối theo tham chiếu, dưới các biến được đặt tên theo bí danh của kết nối, trong khi một kết nối viết một khốiinject:nhận những gì khối đó quy định thay cho các biến được suy ra từ những gì công cụ công bố, còn nội dung trong các slotcredentialvàendpointcủa nó vẫn nằm dưới tên của bí danh; một bên tiêu thụ của riêng bạn cũng khai báo socket như vậy theo cùng cách. Mỗi nền tảng trong ba nền tảng luồng mang một luồng được viết trong Aggregate vào nền tảng khi triển khai, trên cả hai đích: Langflow nạp định nghĩa được mang theo từ thư mục luồng của nó ở mỗi lần khởi động, chatflow của Flowise được khởi tạo bởi một bước chạy một lần đăng nhập bằng tài khoản chủ sở hữu mà Release nêu tên, và workflow của n8n được nhập bởi một bước init trước khi nền tảng khởi động.core/ai-agent/langflowkhai báo một sockettoolscùng dạng, không chấp nhận khốiinject:, và thay vào đó chuyển từng kết nối qua luồng đó, vì thành phần MCP Tools của Langflow chỉ lấy địa chỉ máy chủ từ cài đặt riêng của Langflow hoặc từ luồng, không bao giờ từ một biến: các Recipes của nó viết địa chỉ của công cụ vào nút MCP Tools có máy chủ được đặt tên theo bí danh của kết nối, chuyển thông tin xác thực của kết nối theo tham chiếu dưới dạng một biến mà header của nút đó nêu tên — dướiAuthorization, một biến chứaBearervà thông tin xác thực — và cho các host của công cụ và kho lưu trữ được nối đi qua cơ chế bảo vệ của Langflow chống lại địa chỉ riêng. Cả ba nền tảng cũng khai báo một socketvector_storechọndatastore.aggrega.ai/engine in (vector, semantic-memory, search), socket này theo cùng cách chuyển địa chỉ của từng kho lưu trữ được nối —endpointmà nó công bố, vớicore/datastore/pgvectorlà một URI kết nối không chứa mật khẩu, hoặc một địa chỉ ghép từ giao thức, host và cổng của nó — và thông tin xác thực của kết nối theo tham chiếu; một kho lưu trữ cũng công bố cơ sở dữ liệu và người dùng của nó, nhưcore/datastore/pgvector, đến Flowise và n8n cả ở các phần đó, vì nút vector PostgreSQL của cả hai nền tảng đều không nhận chuỗi kết nối; Langflow, có thành phần PGVector nhận một chuỗi duy nhất, nhận kho lưu trữ như vậy dưới dạngAGGREGA_VECTOR_STORE_<ALIAS>_CONNECTION_STRING, với thông tin xác thực của kết nối làm mật khẩu, theo tham chiếu trên Kubernetes và nguyên dạng được chuyển trên Docker Compose. Một chatflow của Flowise đọc một biến được chuyển tới thông qua một biến Runtime cùng tên được tạo trên trang Variables của Flowise, và một workflow của n8n đọc biến đó qua$envchỉ khi Aggregate đặt giá trịallow_env_access_in_nodescủa nền tảng, vì theo mặc định các Recipes của nó giữ cơ chế chặn của n8n đối với việc truy cập môi trường trong các nút.
2. Trừu tượng hóa cổng (quy ước không cổng)
Danh mục thư viện chuẩn mã nguồn mở của Aggrega khuyến nghị bỏ các khai báo cổng vật lý khỏi tầng nhận thức của các Components, thay vào đó định tuyến việc chọn cổng qua Recipe của Ops. Các tác giả làm theo khuyến nghị này tránh được xung đột cổng giữa các đích triển khai, ngăn các API cửa sau vượt qua Injection Contract, và giữ cho cấu trúc mạng linh hoạt giữa các nhà cung cấp. Bản thân trình biên dịch không phụ thuộc vào cổng — nó chuyển tiếp bất kỳ giá trị nào mà JSON Schema đã phân giải cho phép. Quy ước này vận hành với một lối thoát tường minh cho các hệ thống cũ có cổng vật lý không thể thay đổi.
- Mặc định cloud-native (chèn động): Với các khối lượng công việc hiện đại, các Components bỏ hoàn toàn cổng vật lý (không có mảng
portshayexpose) khỏi khai báoschema:của chúng. Các Recipes của Platform Ops chọn cổng TCP/UDP nội bộ và công bố nó dưới dạng một khóaprovidescó tên, mà các bên tiêu thụ phía sau đọc qua Injection Contract.context.uses. - Lối thoát cho hệ thống cũ (khai báo tường minh): Khi một thành phần cũ có một cổng được mã hóa cứng không thể thay đổi, Platform Architect sẽ hiển thị tường minh một trường
porttrong khai báoschema:của Component. Điều này cho Developer một cách đã được xác thực để khai báo ràng buộc vật lý. Trình biên dịch mang giá trị qua pipeline mà không thay đổi; Recipe sử dụng nó qua{{ .values.port }}. - Cổng vận hành (ngoài băng): Các cổng chỉ được hạ tầng cluster sử dụng (ví dụ: thu thập số liệu của Prometheus, số liệu sidecar Envoy) vẫn được ẩn khỏi tầng nhận thức của Developer. Chúng được Platform Ops chèn ngoài băng thông qua Features (ví dụ: gắn Feature
core/prometheus-exporter, có cổng thu thập số liệu làinfracủa người vận hành).
3. Schema theo miền (trí tuệ cấu hình)
Các khối values của nhà phát triển (không minh bạch đối với trình biên dịch Go nhưng được định kiểu chặt chẽ bởi khai báo schema: của Component) được xác thực để hỗ trợ các quy trình AI tường minh:
- Liên kết agent (mảng phụ thuộc): Schema tham số agent dùng chung của thư viện chuẩn mang
tools_allowedvàagents_alloweddưới dạng các mảngvaluesnêu tên các Components trong catalog mà một agent có thể gọi hoặc ủy quyền tới — một quy ước được ghi trong tài liệu mà trình biên dịch không đánh giá. Một liên kết mà trình biên dịch nối thành một cạnh tô-pô là một socketusesmà Component của agent khai báo trongusesSchemacủa nó, và bộ chọn của socket đó là thứ mà bản build kiểm tra. - Phân vùng sâu bộ nhớ nhận thức (CoALA): Thay vì một vùng chứa bộ nhớ phẳng duy nhất, một Architect có thể khai báo một socket
cognitive_memorymà các kết nối của nó ánh xạ bộ nhớ ngữ nghĩa, bộ nhớ tình tiết và bộ nhớ thủ tục tới các đích hạ tầng riêng biệt dưới dạng các cạnh tô-pô tường minh, để các policy engine có thể đánh giá và bắt buộc các rào chắn truy cập chi tiết (ví dụ: đảm bảo một agent có thể đọc bộ nhớ ngữ nghĩa nhưng không thể ghi đè nó nếu bị chiếm quyền). Thư viện chuẩn không khai báo socket nào như vậy. - Pipeline đa phương thức:
schema:của một Component có thể khai báo các giai đoạn thực thi tường minh nhưdocument_chunking,embedding_generationvàstorage_routingdưới dạng cácvaluescó kiểu, để một luồng dữ liệu khai báo được xác thực trước khi bất cứ thứ gì được render. Thư viện chuẩn không khai báo giai đoạn nào như vậy.
4. Trí tuệ gateway và định tuyến
Các gateway AI của thư viện chuẩn mang các cơ chế kiểm soát để định tuyến yêu cầu tới API LLM: core/gateway/litellm, chạy trong cluster, và hai dịch vụ được lưu trữ — core/gateway/cloudflare-ai-gateway, gateway được lưu trữ của Cloudflare, mà Recipe terraform của nó tạo trong một tài khoản Cloudflare, và core/gateway/azure-api-management, gateway AI của Azure API Management, mà Recipe terraform của nó thêm một API phục vụ một mô hình, cùng backend và chính sách của API đó, vào một instance API Management đã tồn tại. Các Recipes helm và compose của mỗi gateway được lưu trữ tham chiếu tới nó ở nơi nó đã được cấu hình. Một số cơ chế kiểm soát là giá trị trên chính gateway và một số là Features được gắn vào nó, và mỗi Feature bên dưới cho biết thư viện chuẩn hiện thực nó trên gateway nào. Trên một gateway được lưu trữ, mọi cơ chế kiểm soát được ghi vào cấu hình riêng của gateway — một thiết lập của tài nguyên gateway Cloudflare, một phần tử trong chính sách của API trên Azure API Management — nên chỉ Recipe terraform của nó mới có thể mang một cơ chế kiểm soát, và các Recipes helm và compose của nó dừng build trên bất kỳ phần gắn nào. Ở bên dưới, “gateway AI” là core/gateway/litellm, “gateway được lưu trữ” là core/gateway/cloudflare-ai-gateway, và gateway của Azure API Management được gọi bằng tên đầy đủ.
Bên ngoài Aggrega, lúc chạy
agent
socket model của nó, được nối vào gateway
gateway AI
cùng các cơ chế kiểm soát gắn vào nó
ngân sách token
bộ nhớ đệm ngữ nghĩa
lá chắn chống chèn prompt
mô hình
một nhà cung cấp phía sau gateway
Các yêu cầu của một agent đi qua gateway mà socket model của nó được nối vào, nên mọi cơ chế kiểm soát gắn vào gateway đều nằm giữa agent và mô hình. Ba cơ chế được vẽ ở đây là các Features core/period-budget, core/semantic-caching và core/prompt-injection-shield, được đặt cạnh nhau để cho thấy vị trí của chúng chứ không phải cấu hình của một gateway duy nhất: các mục bên dưới cho biết gateway nào hiện thực từng cơ chế kiểm soát và điều gì làm dừng bản build.
-
Các mô hình phía sau: bản đồ mô hình của gateway AI — các bí danh mà nó phục vụ, mỗi bí danh kèm upstream mà một yêu cầu cho nó được gửi tới — có hai phần. Một thành phần mô hình được nối vào socket
modelscủa gateway, được quản lý hoặc tự lưu trữ, được phục vụ dưới bí danh của kết nối, với mục của nó được viết từendpointvàmodelmà mô hình công bố, là các chuỗi mà trình biên dịch chuyển vào cấu hình của gateway và không bao giờ phân giải; vì vậy mô hình là một thành phần của đồ thị, được truy cập qua một cạnh riêng. Gateway mô tả một mô hình như vậy cho proxy của nó chỉ qua API OpenAI, nên một kết nối tới một mô hình cómodel.aggrega.ai/apikhông phải làopenaisẽ dừng build, nêu tên kết nối. Phần còn lại làvalues.modelscủa gateway, các mục được nhập tay theo ký pháp nhà cung cấp/mô hình riêng của proxy: cho một upstream mà danh mục không mô hình hóa, cho một nhà cung cấp có API riêng không phải là API OpenAI, và cho nhiều mục dùng chung một bí danh, điều mà các mô hình được nối không thể làm, vì mỗi mô hình được phục vụ dưới bí danh của kết nối riêng của nó. Một mục được nối xuất trình thông tin xác thực mà kết nối riêng của nó mang, như “Khóa mà bên gọi xuất trình” bên dưới mô tả, và không bao giờ làprovider_keycủa gateway; mỗi mục nhập tay xuất trình thông tin xác thực duy nhất trong slot đó. Một bí danh mà cả hai phần cùng công bố sẽ dừng build, nêu tên bí danh đó, và một gateway mà không phần nào cung cấp mô hình cũng vậy. -
Trên đường đi của một agent: gateway công bố một
endpointvà mộtmodel, các khóa mà một thành phần mô hình công bố, và mangmodel.aggrega.ai/api: openai, nên socketmodelcủa một agent nhận gateway trực tiếp và mọi cơ chế kiểm soát gắn vào nó đứng giữa agent đó và các nhà cung cấp phía sau.modelmà nó công bố là bí danh màvalues.modelcủa nó nêu tên, và build dừng lại khi không phần nào của bản đồ công bố bí danh đó; nó chỉ có thể được bỏ qua khi gateway phục vụ một bí danh duy nhất và một mục củavalues.modelscông bố bí danh đó, khi ấy chính bí danh đó được công bố. Bên gọi muốn một bí danh khác mà bản đồ công bố sẽ yêu cầu nó theo tên tại cùng endpoint.core/gateway/cloudflare-ai-gatewaycông bố cùng hai khóa — địa chỉ của một trong các endpoint của gateway, được ghép từ tài khoản Cloudflare và id của gateway, và mô hình mà bên gọi yêu cầu, được gateway chuyển tiếp mà không kiểm tra — nhưng không mangmodel.aggrega.ai/apinào, nên socketmodelcủa một agent không nhận nó.core/gateway/azure-api-managementcũng công bố chúng — địa chỉ API của nó, được ghép từ host của instance và đường dẫn của API, và mô hình mà bên gọi yêu cầu, được chuyển tiếp mà không kiểm tra — và cũng không mangmodel.aggrega.ai/apinào: API trả lời yêu cầu chat completions của OpenAI, nhưng theo mặc định bên gọi xuất trình một khóa đăng ký API Management trong header riêng thay vì bearer token của OpenAI, nên một client OpenAI thông thường là không đủ để gọi nó. -
Kong đứng trước các mô hình:
core/gateway/kong, gateway Kong mã nguồn mở, phục vụ các mô hình được nối vào socketmodelscủa chính nó qua AI Proxy của Kong và, trong số các cơ chế kiểm soát bên dưới, chỉ hiện thực các mẫu từ chối prompt, dưới dạng AI Prompt Guard của Kong trên mọi route của từng mô hình được nối. Mỗi mô hình được nối nhận một route chat và một route completion dưới/<alias>/v1, được viết từendpointvàmodelmà mô hình công bố, và các Recipes của nó nhập các route đó vào backend PostgreSQL của gateway trước khi gateway khởi động. Route chọn mô hình, nên một yêu cầu được gửi tới mô hình mà đường dẫn của nó nêu tên, bất kể nó mang tên mô hình nào. Gateway xuất trình thông tin xác thực riêng của mỗi kết nối dưới dạng một bearer token mà cấu hình của nó đọc theo tên từ môi trường của gateway, và một kết nối tới một mô hình cómodel.aggrega.ai/apikhông phải làopenaisẽ dừng build. Nó công bố route của bí danh màvalues.modelcủa nó nêu tên làmendpointvà bí danh đó làmmodel, và mangmodel.aggrega.ai/api: openai, nên socketmodelcủa một agent nhận nó như nhận gateway AI. Khi không có gì được nối vào socket đó, gateway không phục vụ mô hình nào và công bố cả hai khóa ở dạng rỗng, và một agent được nối với nó khi đó không đọc được địa chỉ hay tên mô hình nào. Việc nhập chỉ thêm và cập nhật route chứ không xóa route nào, nên một route có kết nối bị gỡ vẫn tiếp tục trả lời, và cơ chế bảo vệ prompt mà một phần gắncore/prompt-deny-patternsđã viết vẫn tiếp tục từ chối sau khi phần gắn bị gỡ, cho đến khi từng cái được xóa qua Admin API của Kong. Vì cùng lý do đó, gateway không khai báo bên gọi nào, và các route mô hình của nó không kiểm tra khóa của bên gọi nào: Kong chỉ phân biệt các bên gọi như các consumer mà một plugin xác thực nêu tên, và một consumer cùng khóa của nó, một khi đã được nhập, sẽ vẫn có thể xác thực sau khi bên gọi bị gỡ khỏi Release, và một khóa đã xoay vòng sẽ để khóa cũ vẫn hoạt động; một khóa key-auth cũng không thể được giữ theo tham chiếu, nên khóa của bên gọi chỉ có thể đến Kong dưới dạng một giá trị literal trong một tệp được render. -
Kong Gateway Enterprise đứng trước các mô hình:
core/gateway/kong-enterprise, phiên bản trả phí của Kong cho cùng gateway dựa trên cơ sở dữ liệu đó, phục vụ các mô hình được nối vào socketmodelscủa chính nó trên các route màcore/gateway/kongphục vụ, được ghi từ cùng một cấu hình và được nhập vào backend PostgreSQL của nó bởi một bước trong chính pod của gateway trước khi gateway khởi động, và công bốendpointvàmodelcủa nó như Kong làm. Bản hiện thực duy nhất của nó là một Recipe chart dựa trên Helm chart chính thức của Kong; không có bản hiện thực compose. Nó chạy image mà Release nêu tên tronginfra.image, bao gồm cả tag phiên bản, vì Kong phân phối image enterprise theo các điều khoản riêng của mình và do đó danh mục không nêu tên image nào; bản build dừng lại khi khóa đó chưa được đặt hoặc tag của nó không mang phiên bản. Giấy phép đến được gateway thông qua tham chiếu tới Secret được gắn với slotlicensebắt buộc của nó, không bao giờ dưới dạng một giá trị, và bản build dừng lại khi không có gì gắn slot đó. Trình biên dịch không xác thực giấy phép nào và không liên hệ nhà cung cấp nào, vì vậy một Release được build sạch không nói lên điều gì về giấy phép: Kong đọc giấy phép khi một node khởi động, và một node không có giấy phép hợp lệ hoạt động như với một giấy phép đã hết hạn, với cấu hình thực thể chỉ đọc và lưu lượng proxy được phục vụ bằng cấu hình đã có sẵn. Kong bán các plugin AI của mình dưới dạng gói AI Gateway Enterprise, một quyền sử dụng nằm trong giấy phép mà không bản build nào nhìn thấy được, và bỏ qua một plugin như vậy thay vì từ chối nó khi giấy phép thiếu quyền đó, vì vậy việc gắncore/semantic-caching,core/period-budget,core/data-masking,core/fallback-chain,core/retry-policyhoặccore/target-selectionsẽ dừng bản build cho đến khi Release đặtinfra.ai_gateway_entitledthànhtrue, khẳng định rằng giấy phép có quyền đó. Trong các biện pháp kiểm soát bên dưới, nó hiện thực hóa ngân sách theo kỳ và chuỗi fallback, mỗi cái được ghi vào các route mà gateway nhập, và hiện thực hóacore/data-maskingnhư mục “Rò rỉ dữ liệu và chặn bắt payload” bên dưới mô tả; các bản hiện thực của nó cho bộ nhớ đệm ngữ nghĩa, chính sách thử lại và lựa chọn đích dừng mọi việc gắn, mỗi cái đều nêu lý do, còn giới hạn đồng thời, ghi nhật ký kiểm toán, sàng lọc prompt injection, xác thực phản hồi và các mẫu chặn prompt không có bản hiện thực nào ở đó, vì vậy việc gắn bất kỳ cái nào trong số đó sẽ dừng bản build. Một tập route bị thay đổi sẽ khiến gateway được triển khai lại dần dần, và việc nhập chỉ thêm và cập nhật route chứ không xóa route nào, vì vậy một route có kết nối bị xóa, và một plugin mà một Feature AI đã ghi sau khi Feature đó bị xóa, vẫn ở lại trong cơ sở dữ liệu cho đến khi bị xóa qua Admin API của Kong; vì những lý do mà mục ở trên nêu, nó cũng không khai báo bên gọi nào, và các route mô hình của nó không kiểm tra khóa của bên gọi nào. Việc một gateway đang chạy có thực thi bất kỳ biện pháp kiểm soát nào trong số này hay không không được bản build nào quan sát. -
APISIX đứng trước các mô hình:
core/gateway/apisix, gateway Apache APISIX mã nguồn mở, phục vụ các mô hình được nối vào socketmodelscủa chính nó thông qua AI proxy của APISIX ở nơi Manifest gắn Recipe chart của nó, vốn chạy APISIX 3.18.0. Mỗi mô hình được nối nhận một route chat và một route completion dưới/<alias>/v1— chỉ route chat khi một ngân sách theo kỳ hoặc các mẫu chặn prompt đang được gắn, vì APISIX không đếm token trên một yêu cầu completion và prompt guard của nó không đọc yêu cầu đó — được ghi từendpointvàmodelmà mô hình công bố vào một tệp route được render cùng gateway, tệp mà gateway đọc khi khởi động và đọc lại mỗi khi tệp thay đổi. Một gateway đọc route của mình từ tệp đó thì không đọc etcd nào và không chạy Admin API nào, vì vậy khi có một mô hình được nối, một kết nốietcdhoặc một việc gắnadmin_keysẽ dừng bản build, còn khi không có gì được nối thì cả hai đều bắt buộc. Route chọn mô hình. Gateway trình bày thông tin xác thực riêng của mỗi kết nối dưới dạng một bearer token mà các route của nó đọc theo tên từ môi trường của gateway, và một kết nối tới một mô hình cómodel.aggrega.ai/apikhông phải làopenaisẽ dừng bản build. Nó công bố route của bí danh màvalues.modelcủa nó nêu tên làmendpointcủa mình và bí danh đó làmmodelcủa mình, và mangmodel.aggrega.ai/api: openai, vì vậy socketmodelcủa một agent nhận nó như nhận gateway AI; khi không có gì được nối, nó công bố cả hai khóa ở dạng rỗng. Một route có kết nối bị xóa sẽ biến mất khỏi lần render tiếp theo. Một Release có thể nêu tên các bên gọi của gateway tronginfra.callersvà khóa của chúng thông qua slotcaller_keys, một Secret chứa một khóa dữ liệu cho mỗi tên bên gọi: khi đó mỗi bên gọi là một consumer trong tệp route có khóa được đọc theo tên từ Secret đó, và mọi route từ chối bằng HTTP 401 một yêu cầu không trình bày khóa đã khai báo nào dưới dạngAuthorization: Bearer <key>— cách một client OpenAI trình bày khóa — và xóa khóa khỏi yêu cầu mà nó chuyển tiếp. Khi không có bên gọi, các route để mở. Recipe workload của nó, với APISIX 3.17.0, giữ route của nó trong etcd, không render route nào, và dừng bản build khi có kết nối tới socket đó và khi cóinfra.callers. Trong các biện pháp kiểm soát bên dưới, nó hiện thực hóa ngân sách theo kỳ, một bộ nhớ đệm ngữ nghĩa cho các bên gọi mà nó khai báo, và các mẫu chặn prompt. -
Envoy Gateway đứng trước các mô hình:
core/gateway/envoy-gateway, Envoy Gateway mã nguồn mở, phục vụ các mô hình được nối vào socketmodelscủa chính nó thông qua Envoy AI Gateway, mà controller của nó,core/gateway/envoy-ai-gateway-operator, được gateway gọi làm extension server của mình qua socketextensioncủa nó. Một mô hình được nối khi không có gì trên socket đó sẽ dừng bản build, và khi controller đã được nối, Release phải đặt gateway trongenvoy-gateway-system, nếu không bản build sẽ dừng. Mỗi mô hình được nối trở thành một quy tắc của một AI route duy nhất được gắn vào gateway, được chọn theo tên mô hình mà một yêu cầu mang theo, với một backend được ghi từendpointvàmodelmà mô hình công bố, vì vậy mọi mô hình được nối được phục vụ dưới/v1tại chính địa chỉ của gateway. Gateway trình bày thông tin xác thực riêng của mỗi kết nối dưới dạng một bearer token, mà controller của Envoy AI Gateway đọc từ Secret được thông tin xác thực nêu tên, và một kết nối tới một mô hình cómodel.aggrega.ai/apikhông phải làopenaisẽ dừng bản build. Khi có một mô hình được nối, mọi route trên gateway đều nhận bộ đệm yêu cầu 50Mi cho mỗi kết nối mà Envoy AI Gateway cấu hình. Nó công bố địa chỉ của mình, được định danh đầy đủ bằngenvoy-gateway-systemđể có thể phân giải từ bất kỳ namespace nào, làmendpointcủa mình và bí danh màvalues.modelcủa nó nêu tên làmmodelcủa mình, và mangmodel.aggrega.ai/api: openai, vì vậy socketmodelcủa một agent nhận nó như nhận gateway AI; khi không có gì được nối, nó công bố cả hai khóa ở dạng rỗng. Webhook của controller phục vụ một chứng chỉ do cert-manager cấp, vì vậy cert-manager phải đang chạy sẵn trong cluster, trừ khi Release nêu tên, tronginfra.webhook_tls_secretcủa controller, một Secret chứa chứng chỉ do người vận hành cung cấp, khi đó webhook sẽ phục vụ chứng chỉ này. Trong các biện pháp kiểm soát bên dưới, nó hiện thực hóa ngân sách theo kỳ, chính sách thử lại và giới hạn đồng thời, mỗi cái được ghi vào traffic policy duy nhất của route phục vụ các mô hình của nó. Nó không hiện thực hóa bộ nhớ đệm ngữ nghĩa hay xác thực phản hồi, vì Envoy AI Gateway không giữ phản hồi nào để trả lời một yêu cầu sau đó và không kiểm tra phản hồi nào theo một schema, và cũng không hiện thực hóa chuỗi fallback: Envoy AI Gateway thực hiện fallback bằng cách thử lại trên các backend tiếp theo của quy tắc của một mô hình, và gateway ghi số lần thử lại của traffic policy duy nhất của nó vào mọi quy tắc của route phục vụ các mô hình của nó, vì vậy một danh sách fallback chỉ nhận được đúng số lần gửi của mình ở nơi danh sách của mọi mô hình được nối có cùng độ dài. Nó hiện thực hóacore/audit-loggingdưới dạng access log của mình, như mục “Ghi nhật ký kiểm toán” bên dưới mô tả, và từ chối theo tên những gì log đó không thể giữ: chi phí của một yêu cầu, vì chi phí theo yêu cầu mà Envoy AI Gateway có thể tính không có đơn vị và gateway không lưu giá; một bên gọi đã được gateway xác minh, vì không có gì trên đường đi đó xác minh bên gọi; và một thời hạn lưu giữ, vì log đó không có kho lưu trữ và không có thiết lập lưu giữ. examples/envoy-ai-gateway-token-budget dựng toàn bộ đường đi, với một agent truy cập mô hình được quản lý của OpenAI thông qua gateway. -
agentgateway đứng trước các mô hình:
core/gateway/agentgateway, agentgateway mã nguồn mở, phục vụ các mô hình được nối vào socketmodelscủa chính nó từ một tệp cấu hình duy nhất mà các Recipes của nó render. Mỗi mô hình được nối là một mục của tệp đó, được đặt tên theo bí danh của kết nối và được ghi từendpointvàmodelmà mô hình công bố dưới dạng một nhà cung cấp chat completions tương thích OpenAI, vì vậy mọi mô hình được nối được phục vụ dưới/v1tại chính địa chỉ của gateway và chính tên mô hình mà một yêu cầu mang theo sẽ chọn nó: yêu cầu đến mô hình với tên mô hình mà mô hình công bố, và một tên mà không kết nối nào mang theo sẽ được trả lời bằng HTTP 404. Gateway trình bày thông tin xác thực riêng của mỗi kết nối dưới dạng một bearer token, mà tệp nêu tên như một biến mà gateway đọc từ môi trường của mình khi đọc tệp, và nếu thiếu biến đó thì gateway không khởi động được; một kết nối tới một mô hình cómodel.aggrega.ai/apikhông phải làopenaisẽ dừng bản build. Nó công bố URL cơ sở/v1đó làmendpointcủa mình và bí danh màvalues.modelcủa nó nêu tên làmmodelcủa mình, và mangmodel.aggrega.ai/api: openai, vì vậy socketmodelcủa một agent nhận nó như nhận gateway AI; khi không có gì được nối, nó công bố cả hai khóa ở dạng rỗng. Hai Recipes chạy cùng một image, được ghim theo digest:agentgateway-chartrender Helm chart độc lập của dự án, được tải từ registry của dự án, và hiện thực hóa các biện pháp kiểm soát bên dưới, cònagentgatewaychạy image dưới dạng một dịch vụ Docker Compose duy nhất và không hiện thực hóa biện pháp nào trong số đó, cũng không hiện thực hóa bên gọi, vì vậy một việc gắn ở đó sẽ dừng bản build và nêu tên loại của nó; hãy dùng chart trên Kubernetes, nơi bản build có thể truy cập registry đó. Trên chart, một Release có thể nêu tên các bên gọi của gateway tronginfra.callersvà khóa của chúng thông qua slotcaller_keys, như trên APISIX: mỗi bên gọi là một khóa API của tệp, được kiểm tra ở chế độ nghiêm ngặt và được đọc theo tên từ Secret đó, vì vậy một yêu cầu tới mô hình không trình bày khóa đã khai báo nào dưới dạngAuthorization: Bearer <key>sẽ bị từ chối bằng HTTP 401, và khóa bị xóa khỏi yêu cầu được chuyển tiếp; khi không có bên gọi, các route mô hình để mở. agentgateway chèn mọi khóa mà tệp nêu tên theo cách này, khóa của một mô hình được nối trên cả hai Recipe và khóa của một bên gọi trên chart, vào văn bản của tệp trước khi đọc tệp dưới dạng YAML, vì vậy một khóa phải là một token đơn giản — chữ cái, chữ số và-,.,_,~,+,/và=— và các ký tự khác có thể được nạp thành một khóa khác hoặc làm dừng gateway. Gateway đọc lại tệp của mình khi tệp thay đổi, vì vậy một bên gọi bị xóa khỏi Release sẽ bị từ chối ngay khi tệp được mount được cập nhật. Khicore/audit-logging, hoặccore/period-budgetvới phạm vicaller, đang được gắn, Recipe chart cấp cho gateway một kho lưu trữ, một tệp SQLite trên một volume riêng, và chạy một bản sao duy nhất. Trong các biện pháp kiểm soát bên dưới, nó hiện thực hóa che dữ liệu, các mẫu chặn prompt, ngân sách theo kỳ, ghi nhật ký kiểm toán và chính sách thử lại, mỗi cái được ghi vào tệp, và từ chối theo tên mọi giá trị mà nó không thể giữ. Che dữ liệu thay thế mỗi kết quả khớp của các mẫu mà việc gắn liệt kê bằng<masked>, hoặc dướirefusetrả lời yêu cầu hoặc phản hồi bằng HTTP 403, trong các prompt hệ thống và nhà phát triển của một yêu cầu, các tin nhắn khác của nó và các đối số và kết quả của các lệnh gọi công cụ của nó, và trong văn bản tin nhắn của một phản hồi đến nguyên vẹn; nó không nhận diện loại thực thể nào và không khôi phục gì. agentgateway không che một phản hồi dạng stream, vì vậy khi các phản hồi đang được che, một yêu cầu tới mô hình đòi phản hồi dạng stream sẽ bị từ chối bằng HTTP 403 trước khi được chuyển tiếp, và mọi yêu cầu tới mô hình có body lớn hơn 2 MiB mà gateway đọc cho lần kiểm tra đó cũng vậy, dù có dạng stream hay không. Một lần từ chối bởi một guard, kể cả của một mẫu chặn, là HTTP 403 với body “The request was rejected due to inappropriate content” (Yêu cầu đã bị từ chối do nội dung không phù hợp). Ngân sách, bản ghi và việc thử lại được mô tả trong các mục “Ngân sách theo kỳ”, “Ghi nhật ký kiểm toán” và “Khả năng phục hồi” bên dưới. Các bản hiện thực của nó cho chuỗi fallback, lựa chọn đích, bộ nhớ đệm ngữ nghĩa, xác thực phản hồi và sàng lọc prompt injection dừng mọi việc gắn, mỗi cái đều nêu lý do, và giới hạn đồng thời không gắn được vào nó, vì nó không mang giá trịdataplane.aggrega.ai/concurrency-capnào. -
Traefik Hub đứng trước các mô hình:
core/gateway/traefik-hub, gateway trả phí của Traefik, phục vụ các mô hình được nối vào socketmodelscủa chính nó thông qua middleware Chat Completion của Traefik Hub. Bản hiện thực duy nhất của nó là một Recipe chart dựa trên Helm chart của chính Traefik; không có bản hiện thực compose. Nó chạy image mà Release nêu tên tronginfra.image, bao gồm cả tag, vì Traefik phân phối Traefik Hub theo các điều khoản riêng của mình và do đó danh mục không nêu tên image nào; bản build dừng lại khi khóa đó chưa được đặt hoặc không nêu tag nào. Token giấy phép đến được gateway thông qua tham chiếu tới Secret được gắn với slotlicensebắt buộc của nó, dưới khóa dữ liệutoken, không bao giờ dưới dạng một giá trị, và bản build dừng lại khi không có gì gắn slot đó hoặc Secret đó công bố một khóa dữ liệu khác. Traefik yêu cầu HTTPS đi ra tớiapi.traefik.io, nơi gateway xác thực token của mình; từ Traefik Hub v3.21, gateway vẫn phục vụ khi không thể truy cập host đó, đồng thời thử lại ở chế độ nền, và một token mặc định có hiệu lực một năm, gateway sẽ dừng khi token hết hạn. Recipe chart tắt việc chart xuất nhật ký lỗi của gateway tới nền tảng của Traefik và việc chart kiểm tra phiên bản mới hơn. Trình biên dịch không xác thực token nào và không liên hệ nhà cung cấp nào, vì vậy một Release được build sạch không nói lên điều gì về việc gateway có khởi động hay không. Mỗi mô hình được nối nhận một route tại/<alias>/v1/chat/completions, được gửi tớiendpointmà mô hình công bố thông qua một Service loại ExternalName và yêu cầumodelmà mô hình công bố, bất kể yêu cầu mang tên mô hình nào, vì vậy đường dẫn chọn mô hình; nó chỉ phục vụ chat completions. Gateway trình bày thông tin xác thực riêng của mỗi kết nối dưới dạng một bearer token, mà Traefik Hub đọc từ Secret được middleware Chat Completion của kết nối nêu tên, và một kết nối tới một mô hình cómodel.aggrega.ai/apikhông phải làopenai, hoặc có endpoint nêu một địa chỉ thay vì một host, sẽ dừng bản build. Nó công bố route của bí danh màvalues.modelcủa nó nêu tên làmendpointcủa mình và bí danh đó làmmodelcủa mình, và mangmodel.aggrega.ai/api: openai, vì vậy socketmodelcủa một agent nhận nó như nhận gateway AI; khi không có gì được nối, nó công bố cả hai khóa ở dạng rỗng. Một Release có thể nêu tên các bên gọi của gateway tronginfra.callersvà các hash htpasswd của khóa của chúng thông qua slotcaller_keys: khi đó middleware API Key của Traefik Hub đứng đầu mọi route mô hình và từ chối một yêu cầu không trình bày khóa đã khai báo nào dưới dạngAuthorization: Bearer <key>, và khóa bị xóa khỏi yêu cầu được chuyển tiếp; khi không có bên gọi, các route để mở. Việc Traefik Hub làm gì với mục của một bên gọi nêu tên một Secret hoặc một khóa dữ liệu không tồn tại không được nêu trong tài liệu tham chiếu của nó, vì vậy trong trường hợp xấu nhất các route để mở như khi không có bên gọi. Trong các biện pháp kiểm soát bên dưới, nó hiện thực hóa ngân sách theo kỳ, bộ nhớ đệm ngữ nghĩa cho các bên gọi mà nó khai báo, các mẫu chặn prompt và che dữ liệu, thông qua các middleware của AI gateway của Traefik Hub, cùng chuỗi fallback và chính sách thử lại, thông qua failover và cơ chế thử lại của chính Traefik, mỗi cái được ghi vào các route mà Recipe chart của nó render. AI gateway là một quyền sử dụng nằm trong giấy phép, mà không bản build nào nhìn thấy được, và việc Traefik Hub làm gì với một token hợp lệ có giấy phép thiếu quyền đó không được tài liệu hóa, vì vậy việc gắn bất kỳ cái nào trong bốn cái đầu tiên sẽ dừng bản build cho đến khi Release đặtinfra.ai_gateway_entitledthànhtrue. Các bản hiện thực của nó cho sàng lọc prompt injection, ghi nhật ký kiểm toán, lựa chọn đích và xác thực phản hồi dừng mọi việc gắn, mỗi cái đều nêu lý do, và giới hạn đồng thời không gắn được vào nó, vì nó không mang giá trịdataplane.aggrega.ai/concurrency-capnào. Việc một gateway đang chạy có thực thi bất kỳ biện pháp kiểm soát nào trong số này hay không không được bản build nào quan sát. -
Higress đứng trước các mô hình:
core/gateway/higress, gateway mã nguồn mở Higress, được xây dựng trên Envoy và cấu hình thông qua các tài nguyên Kubernetes, phục vụ các mô hình được nối vào socketmodelscủa chính nó thông qua AI proxy của Higress. Hiện thực duy nhất của nó là một Recipe chart trên Helm charthigress-corecủa chính dự án, chart này chạy controller của Higress cùng dịch vụ discovery của nó và gateway; không có hiện thực compose, vì dự án dành bản phân phối compose của mình chủ yếu cho kiểm thử cục bộ và bản phân phối đó chạy nhiều dịch vụ phối hợp được cấu hình thông qua một kho lưu trữ riêng. Recipe ghim chart, các image và mọi mô-đun plugin mà nó ghi, và chỉ chấp nhận tronginfra.source_versionnhững phiên bản chart mà cấu hình của nó đã được kiểm chứng; gateway tải các mô-đun đó từ registry plugin của Higress lúc chạy, nơi cụm phải truy cập được và build không thể kiểm tra. Controller chỉ theo dõi namespace của Release, dưới một IngressClass được đặt tên theo gateway và namespace đó, nên hai gateway Higress trong cùng một namespace sẽ xung đột. Mỗi alias nhận một route tại/<alias>/v1, được gửi tớiendpointmà mô hình của alias công bố thông qua một mục trong registry riêng của gateway và yêu cầumodelmà mô hình đó công bố, bất kể yêu cầu mang tên mô hình nào, nên chính đường dẫn chọn mô hình; các kết nối nêu cùng một alias trong giá trịservescủa chúng chia đều các yêu cầu của alias đó. Gateway xuất trình thông tin xác thực riêng của mỗi kết nối dưới dạng bearer token, mà controller Higress đọc từ Secret được cấu hình AI proxy nêu tên, trong namespace của gateway, rồi giao cho gateway, nên khóa không nằm trong bất kỳ tệp được render nào; tên Secret chứa dấu chấm sẽ dừng build, vì Higress chỉ đọc tên đến dấu chấm đầu tiên, và một kết nối không mang thông tin xác thực sẽ chuyển tiếp khóa mà yêu cầu xuất trình. AI proxy của Higress còn sao chép headerAuthorizationmà client gửi vào một headerX-HI-ORIGINAL-AUTH, và mỗi route mô hình xóa bản sao đó trước khi yêu cầu tới mô hình, nên khóa mà client xuất trình không bao giờ đi cùng thông tin xác thực riêng của một kết nối. Qua https, gateway kiểm tra rằng chứng chỉ của mô hình nối chuỗi tới các trust anchor của hệ thống và nêu đúng host của mô hình, bất kể client đã gửi host nào, và nếu không thì không gửi gì cho mô hình: Recipe đánh dấu route của mọi alias có tất cả kết nối là https bằng annotationhigress.io/backend-protocol: HTTPScủa Higress, để gateway lấy tên máy chủ từ host mà AI proxy ghi vào mỗi yêu cầu — host của mô hình, được bổ sung namespace của mô hình khi nó không chứa dấu chấm — và kiểm tra chứng chỉ theo host đó. Annotation đó áp dụng cho mọi kết nối của một alias, nên một alias trộn lẫn kết nối http và https sẽ dừng build, nêu tên cả hai; phục vụ chúng dưới hai alias sẽ giải quyết việc này. Một kết nối tới mô hình cómodel.aggrega.ai/apikhông phải làopenai, hoặc có endpoint nêu một địa chỉ thay vì một host, sẽ dừng build. Gateway công bố route của alias màvalues.modelcủa nó nêu làmendpointcủa nó và alias đó làmmodelcủa nó, đồng thời mangmodel.aggrega.ai/api: openai, nên socketmodelcủa một agent chấp nhận nó như chấp nhận AI gateway; khi không có gì được nối, nó công bố cả hai khóa ở dạng rỗng. Nó không khai báo bên gọi nào, nên các route mô hình của nó không kiểm tra khóa của bất kỳ bên gọi nào, và một giá trị cần một bên gọi đã được gateway xác minh sẽ bị từ chối kèm tên. Trong các cơ chế kiểm soát mô tả bên dưới, nó hiện thực ngân sách theo kỳ, ghi nhật ký kiểm toán và chính sách thử lại, mỗi cơ chế được ghi lên các route mô hình, và nó hiện thựccore/data-maskingnhư phần “Rò rỉ dữ liệu và chặn bắt payload” bên dưới mô tả. Các hiện thực của nó cho xác thực phản hồi, chuỗi dự phòng, bộ nhớ đệm ngữ nghĩa, sàng lọc prompt injection và lựa chọn đích đều dừng mọi lần gắn, mỗi hiện thực nêu lý do, và cả các mẫu chặn prompt lẫn giới hạn đồng thời đều không gắn vào nó, vì nó không mang giá trịdataplane.aggrega.ai/prompt-guardhaydataplane.aggrega.ai/concurrency-capnào. Việc một gateway đang chạy thực thi bất kỳ cơ chế kiểm soát nào trong số này không được build nào quan sát. -
Azure API Management đứng trước một mô hình:
core/gateway/azure-api-management, AI gateway của Azure API Management, một dịch vụ được lưu trữ, phục vụ một API mô hình thông qua một API trên một instance API Management đã tồn tại. Recipe terraform của nó đọc instance và thêm API, thao tác chat completions của API, backend mà nó chuyển tiếp tới và chính sách của API, chính sách này loại bỏ khóa đăng ký của bên gọi khỏi những gì nó chuyển tiếp và xác thực với API mô hình theo những gìinfra.backend_authenticationchỉ định: bằng managed identity của instance, bằng một khóa nhà cung cấp lưu trong Key Vault, hoặc không dùng gì. Các Recipes helm và compose của nó tham chiếu một API được cấu hình bên ngoài Release và dừng build khi có bất kỳ lần gắn nào. Trong các cơ chế kiểm soát mô tả bên dưới, Recipe terraform của nó hiện thực bộ nhớ đệm ngữ nghĩa, ngân sách theo kỳ, sàng lọc prompt injection và chính sách thử lại, mỗi cơ chế được ghi vào chính sách của API. Nó không hiện thực giới hạn đồng thời, vì Microsoft cho biết mức trần mà chính sách đồng thời của mình thực thi không bao giờ hoàn toàn chính xác, và thấp hơn khi nhiều đơn vị dung lượng chạy trong một vùng, cũng không hiện thực chuỗi dự phòng, vì API chuyển tiếp tới một backend duy nhất và cơ chế dự phòng riêng của Azure, các nhóm ưu tiên của một backend pool, chuyển các yêu cầu sau ra khỏi một backend có circuit breaker đã ngắt thay vì gửi tiếp một yêu cầu thất bại tới mô hình khác. Hiện thựccore/audit-loggingcủa nó dừng mọi lần gắn, nêu tên những gì nằm ngoài tầm với của nó: bản thân nhật ký, thứ được bật bằng một thiết lập chẩn đoán trên instance; chi phí của một yêu cầu, khirequire_costđược bật, vì nhật ký yêu cầu mô hình của Azure ghi số token và mô hình, không ghi giá; và thời gian lưu giữ, khiretention_daysđược cung cấp, vì một dòng tồn tại chừng nào không gian làm việc Log Analytics chứa nó còn giữ nó. Việc các chính sách được áp dụng và thực thi như Microsoft mô tả không được build nào quan sát. -
Khóa mà bên gọi xuất trình: Một máy chủ kiểm tra khóa mà các bên gọi của nó xuất trình sẽ giữ khóa đó trong một slot riêng, có tên
api_keytrên mỗi đích phục vụ mô hình có kiểm tra khóa —core/ai-model/vllm,teivàtgi, mô hình LiteLLM và AI gateway, nơi đó là khóa mà LiteLLM gọi là master key — và mỗi Recipes của nó cung cấp khóa dưới dạng biến mà máy chủ đọc.core/gateway/apisixvàcore/gateway/agentgatewaymỗi cái giữ một khóa cho từng bên gọi mà Release của nó nêu tronginfra.callers, trong slotcaller_keyscủa nó: một Secret duy nhất, chứa khóa của mỗi bên gọi dưới tên của bên gọi đó.core/gateway/traefik-hubgiữ các bên gọi của nó theo cùng cách, ngoại trừ việc Secret của nó chứa hash htpasswd của khóa của mỗi bên gọi, mà cơ chế kiểm tra khóa của nó dùng để so sánh với khóa được xuất trình, nên đó không phải là Secret mà bên gọi dùng để xuất trình khóa của mình. Một bên gọi giữ khóa mà nó xuất trình ở phía của chính nó, trên kết nối mà nó xuất trình khóa, trong một slot do socket của nó khai báo: các agent của thư viện chuẩn khai báo slot đó trên socketmodelcủa chúng,credential; AI gateway trên socketmodelsvà trên socketcache_storecủa nó, nơi đó là mật khẩu mà bộ nhớ đệm ngữ nghĩa của gateway xuất trình cho kho lưu trữ của nó;core/gateway/kongvàcore/gateway/kong-enterprisetrên các socketmodelscủa chúng;core/gateway/apisixtrên socketmodelsvà trên socketcache_storecủa nó, nơi đó cũng là mật khẩu mà bộ nhớ đệm ngữ nghĩa của nó xuất trình cho kho lưu trữ của nó;core/gateway/agentgatewaytrên socketmodelscủa nó;core/gateway/envoy-gatewaytrên socketmodelsvà trên socketcachecủa nó, nơi đó là mật khẩu mà dịch vụ giới hạn tốc độ của gateway xuất trình cho kho lưu trữ giữ bộ đếm của một ngân sách theo kỳ;core/gateway/higresstrên socketmodelsvà trên socketcachecủa nó, nơi đó là mật khẩu mà giới hạn token của nó xuất trình cho kho lưu trữ giữ bộ đếm của một ngân sách theo kỳ; vàcore/gateway/traefik-hubtrên socketmodels, trên socketcachecủa nó, nơi đó là mật khẩu mà hạn ngạch của nó xuất trình cho kho lưu trữ giữ bộ đếm của một ngân sách theo kỳ, và trên socketcache_storecủa nó, nơi đó là mật khẩu mà bộ nhớ đệm ngữ nghĩa của nó xuất trình cho kho lưu trữ của nó — nên một agent kết nối tới một mô hình, hoặc một gateway kết nối tới một mô hình mà nó phục vụ, giữ khóa của kết nối đó ở đó. AI gateway, hai Kong, APISIX và agentgateway cung cấp khóa của mỗi mô hình được nối dưới một biến riêng, được mục hoặc route của mô hình đó trong cấu hình của chúng nêu tên; Envoy Gateway nêu tên Secret trong chính sách bảo mật của backend của mô hình, và controller của Envoy AI Gateway đọc khóa từ đó; Traefik Hub nêu tên Secret và khóa dữ liệu trong middleware Chat Completion của route của mô hình, và đọc khóa từ đó. Một kết nối tới mô hình được gắn nhãncomponent.aggrega.ai/hosting: managedmang một khóa, hoặc cho biết trongvaluescủa chính nó rằng mô hình không nhận khóa nào,unauthenticated: true; nếu không có cả hai, khẳng định của bên gọi sẽ dừng build và nêu tên kết nối cùng đích của nó, còn mô hình được gắn nhãn khác không gây ra việc dừng như vậy. Một khóa mà Component của bên gọi thay vào đó khai báo trong một slot riêng là một khóa duy nhất cho mọi kết nối mà nó tạo. Không đầu nào thấy các lần gắn của đầu kia, nên máy chủ không biết gì về khóa của bên gọi, và hai khóa khớp nhau vì Aggregate cấp cho cả hai từ một tham số: khi cả hai đầu phân giải secret trong cùng một phạm vi — một namespace Kubernetes, một dự án Compose — chúng tham chiếu một secret duy nhất, còn nếu không thì mỗi đầu giữ secret riêng, được hiện thực từ cùng một mục trong kho lưu trữ. vLLM, TEI và TGI mỗi cái chỉ kiểm tra một khóa, nên mọi bên gọi xuất trình cùng một khóa và máy chủ không thể phân biệt các bên gọi của nó, và TGI so khớp khóa của nó mà không phân biệt chữ hoa chữ thường; APISIX, agentgateway và Traefik Hub mỗi cái kiểm tra khóa của mọi bên gọi đã khai báo và phân biệt các bên gọi của chúng bằng khóa đó; hai Kong không khai báo bên gọi và không kiểm tra khóa của bên gọi nào, vì những lý do mà phần “Kong đứng trước các mô hình” ở trên đưa ra; mô hình LiteLLM và AI gateway cũng chấp nhận các khóa mà chúng cấp, khi cơ sở dữ liệu kế toán của chúng được gắn. Mô hình thông tin xác thực trình bày chi tiết cấu trúc này trong một Aggregate. -
Chọn giữa các đích:
core/target-selectionkhai báo cách một gateway chọn giữa nhiều đích có thể phục vụ cùng một yêu cầu, vớistrategylàlatency(đích được quan sát là trả lời nhanh nhất) hoặccost(đích rẻ nhất để gọi). Chiến lược là một phần của những gì ứng dụng yêu cầu ở gateway của nó, nên nhà phát triển gắn nó trong Aggregate. Trên AI gateway, các đích là những mục trongvalues.modelscủa nó công bố cùng một alias — một mô hình được nối được phục vụ dưới alias của kết nối của nó, mà không mục nào khác được công bố — và thư viện chuẩn hiện thựclatencybằng cách ghilatency-based-routingcủa proxy vào cấu hình định tuyến mà Recipe của gateway render: proxy gửi mỗi yêu cầu tới mục có mười phản hồi gần nhất mất ít thời gian nhất tính trung bình, theo mỗi token đầu ra khi phản hồi báo cáo số token của nó, hoặc đến token đầu tiên đối với yêu cầu streaming, và một mục chưa được thử được tính là nhanh nhất. Khi không gắn, cấu hình không nêu chiến lược nào, và proxy chọn ngẫu nhiên giữa các mục đó.costbị từ chối ở đó kèm tên: proxy định giá một mục bằng cách tra đích của nó, đúng như được viết, trong một bảng giá nêu các mô hình của OpenAI và Anthropic mà không có tiền tố nhà cung cấp mà các đích của gateway mang, và định giá một mục mà nó không tìm thấy bằng một giá dự phòng cố định, nên các mục cùng chia sẻ một alias sẽ có cùng giá và được chọn theo thứ tự của chúng. Trêncore/gateway/kong-enterprise, mọi lần gắn đều dừng, vì mỗi mô hình được nối vào nó được phục vụ trên các route riêng chỉ mang đúng mô hình đó, nên không còn gì để chọn. Trêncore/gateway/agentgateway, mọi lần gắn cũng dừng, nêu lý do: agentgateway rút ngẫu nhiên hai trong số các đích của một tên mô hình và lấy đích có tình trạng sức khỏe, chia cho thời gian nó đã mất để trả lời, đạt điểm cao hơn, nên đích nhanh nhất chỉ được lấy khi nó được rút trúng, và nó không chọn đích nào theo chi phí. Trêncore/gateway/higress, mọi lần gắn cũng dừng, nêu lý do: Higress có thể đo độ trễ của một dịch vụ, nhưng plugin cân bằng tải của nó chạy sau AI proxy — vốn đã đặt mô hình, địa chỉ và thông tin xác thực của yêu cầu cho ứng viên mà route đã phân giải — và ghi lựa chọn của nó vào một header của yêu cầu mà không gì định tuyến theo nếu thiếu một bộ lọc Envoy mà danh mục này không render, nên lựa chọn đó không có hiệu lực, và nó không chọn đích nào theo chi phí. Trêncore/gateway/traefik-hub, mọi lần gắn cũng dừng, nêu lý do: Traefik chọn theo thời gian phản hồi thấp nhất chỉ giữa các máy chủ của một Service, vốn được bao phủ bởi một tên mô hình và một thông tin xác thực, và giữa các Service thì cân bằng theo trọng số hoặc theo hash địa chỉ của client, không bao giờ theo độ trễ, và không chiến lược nào của nó chọn đích theo chi phí; hơn nữa, mỗi mô hình được nối vào gateway được phục vụ trên một route riêng chỉ mang đúng mô hình đó, nên không còn gì để chọn. Trên bất kỳ gateway nào khác, một lần gắn sẽ dừng build. -
Khả năng phục hồi:
core/fallback-chainchuyển một yêu cầu có mô hình gặp lỗi sang các mô hình khác:chainschỉ định, với mỗi alias mô hình có dự phòng, các alias cần thử theo thứ tự cho đến khi một alias trả lời, trong đó một dự phòng gặp lỗi lại lần lượt theo mục riêng của nó, vàmax_hopsgiới hạn một yêu cầu được chuyển đi bao xa dọc theo chuỗi đó. Thư viện chuẩn hiện thực hóa nó trên AI gateway bằng cách ghi cả hai vào cấu hình định tuyến mà Recipe của gateway kết xuất, và dừng bản build khi gặp một tên mà bảng ánh xạ mô hình của gateway không công bố. Một yêu cầu chỉ chuyển sang dự phòng khi gateway đã từ bỏ alias mà nó yêu cầu: khi một alias được công bố nhiều hơn một lần, một lệnh gọi thất bại trước tiên chuyển sang một mục khác của alias đó như một lần thử lại, giới hạn bởi số lần thử lại của gateway.core/retry-policyđặt số đó — số lần gateway có thể gửi một yêu cầu, tính cả lần gửi đầu tiên (max_attempts), đối với lỗi thành công khi được gửi lại, chẳng hạn kết nối bị từ chối, giới hạn tốc độ hoặc hết thời gian chờ — và thư viện chuẩn hiện thực hóa nó trên AI gateway bằng cách ghi nó vào cấu hình định tuyến mà Recipe của gateway kết xuất. Trêncore/gateway/envoy-gateway, nó được hiện thực hóa thành retry của traffic policy trên route phục vụ các mô hình được nối, cũng là policy mang giới hạn tốc độ của ngân sách theo kỳ, vì Envoy Gateway gắn một traffic policy duy nhất vào một route: yêu cầu được gửi lại sau khi kết nối hoặc stream bị từ chối, bị reset hoặc nhận phản hồi 429, 503 hay 504, tối đamax_attemptslần gửi, và một mô hình không trả lời gì trong thời gian chờ yêu cầu của route thì không được gửi lại, vì thời gian chờ đó bao trùm mọi lần gửi. Trêncore/gateway/azure-api-management, nó được hiện thực hóa thành retry của Azure bao quanh việc chuyển tiếp, trong phần backend của policy của API: yêu cầu được trả lời bằng HTTP 429 hoặc trạng thái 5xx sẽ được gửi lại, với phần thân được giữ lại để có thể gửi lại, một giây sau lần gửi trước, tối đamax_attemptslần gửi. Kết nối bị từ chối hoặc bị ngắt, và mô hình không trả lời gì trong thời gian chờ của việc chuyển tiếp, không dẫn đến việc gửi lại, vì Azure kết thúc retry khi gặp lỗi như vậy và chuyển nó cho phần on-error của policy. Azure thử lại từ 1 đến 50 lần sau lần gửi đầu tiên, nênmax_attemptsbằng 1 không ghi retry nào và giá trị trên 51 bị từ chối kèm nêu rõ tên. Retry thay thế việc chuyển tiếp mà API lẽ ra kế thừa, nên khi nó được gắn, một thiết lập chuyển tiếp được đặt ở phạm vi rộng hơn của instance, chẳng hạn thời gian chờ, không áp dụng cho API, vốn chuyển tiếp với các giá trị mặc định của Azure. Trên gateway được lưu trữ,core/retry-policyđược hiện thực hóa bằng cách ghi vào tài nguyên của gateway số lần thử lại của nó, chỉ định các lần gửi sau lần đầu, từ 1 đến 5, nênmax_attemptstừ 2 đến 6 được tôn trọng và mọi giá trị khác bị từ chối;core/fallback-chainkhông được hiện thực hóa ở đó, vì gateway đó chỉ chuyển dự phòng giữa các mô hình bên trong một route mà yêu cầu nêu tên thay cho một mô hình, nên yêu cầu cho một mô hình không bao giờ chuyển sang dự phòng. Trêncore/gateway/kong-enterprise,core/fallback-chainđược hiện thực hóa trên Recipe chart của nó: các route chat và completion của mỗi alias màchainscấp một mục mang AI Proxy Advanced của Kong thay cho AI proxy của nó, với mô hình của alias và các mô hình mà lộ trình của nó chuyển dự phòng sang làm đích theo thứ tự ưu tiên — alias, sau đó các dự phòng trong mục của nó theo thứ tự, mục riêng của một dự phòng lần lượt được theo chỉ khi số đã đếm còn ít hơnmax_hops. Bộ cân bằng gửi yêu cầu đến mỗi đích của lộ trình một lần, theo thứ tự, cho đến khi một đích trả lời, chuyển tiếp sau lỗi hoặc hết thời gian chờ kết nối, header phản hồi không hợp lệ hoặc phản hồi 429, 500, 502, 503 hay 504, và trả về mọi phản hồi khác nguyên như khi nhận được. Bản build dừng khi gặp một tên mà socketmodelskhông mang, khi một lộ trình chạm tới một alias hai lần, khi đi cùngcore/retry-policy, vì Kong giữ một số lần thử lại duy nhất cho toàn bộ lộ trình và không thể gửi lại cho một mô hình trước khi chuyển dự phòng, và khi image gateway cũ hơn 3.12.core/retry-policykhông được hiện thực hóa ở đó, và phần hiện thực hóa của nó dừng mọi lần gắn kèm nêu rõ lý do: mỗi mô hình được nối được phục vụ trên các route riêng chỉ mang mô hình đó, nên một lần retry phải gửi lại yêu cầu đến chính đích đó, và tài liệu tham chiếu của Kong có thể hiểu theo cả hai cách về việc bộ cân bằng của nó có làm vậy hay không. Trêncore/gateway/agentgateway,core/retry-policyđược hiện thực hóa trên Recipe chart thành một policy retry trong chính cấu hình của gateway, gắn vào listener mà các yêu cầu mô hình của nó đến: yêu cầu được gửi lại, ngay lập tức và tới cùng mô hình, sau phản hồi 429, 500, 502, 503 hay 504, kết nối bị từ chối hoặc bị reset, kết nối mất hơn 11 giây để mở hoặc tra cứu tên thất bại, tối đamax_attemptslần gửi. agentgateway gửi một yêu cầu nhiều hơn một lần so với số lần thử của policy, nên policy được ghi làmax_attemptstrừ một,max_attemptsbằng 1 không ghi policy nào, và giá trị trên 256 bị từ chối kèm nêu rõ tên. Yêu cầu có phần thân lớn hơn 64 KiB chỉ được gửi một lần, và cấu hình không đặt thời gian chờ, nên một mô hình chấp nhận kết nối mà không trả lời gì sẽ được chờ thay vì gửi lại.core/fallback-chainkhông được hiện thực hóa ở đó, và phần hiện thực hóa của nó dừng mọi lần gắn kèm nêu rõ lý do: agentgateway chuyển đổi dự phòng giữa các mô hình bằng cách loại một mô hình lỗi cho các yêu cầu sau nó, trong khi yêu cầu đã lỗi được trả lời bằng chính lỗi của nó, nên không yêu cầu nào được dẫn dọc theo một chuỗi. Trêncore/gateway/higress,core/retry-policyđược hiện thực hóa thành retry riêng của route, được ghi dưới dạng annotation Ingress lên mọi route mô hình: yêu cầu được gửi lại sau khi kết nối bị từ chối hoặc bị reset, phản hồi 5xx hoặc 429, kể cả POST, tối đamax_attemptslần gửi;max_attemptsbằng 1 tắt retry, ghi đè retry mà control plane của Higress cấp cho route không có annotation, và giá trị trên 2147483648 bị từ chối kèm nêu rõ tên. Một mô hình chấp nhận kết nối rồi không trả lời gì hoặc trả lời chậm thì không được gửi lại, vì route không đặt thời hạn cho mỗi lần thử, và một yêu cầu streaming chỉ được gửi lại trước khi phản hồi của nó bắt đầu.core/fallback-chaincũng không được hiện thực hóa ở đó, và phần hiện thực hóa của nó dừng mọi lần gắn kèm nêu rõ lý do: Higress chuyển tiếp một yêu cầu lỗi tối đa một lần, tới một đích khác duy nhất — backend mặc định của một route, hoặc route dự phòng duy nhất mà console của nó ghi cho một route AI — nên không yêu cầu nào được dẫn dọc theo một chuỗi. Trêncore/gateway/traefik-hub, cả hai được hiện thực hóa trên Recipe chart, và mỗi cái dừng bản build khi image Traefik Hub cũ hơn v3.20, vốn có failover không nhận middleware trên các service mà nó thử và có retry không thể gửi lại một POST dựa trên trạng thái của phản hồi — ngoại trừ một policy retry chỉ có một lần gửi.core/fallback-chainđưa route của mỗi alias màchainscấp một mục qua các failover lồng nhau của chính Traefik, thử lần lượt các mô hình trong lộ trình của alias — alias, sau đó các dự phòng trong mục của nó theo thứ tự, mục riêng của một dự phòng lần lượt được theo chỉ khi số đã đếm còn ít hơnmax_hops— mỗi mô hình với tên mô hình, thông tin xác thực, hạn mức và retry riêng. Phản hồi 429 hoặc từ 500 đến 504 của một mô hình, sau lần retry nếu có của mô hình đó, chuyển yêu cầu sang mô hình kế tiếp; mọi phản hồi khác được trả về nguyên như khi nhận được, phản hồi của mô hình cuối cùng dù là gì, và phần thân yêu cầu trên 1 MiB bị từ chối bằng HTTP 413 thay vì được gửi. Bản build dừng khi gặp một tên mà socketmodelskhông mang và khi một lộ trình chạm tới một alias hai lần.core/retry-policylà middleware retry của Traefik, đứng cuối trên mỗi route mô hình, hoặc trên mỗi mô hình mà một lộ trình thử: yêu cầu được gửi lại ngay sau một kết nối không mang được gì tới mô hình và sau phản hồi 429 hoặc từ 500 đến 504, kể cả POST, tối đamax_attemptslần gửi, tính cả lần đầu, vàmax_attemptsbằng 1 không ghi gì. Sau một phản hồi do chính gateway tạo ra — một lần từ chối của bước kiểm tra khóa, một guard, việc che dữ liệu hoặc một hạn mức — yêu cầu không bao giờ được gửi lại, và cũng không sau một phản hồi streaming đã bắt đầu. -
Ngân sách theo kỳ:
core/period-budgetgiới hạn lượng mà lưu lượng đi qua một gateway được phép tiêu thụ trong một kỳ: mộtlimit,periodmà nó bao phủ, mộtscope— mọi thứ gateway phục vụ, từng bên gọi hoặc từng mô hình — và mộtunit— chi phí tính bằng đô la Mỹ hoặc token — và một khi lượng mà gateway đã đếm trong kỳ vượt quá giới hạn, các yêu cầu mô hình tiếp theo bị từ chối. Nó gắn vào bất kỳ thành phần nào khai báodataplane.aggrega.ai/period-budget. Thư viện chuẩn hiện thực nó trên gateway AI, có ngân sách bao phủ mọi thứ gateway phục vụ, được tính bằng đô la Mỹ và bắt đầu lại vào đầu mỗi kỳ — một số ngày tính từ nửa đêm UTC, hoặc một tháng dương lịch tính từ ngày đầu tiên của tháng: phần hiện thực ghi giới hạn và kỳ vào cấu hình mà Recipe của gateway kết xuất, từ chối theo tên mọi đơn vị, phạm vi hoặc kỳ khác — trong đó có30d, mà gateway tính là một tháng dương lịch — và dừng lại trừ khi cả hai khe thông tin xác thựcdatabase_urlvàapi_keycủa gateway đều được gắn, vì không có cơ sở dữ liệu sổ sách thì gateway không giữ bộ đếm nào và không có khóa quản trị thì nó không kiểm tra bên gọi nào theo ngân sách. Một khi bộ đếm vượt quá giới hạn, gateway từ chối các yêu cầu mô hình của khóa quản trị cũng như của mọi bên gọi; danh sách mô hình và chức năng quản lý khóa của nó vẫn trả lời khóa đó. Trên gateway được lưu trữ, nó được hiện thực thành một quy tắc giới hạn chi tiêu trên tài nguyên của gateway, tính bằng đô la Mỹ trong một cửa sổ trượt tới theo thời gian —periodgần nhất, cho các mô hình mà gateway biết giá — cho mọi thứ gateway phục vụ: ngân sách theo bên gọi hoặc theo mô hình, token và tháng dương lịch bị từ chối theo tên. Trêncore/gateway/apisix, nó được hiện thực trên Recipe chart, ghi lên các tuyến của các mô hình được kết nối dưới dạng giới hạn tốc độ theo token của APISIX: được đếm bằng token mà phản hồi của từng mô hình báo cáo —total_tokens,prompt_tokenshoặccompletion_tokens— trong một cửa sổ cố định dàiperiodmở ra cùng yêu cầu mô hình đầu tiên sau khi cửa sổ trước đóng lại thay vì theo đồng hồ, cho mọi thứ gateway phục vụ, cho từng mô hình được kết nối riêng biệt, hoặc cho từng bên gọi mà Release của nó khai báo tronginfra.callersriêng biệt, gateway phân biệt chúng bằng khóa mà mỗi bên xuất trình. Một khi bộ đếm đạt giới hạn, gateway trả lời các yêu cầu mô hình bằng HTTP 503 cho đến khi cửa sổ đóng lại; token của một yêu cầu được cộng vào khi phản hồi của nó hoàn tất, nên yêu cầu chạm tới giới hạn vẫn được phục vụ, và một phản hồi do bộ nhớ đệm ngữ nghĩa của nó phục vụ không được tính gì và được phục vụ vượt quá giới hạn. APISIX không đếm token trên yêu cầu completion, nên khi ngân sách được gắn, mỗi mô hình được kết nối chỉ nhận tuyến chat của nó, và APISIX giữ bộ đếm trong bộ nhớ của tiến trình gateway, nên chart chạy một bản sao và một lần khởi động lại mở ra một cửa sổ mới. Ngân sách bằng đô la Mỹ, ngân sách theo bên gọi khiinfra.callerskhông khai báo bên gọi nào, tháng dương lịch và ngân sách thứ hai trên cùng một gateway bị từ chối theo tên, cũng như một lần gắn lên Recipe workload của nó, vốn không kết xuất tuyến nào. Trêncore/gateway/envoy-gateway, nó được hiện thực thành giới hạn tốc độ dựa trên mức sử dụng của Envoy Gateway, trên tuyến AI phục vụ các mô hình được kết nối với gateway: tuyến khai báo số đếm token màunitchỉ định —total_tokens,prompt_tokenshoặccompletion_tokens— làm chi phí mà Envoy AI Gateway đọc từ mỗi phản hồi, và một traffic policy trên tuyến đó tính phí khi phản hồi hoàn tất, trừ vàolimittoken cho mỗi đơn vị giới hạn tốc độ của Envoy Gateway, cho mọi thứ gateway phục vụ hoặc cho từng mô hình được kết nối riêng biệt. Mỗi cửa sổ được cố định theo đồng hồ UTC — một giây, một phút, một giờ, một ngày tính từ nửa đêm, một tuần tính từ thứ Năm, hoặc 30 hay 365 ngày tính từ ngày 1 tháng 1 năm 1970 — và1molà một tháng dương lịch, theo một thiết lập của dịch vụ giới hạn tốc độ của Envoy Gateway mà khi đó áp dụng cho mọi giới hạn tốc độ hằng tháng mà bản cài đặt đó duy trì. Bộ đếm được duy trì bởi dịch vụ giới hạn tốc độ mà control plane của Envoy Gateway tạo và bật cho mọi gateway nó phục vụ, trong kho lưu trữ dùng giao thức Redis được kết nối với socketcachecủa gateway. Một khi bộ đếm vượt quá giới hạn, gateway trả lời các yêu cầu mô hình bằng HTTP 429 cho đến khi cửa sổ kết thúc; token của một yêu cầu được cộng vào khi phản hồi của nó hoàn tất, nên yêu cầu vượt qua giới hạn vẫn được phục vụ. Khi không thể truy cập kho lưu trữ hoặc dịch vụ giới hạn tốc độ, hoặc một lần kiểm tra mất nhiều thời gian hơn thời gian chờ giới hạn tốc độ của Envoy, các yêu cầu mô hình bị từ chối bằng HTTP 500, theo một thiết lập của control plane của Envoy Gateway mà khi đó áp dụng cho mọi giới hạn tốc độ mà bản cài đặt đó duy trì, nên một giới hạn tốc độ được áp dụng thủ công lên nó cũng thất bại ở trạng thái đóng; một yêu cầu được chấp nhận ngay trước sự cố vẫn được phục vụ và không được tính, vì token của nó được tính phí sau phản hồi, và một kho lưu trữ giữ bộ đếm trong bộ nhớ sẽ bắt đầu lại mọi cửa sổ khi khởi động lại. Ngân sách bằng đô la Mỹ, ngân sách theo bên gọi — gateway chỉ phân biệt các bên gọi bằng một header do chính bên gọi ghi, và không có gì trên đường đi đó xác minh nó — mọi kỳ khác và ngân sách thứ hai trên cùng một gateway bị từ chối theo tên, cũng như một lần gắn mà không có gì được kết nối với socketmodelshoặc socketcache. Trêncore/gateway/azure-api-management, nó được hiện thực thành giới hạn token của Azure, ghi vào chính sách của API: được đếm bằng token prompt và completion mà mỗi phản hồi báo cáo, gộp chung, cho mọi thứ API phục vụ hoặc cho từng gói đăng ký API Management, có khóa được gateway xác minh — hoặc là một hạn ngạch trong một cửa sổ cố định theo đồng hồ UTC, một giờ, một ngày, một tuần, một tháng dương lịch hoặc một năm dương lịch (1h,1d,7d,1mohoặc12mo; Microsoft không nói một tuần bắt đầu vào ngày nào), được trả lời bằng HTTP 403 khi bị vượt quá, hoặc là một tốc độ trong một phút (1m), được trả lời bằng HTTP 429 và được đếm trên cửa sổ trượt ở các bậc cổ điển và dưới dạng token bucket ở các bậc v2. Bộ đếm là mức sử dụng mà mỗi phản hồi báo cáo, nên các yêu cầu đồng thời có thể vượt qua giới hạn, và mỗi gateway của phiên bản giữ bộ đếm riêng. Ngân sách bằng đô la Mỹ hoặc chỉ bằng token prompt hoặc completion, ngân sách theo mô hình — mô hình mà một yêu cầu chỉ định do bên gọi ghi, và nhiều tên có thể dẫn đến cùng một mô hình — ngân sách theo gói đăng ký trên một API không yêu cầu khóa đăng ký, mọi kỳ khác và một giới hạn không phải số nguyên bị từ chối theo tên. Bậc Consumption không chạy giới hạn token nào. Trêncore/gateway/kong-enterprise, nó được hiện thực trên Recipe chart, ghi vào các tuyến mà gateway nhập dưới dạng AI Rate Limiting Advanced của Kong: được đếm bằng token mà phản hồi của từng mô hình báo cáo —total_tokens,prompt_tokenshoặccompletion_tokens— trong các cửa sổ cố định dàiperiod, một số giây, phút, giờ hoặc ngày, mỗi yêu cầu được đếm trong đúng một cửa sổ mà thời điểm của nó rơi vào, cho mọi thứ gateway phục vụ hoặc cho từng mô hình được kết nối riêng biệt, một yêu cầu thuộc phạm vimodelđược tính vào alias mà nó chỉ định, bất kể mô hình nào đã trả lời nó. Một khi bộ đếm đạt giới hạn, yêu cầu mô hình kế tiếp được trả lời bằng HTTP 429 cho đến khi cửa sổ kết thúc, nên yêu cầu vượt qua giới hạn vẫn được phục vụ; Kong cũng có thể từ chối sớm một yêu cầu, dựa trên ước tính riêng của nó về số token prompt mà yêu cầu mang theo. Bộ đếm được lưu trong backend PostgreSQL của gateway, được chia sẻ bởi mọi bản sao và được giữ qua các lần khởi động lại. Ngân sách bằng đô la Mỹ — Kong chỉ tính chi phí từ một mức giá mà cấu hình của nó gán cho từng mô hình, và danh mục không cung cấp mức giá nào — ngân sách theo bên gọi — Kong chỉ phân biệt các bên gọi dưới dạng các consumer mà một plugin xác thực chỉ định, và gateway không khai báo bên gọi nào, vì những lý do mà “Kong đứng trước các mô hình” ở trên đưa ra — tháng dương lịch, ngân sách thứ hai trên cùng một gateway và một image gateway cũ hơn 3.15 bị từ chối theo tên, cũng như một lần gắn mà không có gì được kết nối với socketmodels. Trêncore/gateway/agentgateway, nó được hiện thực trên Recipe chart, ghi vào cấu hình của gateway và được đếm bằng tổng số token mà mỗi phản hồi báo cáo: trong phạm vicaller, dưới dạng ngân sách trên khóa API của từng bên gọi mà Release của nó khai báo tronginfra.callers, trong các cửa sổ cố định dàiperiodcăn theo epoch Unix, một ngày bắt đầu lúc nửa đêm UTC, lưu trong kho SQLite trên một volume mà Recipe kết xuất, với một bản sao; trong phạm vigatewayhoặcmodel, dưới dạng token bucket cho mọi thứ gateway phục vụ hoặc cho từng tên mô hình mà một yêu cầu yêu cầu, được nạp đầy tới giới hạn sau mỗiperiodkể từ khi gateway đọc cấu hình của nó và được giữ trong bộ nhớ của nó, nên một lần khởi động lại hoặc một cấu hình bị thay đổi sẽ nạp đầy lại. Một khi lượng đã đếm đạt giới hạn, các yêu cầu mô hình được trả lời bằng HTTP 429 cho đến khi cửa sổ kết thúc hoặc bucket được nạp đầy; yêu cầu chạm tới giới hạn vẫn được phục vụ. Ngân sách bằng đô la Mỹ — danh mục chi phí mô hình của gateway không định giá mô hình nào được kết nối với nó, nên ngân sách sẽ không đếm được gì — chỉ bằng token prompt hoặc completion, ngân sách theo bên gọi khiinfra.callerskhông khai báo bên gọi nào, tháng dương lịch, một giới hạn không phải số nguyên và ngân sách thứ hai trên cùng một gateway bị từ chối theo tên, cũng như một lần gắn mà không có gì được kết nối với socketmodels; Recipe compose của nó không có phần hiện thực nào cho việc này. Trêncore/gateway/traefik-hub, nó được hiện thực trên Recipe chart dưới dạng middleware hạn ngạch của Traefik Hub trên tuyến của từng mô hình được kết nối, giữ bộ đếm trong kho lưu trữ dùng giao thức Redis được kết nối với socketcachecủa gateway: nó đếm token mà mỗi phản hồi báo cáo —total_tokens,prompt_tokenshoặccompletion_tokens— hoặc, vớiusd, chi phí của chúng bằng đô la Mỹ, được định giá từ một danh sách mô hình đi kèm middleware, một mô hình mà nó không có giá sẽ bị từ chối bằng HTTP 422, trong một cửa sổ trượt theo thời gian, trong đó lượng được đếm tại một thời điểm được giải phóng lại sau một kỳ, cho từng mô hình được kết nối riêng biệt, hoặc cho mọi thứ gateway phục vụ khi chỉ một mô hình được kết nối. Một khi bộ đếm đạt giới hạn, các yêu cầu mô hình bị từ chối bằng HTTP 429; số đếm của một yêu cầu được cộng vào khi phản hồi của nó hoàn tất, nên yêu cầu vượt qua giới hạn, và mọi yêu cầu được phục vụ song song với nó, vẫn được phục vụ, và một phản hồi do bộ nhớ đệm ngữ nghĩa phục vụ không được tính gì. Tài liệu tham khảo của Traefik nói rằng hạn ngạch phục vụ các yêu cầu mà không đếm khi không thể truy cập kho lưu trữ. Ngân sách theo bên gọi — hạn ngạch phân biệt các yêu cầu bằng địa chỉ của client, một header yêu cầu hoặc host của yêu cầu, và không cái nào trong số đó là bên gọi mà bước kiểm tra khóa của gateway đã xác minh — ngân sách cho toàn bộ gateway khi nhiều mô hình được kết nối, vì tài liệu tham khảo của Traefik không nói các tuyến chỉ định cùng một hạn ngạch có dùng chung bộ đếm hay không, tháng dương lịch và mọi kỳ không tính bằng giờ hoặc ngày, hay bằng phút hoặc giây tạo thành số giờ tròn, bị từ chối theo tên, cũng như một giới hạn không phải số nguyên token và một lần gắn mà không có gì được kết nối với socketmodelshoặc socketcache. Trêncore/gateway/higress, nó được hiện thực trên Recipe chart dưới dạng plugin giới hạn token của Higress trên tuyến của từng mô hình được kết nối, giữ bộ đếm trong kho lưu trữ dùng giao thức Redis được kết nối với socketcachecủa gateway: nó cộng token prompt và completion mà mỗi phản hồi báo cáo, gộp chung, khi phản hồi hoàn tất, trong một cửa sổ cố định dàiperiod— một giây, một phút, một giờ hoặc một ngày — mở ra khi phản hồi đầu tiên trong đó được đếm, cho mọi thứ gateway phục vụ hoặc cho từng alias riêng biệt. Trong khi bộ đếm vượt quá giới hạn, các yêu cầu mô hình được trả lời bằng HTTP 429 cho đến khi cửa sổ kết thúc, nên yêu cầu vượt qua giới hạn vẫn được phục vụ. Một phản hồi không báo cáo mức sử dụng thì không được tính gì, nên Recipe yêu cầu mô hình của một yêu cầu streaming báo cáo mức sử dụng và từ chối bằng HTTP 403 một yêu cầu streaming tắt báo cáo đó, một yêu cầu có content type vừa không chứaapplication/jsonvừa không bắt đầu bằngmultipart/form-data, mà proxy AI chuyển tiếp mà không yêu cầu báo cáo, và một yêu cầu có body mà các plugin của gateway không đọc — body nén, content type chứaoctet-streamhoặcgrpc, upgrade; một client cố ý gửi một body mà bước kiểm tra hợp lệ của gateway không giải mã được sẽ vượt qua những lần từ chối đó, và yêu cầu streaming như vậy không được đếm. Khi không gắn cơ chế che dữ liệu nào, một yêu cầu có body vượt quá bộ đệm 32 KiB của gateway có thể bị từ chối bằng HTTP 413, tùy vào thời điểm kho lưu trữ trả lời. Khi không thể truy cập kho lưu trữ, các yêu cầu mô hình được phục vụ và không được đếm: plugin không có thiết lập nào để từ chối chúng khi đó. Ngân sách bằng đô la Mỹ hoặc chỉ bằng token prompt hoặc completion, ngân sách theo bên gọi — gateway không khai báo bên gọi nào, nên không xác minh bên gọi nào — mọi kỳ khác, một giới hạn không phải số nguyên và ngân sách thứ hai trên cùng một gateway bị từ chối theo tên, cũng như một lần gắn mà không có gì được kết nối với socketmodelshoặc socketcache. -
Đồng thời:
core/concurrency-limitgiới hạn số yêu cầu mà một gateway mang cùng lúc (max_in_flight), giúp một đợt dồn dập của các bên gọi không biến thành hàng đợi tại mô hình phía sau nó.scopecho biết một giới hạn đếm cái gì:gateway, giá trị mặc định, đếm chung mọi yêu cầu mà gateway chuyển tiếp;modelcấp cho mỗi đích mà gateway gửi yêu cầu tới một bộ đếm riêng, trong đó một đích là mỗi mục upstream mà gateway định tuyến tới, nên khi một tên mô hình có nhiều mục thì mỗi mục được đếm riêng. Giới hạn và phạm vi của nó là việc định cỡ năng lực do người vận hành quyết định, được đặt tronginfracủa lần gắn, nên người vận hành gắn nó trong Release. Giới hạn được đếm theo từng proxy đang chạy, nên khi nhiều bản sao chạy, mỗi bản sao chấp nhận ngần ấy yêu cầu. Nó gắn vào bất kỳ thành phần nào khai báodataplane.aggrega.ai/concurrency-cap, và một phần hiện thực từ chối theo tên phạm vi mà gateway của nó không đếm. Trêncore/gateway/nginx, phạm vigatewayđược hiện thực thànhlimit_conncủa NGINX, với khóa là một từ giống nhau cho mọi yêu cầu, nên NGINX đếm mọi yêu cầu nó đang xử lý thành một tổng duy nhất, giữ trong bộ nhớ mà các tiến trình worker của nó dùng chung, và trả lời yêu cầu vượt giới hạn bằng HTTP 503; phạm vimodelbị từ chối, vì NGINX không giữ bộ đếm cho từng đích upstream, và mộtmax_in_flighttrên 65535, mức tối đa màlimit_connchấp nhận, cũng vậy. Trêncore/gateway/envoy-gateway, phạm vimodelđược hiện thực thành circuit breaker của traffic policy trên tuyến phục vụ các mô hình được kết nối, cũng là policy mang giới hạn tốc độ của ngân sách theo kỳ và lần thử lại của chính sách thử lại: Envoy Gateway áp dụng nó cho backend của từng quy tắc của tuyến đó, và mỗi mô hình được kết nối có quy tắc riêng, nên tối đamax_in_flightyêu cầu được gửi cùng lúc tới mỗi mô hình được kết nối, và một yêu cầu vượt giới hạn được trả lời bằng HTTP 503 và không được gửi lại; một lần gửi mà chính sách thử lại lặp lại được tính vào giới hạn như lần đầu. Các luồng worker của Envoy kiểm tra bộ đếm rồi mới cộng vào, nên các yêu cầu đến cùng lúc có thể tạm thời đẩy nó vượt giới hạn. Phạm vigatewaybị từ chối, vì Envoy Gateway giữ một giới hạn cho từng backend và không có giới hạn nào cho tổng của chúng, và một lần gắn mà không có gì được kết nối với socketmodelscũng vậy. Trên gateway AI, phạm vimodelđược hiện thực thànhmax_parallel_requestscủa mọi mục trong bản đồ mô hình của nó, dù được nhập tay hay được kết nối: tối đamax_in_flightyêu cầu đang được xử lý tới mỗi mục cùng lúc, và một yêu cầu gặp mục của nó đã đầy được trả lời bằng HTTP 429 — sau các lần thử lại của gateway khi alias của nó có một mục, và ngay lập tức khi có nhiều mục, kể cả khi một mục khác vẫn còn chỗ, vì proxy chọn mục trước khi đếm — trừ khicore/fallback-chainliệt kê các phương án dự phòng cho alias của nó, khi đó yêu cầu được gửi tiếp tới chúng. Proxy giữ mỗi bộ đếm trong bộ nhớ, nơi theo mặc định một bản ghi hết hạn mười phút sau khi được tạo và một bộ đếm mới khi đó bắt đầu từ không, nên lần gắn cũng đặt thời gian sống đó thành một thế kỷ, giữ mọi bộ đếm chừng nào proxy còn chạy. Vì thời gian sống đó, gateway từ chối một yêu cầu mangprioritykhi giới hạn đang được gắn, kể cả khi Release cho phép trường này, vì proxy giữ một mục hàng đợi cho mọi yêu cầu như vậy cho đến khi bản ghi của nó hết hạn; và bản dựng dừng lại trên một bản đồ mô hình có hơn 100 mục, vì vượt quá số đó, kho lưu trữ chứa các bộ đếm, vốn giữ 200 bản ghi và loại bỏ một bản ghi mỗi khi đầy, có thể loại bỏ một bộ đếm. Phạm vigatewaybị từ chối ở đó, vì tổng duy nhất của proxy chỉ được đọc bởi một bộ giới hạn yêu cầu do một biến môi trường bật lên, bộ này đếm một yêu cầu trong giây đầu tiên của nó. Gateway được lưu trữ cũng không hiện thực nó: giới hạn yêu cầu mà Recipe terraform của nó ghi vào tài nguyên của gateway là một tốc độ, tức số yêu cầu trong một khoảng thời gian, chứ không phải giới hạn trên các yêu cầu đang xử lý. -
Ghi nhật ký kiểm toán:
core/audit-loggingkhiến một gateway lưu một bản ghi cho mỗi yêu cầu mô hình mà nó phục vụ, nêu mô hình đã trả lời và số token mà phản hồi báo cáo, và mỗi hiện thực cho biết bản ghi được lưu ở đâu. Nó được gắn vào bất kỳ thành phần nào manggateway.aggrega.ai/intelligence: semantic, và ba giá trị của nó thuộc về người vận hành, được đặt tronginfracủa nó, vì vậy người vận hành gắn nó trong Release.require_cost, bật theo mặc định, khiến bản ghi cũng cho biết chi phí của mỗi yêu cầu, bằng một loại tiền tệ mà hiện thực nêu rõ.require_verified_caller, bật theo mặc định, khiến bản ghi nêu bên gọi mà gateway đã xác minh, thông qua một khóa mà gateway đã cấp hoặc đã kiểm tra.retention_days, không được đặt theo mặc định, khiến gateway xóa một bản ghi khi nó đã đủ số ngày đó; khi không có giá trị này, bản thân gateway không xóa bản ghi nào, và một bản ghi tồn tại chừng nào nơi lưu nó còn giữ nó. Một gateway không thể đáp ứng một giá trị sẽ từ chối việc gắn khi build, nêu tên giá trị đó, vì vậy một lần gắn đểrequire_costvàrequire_verified_callerở giá trị mặc định sẽ nhận được chi phí và bên gọi đã xác minh, hoặc bị dừng. Tắtrequire_verified_callernghĩa là chấp nhận một bản ghi có bên gọi là bất cứ ai mà chính yêu cầu tự nhận, hoặc không có bên gọi nào: khi đó bất kỳ ai gửi yêu cầu cũng có thể khiến nó được ghi dưới danh nghĩa một bên gọi khác, vì vậy bản ghi như vậy không cho thấy ai đã gửi yêu cầu. Trên gateway AI, bản ghi là một hàng trong cơ sở dữ liệu kế toán của gateway, và mọi giá trị đều được đáp ứng: hàng đó cho biết chi phí của yêu cầu bằng đô la Mỹ, được định giá theo bảng mà gateway lưu cho từng mô hình — một mô hình mà bảng không định giá được ghi là không tốn chi phí — và nêu khóa mà gateway đã xác minh, cùng với người dùng và nhóm sở hữu khóa đó, trong khi người dùng cuối mà một hàng nêu là bất cứ thứ gì yêu cầu ghi vào, không được kiểm tra. Không có cơ sở dữ liệu kế toán, gateway không ghi hàng nào, và không có khóa quản trị, nó không kiểm tra bên gọi nào và không ghi hàng nào cho một yêu cầu không xuất trình khóa và không nêu người dùng cuối, vì vậy build dừng lại trừ khi cả hai khe thông tin xác thựcdatabase_urlvàapi_keycủa gateway đều được gắn; chừng nàovalues.log_maskingcủa gateway còn liệt kê những gì cần che, nó chỉ ghi các yêu cầu đã được trả lời. Trêncore/gateway/envoy-gateway, bản ghi là một dòng trong nhật ký truy cập của gateway, do Recipe của nó ghi khi việc gắn còn hiện diện: một dòng JSON cho mỗi yêu cầu trên đầu ra chuẩn của data plane, mang các trường mà Envoy Gateway ghi theo mặc định, mô hình mà yêu cầu nêu, mô hình đã trả lời và số token prompt, completion và tổng mà phản hồi báo cáo, với tuyến phục vụ các mô hình khai báo các số đếm đó để Envoy AI Gateway ghi lại chúng. Một yêu cầu mà mô hình không trả lời không mang mô hình đã trả lời và không mang token, và bản thân nhật ký truy cập không lưu gì, vì vậy một dòng tồn tại bao lâu tùy thuộc vào thứ thu thập đầu ra đó. Không trường nào nêu một bên gọi mà gateway đã xác minh: địa chỉ của client và các header nó gửi được ghi nguyên như khi đến. Gateway không lưu giá, không có gì trên tuyến mà Recipe của nó tạo ra xác minh bên gọi, và nhật ký truy cập không lưu bản ghi nào mà nó có thể xóa, vì vậy hiện thực của nó build một lần gắn tắtrequire_costvàrequire_verified_callervà không đặtretention_days, và nếu không thì dừng lại, nêu từng giá trị mà nó không thể đáp ứng, tất cả trong một lỗi duy nhất; nó cũng dừng khi không có gì được nối vào socketmodels. Trêncore/gateway/agentgateway, bản ghi là một hàng mà gateway ghi vào kho SQLite trên một volume do Recipe chart của nó tạo ra khi việc gắn còn hiện diện, với một bản sao, cho mỗi yêu cầu mô hình vượt qua các kiểm tra khóa, ngân sách và ủy quyền của nó, kể cả việc từ chối của một guard: mô hình mà gateway đã yêu cầu từ máy chủ mô hình — tên mà mô hình được nối công bố, không phải bí danh mà bên gọi gửi — và mô hình đã trả lời, số token đầu vào, đầu ra và tổng mà phản hồi báo cáo, trạng thái và thời gian của nó, và, với mỗi bên gọi mà Release của nó khai báo tronginfra.callers, tên của bên gọi đó, lấy từ khóa API mà gateway đã xác minh. Một yêu cầu bị từ chối vì khóa của nó, bởi một quy tắc ủy quyền hoặc bởi ngân sách của một bên gọi không để lại hàng nào. Không có văn bản prompt hay phản hồi nào được lưu, và các hàng được đọc qua giao diện quản trị của gateway, vốn lắng nghe bên trong pod của nó.require_verified_callerđược đáp ứng chừng nào có bên gọi được khai báo;require_costbị từ chối theo tên, vì danh mục chi phí mô hình của gateway không định giá mô hình nào được nối với nó, và cũng bị từ chối như vậy làrequire_verified_callerkhi không có bên gọi nào được khai báo vàretention_days, vì gateway không xóa bản ghi nào; Recipe compose của nó không có hiện thực nào cho tính năng này. Trêncore/gateway/higress, bản ghi là trườngai_logcủa dòng nhật ký truy cập của gateway, do plugin thống kê của Higress điền khi việc gắn còn hiện diện: mô hình đã trả lời và số token đầu vào, đầu ra và tổng mà phản hồi báo cáo, trên đầu ra chuẩn của gateway, không có văn bản prompt hay phản hồi. Gateway không khai báo bên gọi, không định giá gì và không lưu bản ghi nào mà nó có thể xóa, vì vậy hiện thực của nó build một lần gắn tắtrequire_costvàrequire_verified_callervà không đặtretention_days, và nếu không thì dừng lại, nêu từng giá trị mà nó không thể đáp ứng, tất cả trong một lỗi duy nhất; nó cũng dừng khi không có gì được nối vào socketmodels. Trêncore/gateway/traefik-hub, mọi lần gắn đều dừng, nêu lý do: Traefik Hub chỉ lưu bản ghi của một yêu cầu mô hình dưới dạng một span OpenTelemetry mà các middleware AI của nó xuất sang một backend tracing — nêu mô hình và, ở mức chi tiết, số token và chi phí của chúng bằng đô la Mỹ — và hiện thực của nó không nối backend tracing nào, vì vậy bản ghi sẽ không được lưu ở đâu cả; span cũng không nêu bên gọi, vì vậy nó không thể nêu bên gọi mà bước kiểm tra khóa của gateway đã xác minh. Trêncore/gateway/azure-api-management, mọi lần gắn đều dừng, như mục về gateway này ở trên đã nói, và không gateway nào khác trong thư viện chuẩn hiện thực nó, vì vậy một lần gắn trên bất kỳ gateway nào khác sẽ dừng, nêu tên loại. -
Bộ nhớ đệm ngữ nghĩa:
core/semantic-cachingkhai báo một bộ nhớ đệm trả lời một prompt bằng phản hồi đã lưu cho một prompt trước đó đủ gần về nghĩa, thay vì gọi lại mô hình.embedding_modelnêu mô hình biến mỗi prompt thành một vector, theo cách gateway công bố nó; một phản hồi đã lưu được phục vụ khi hai prompt giống nhau ít nhất ở mứcsimilarity_threshold, và nó vẫn dùng được trongttl_seconds.scopequyết định ai dùng chung một bộ nhớ đệm:end_user, giá trị mặc định, tách riêng từng người dùng cuối mà gateway nhận diện, cònkeyphục vụ mọi bên gọi xuất trình cùng một khóa từ một bộ nhớ đệm, vì vậy một người dùng cuối đằng sau khóa đó có thể được phục vụ một phản hồi được tạo cho người khác.core/data-maskingkhai báo xung đột với nó, vì vậy build dừng trên một thành phần mang cả hai. Thư viện chuẩn hiện thực nó trên gateway AI, vốn giữ các phản hồi trong mộtcore/datastore/redisđược nối vào socketcache_storecủa nó, xuất trình cho kho mật khẩu mà thông tin xác thực trên kết nối đó chứa khi kho yêu cầu, kho xóa mỗi phản hồi khittl_secondsđã trôi qua, và gateway lưu đệm các yêu cầu chat, responses và messages, không lưu completions hay embeddings. Hiện thực dừng build trừ khi kheapi_keycủa gateway được gắn, vì không có khóa quản trị thì gateway không kiểm tra bên gọi nào, cũng dừng với mộtembedding_modelmà bản đồ mô hình của gateway không công bố, và khi không có gì được nối vàocache_store. Một phản hồi đã lưu chỉ được phục vụ cho một yêu cầu khớp với những gì nó được lưu theo: khóa mà yêu cầu xuất trình, được gateway xác minh, cùng nhóm và tổ chức của khóa đó; vớiend_user, người dùng cuối mà yêu cầu nêu; và mô hình mà yêu cầu đòi hỏi cùng các tham số khác của nó. Gateway ghi khóa, nhóm, tổ chức và người dùng cuối vào chính yêu cầu, ghi đè lên mọi giá trị mà bên gọi đã gửi cho chúng trên một yêu cầu chat; trên một yêu cầu responses hoặc messages, nó xóa trường nhóm, tổ chức hoặc người dùng cuối khỏi siêu dữ liệu riêng của yêu cầu và từ chối trường nêu khóa ở đó, vì vậy không yêu cầu nào có thể chỉ bằng cách nêu tên mà vào được các phản hồi của một khóa khác. Siêu dữ liệu riêng của một yêu cầu vẫn có thể di chuyển nó giữa các phản hồi của khóa mà nó xuất trình: trên một yêu cầu responses,model_groupthay thế mô hình mà nó đòi hỏi trong những gì phản hồi của nó được lưu theo; trên một yêu cầu responses hoặc messages,caching_groupscho phép các yêu cầu nêu cùng một nhóm bí danh mô hình dùng chung phản hồi giữa các bí danh đó; và trên một yêu cầu responses hoặc chat,redis_namespacetách các yêu cầu nêu một namespace khỏi các yêu cầu không nêu namespace nào. Gateway đọc người dùng cuối từ một header hoặc một trường body mà chính yêu cầu nêu, và không xác minh cái nào: vớiend_user, một bên gọi nêu một người dùng cuối khác sẽ được phục vụ các phản hồi của người dùng cuối đó, và các yêu cầu không nêu người dùng cuối nào dùng chung một bộ nhớ đệm với mọi yêu cầu tương tự khác dưới khóa mà chúng xuất trình. Gateway được lưu trữ sẵn không hiện thực nó: bộ nhớ đệm của nó chỉ trả lời một yêu cầu giống hệt một yêu cầu trước đó. Trêncore/gateway/azure-api-management, nó được hiện thực dưới dạng thao tác tra cứu và lưu của bộ nhớ đệm ngữ nghĩa Azure, được ghi vào chính sách của API:embedding_modelnêu một backend mà phiên bản API Management đã có cho một mô hình embeddings, mà phiên bản truy cập bằng danh tính được quản lý của nó, và phiên bản cần một bộ nhớ đệm Redis có RediSearch được cấu hình làm bộ nhớ đệm ngoài của nó, những thứ mà build không thể thấy, vì vậy build dừng cho đến khi người vận hành khẳng định rằng bộ nhớ đệm phục vụ RediSearch bằng cách đặtinfra.cache_serves_vector_searchcủa gateway; kho giữ một phản hồi trongttl_seconds; vàsimilarity_thresholdđược ghi thành ngưỡng điểm của Azure, một trừ ngưỡng, đọc điểm đó như một khoảng cách cosine, vì Microsoft cho biết phạm vi và chiều của nó — thấp hơn đòi hỏi các prompt gần nhau hơn — nhưng không cho biết thước đo của nó. Một phản hồi được lưu và phục vụ riêng theo từng API và từng gói đăng ký API Management, có khóa được gateway xác minh, vì vậy hiện thực giữkey, từ chối nó trên một API không yêu cầu khóa đăng ký, và từ chốiend_user: API mà Recipe của nó tạo ra không xác thực token của người dùng cuối nào, vì vậy gateway không có người dùng cuối đã xác minh nào để tách riêng.core/gateway/contourvàcore/gateway/nginxcũng không hiện thực nó, vì chúng không cung cấp bộ nhớ đệm ngữ nghĩa nào. Trêncore/gateway/agentgateway, hiện thực của nó dừng mọi lần gắn, nêu lý do: agentgateway không giữ bộ nhớ đệm phản hồi nào, và tính năng lưu đệm prompt của nó chỉ đánh dấu nơi mà một nhà cung cấp tự lưu đệm prompt có thể làm việc đó. Trêncore/gateway/kong-enterprise, hiện thực của nó dừng mọi lần gắn, nêu phạm vi được yêu cầu: AI Semantic Cache của Kong không có thiết lập nào tách các phản hồi đã lưu của một bên gọi khỏi của bên gọi khác, và gateway chỉ phân biệt các bên gọi như các consumer mà một plugin xác thực nêu và không khai báo bên gọi nào, vì những lý do mà “Kong đứng trước các mô hình” ở trên đưa ra, vì vậy vớiend_usercũng như vớikey, mọi yêu cầu sẽ dùng chung một bộ nhớ đệm. Trêncore/gateway/higress, hiện thực của nó dừng mọi lần gắn, nêu phạm vi được yêu cầu: bộ nhớ đệm ngữ nghĩa của Higress lưu mỗi phản hồi dưới một tiền tố khóa duy nhất theo sau là văn bản prompt, và không có gì trong khóa đó nêu một bên gọi hay một người dùng cuối, trong khi gateway không khai báo bên gọi nào, vì vậy mọi yêu cầu sẽ dùng chung một bộ nhớ đệm. Trêncore/gateway/apisix, nó được hiện thực trên Recipe chart, được ghi lên tuyến chat của mỗi mô hình được nối dưới dạng bộ nhớ đệm ngữ nghĩa của APISIX 3.18.0, cho các bên gọi mà Release của nó khai báo tronginfra.callers: một phản hồi được lưu theo từng tuyến và từng bên gọi, dưới khóa mà bên gọi đã xuất trình, được gateway xác minh, vì vậy không bên gọi nào được phục vụ một phản hồi đã lưu cho bên khác; hiện thực giữkeyvà từ chốiend_usertheo tên, vì gateway không thể phân biệt những người dùng cuối đằng sau một khóa.embedding_modelnêu một kết nối trên socketmodelscủa gateway, mà bộ nhớ đệm dùng endpoint, mô hình và thông tin xác thực của nó để tạo embedding. Bộ nhớ đệm tạo embedding cho tin nhắn người dùng cuối cùng của một yêu cầu và phục vụ một phản hồi đã lưu có tin nhắn giống ít nhất ở mứcsimilarity_thresholdvà có các tin nhắn trước đó — một prompt hệ thống, các lượt trước — giống hệt. Các phản hồi nằm trongttl_secondsở mộtcore/datastore/redisđược nối vào socketcache_storecủa gateway, mà bộ nhớ đệm xuất trình cho nó mật khẩu do thông tin xác thực trên kết nối đó chứa, và một phản hồi được phục vụ theo nghĩa sẽ được lưu lại dưới yêu cầu đó thêmttl_secondsnữa. Các yêu cầu completion không được lưu đệm, và lỗi của kho hoặc của việc tạo embedding là một lần trượt: yêu cầu vẫn được trả lời. Hiện thực dừng khi không có bên gọi nào được khai báo, khi không có gì được nối vàocache_storehoặc vào socketmodels, và với mộtembedding_modelmà không kết nối nào ở đó mang. APISIX gắn khóa một phản hồi đã lưu theo tuyến và bên gọi chứ không theo gateway, vì vậy hai gateway APISIX được nối vào cùng một kho, hoặc hai Releases của cùng một Aggregate trỏ gateway của chúng tới cùng một kho bên ngoài, có thể phục vụ một phản hồi đã lưu đệm cho một bên gọi cùng tên trên cùng bí danh và mô hình. Recipe workload của nó, ở APISIX 3.17.0, hoàn toàn không có bộ nhớ đệm ngữ nghĩa. Trêncore/gateway/traefik-hub, nó được hiện thực trên Recipe chart dưới dạng bộ nhớ đệm ngữ nghĩa của Traefik Hub trên tuyến của mỗi mô hình được nối, cho các bên gọi mà Release của nó khai báo tronginfra.callers: một phản hồi được lưu theo từng mô hình được nối và từng bên gọi, dưới bên gọi mà bước kiểm tra khóa của gateway đã xác minh, mỗi bên theo khóa riêng của mình, vì vậy không bên gọi nào được phục vụ một phản hồi đã lưu cho bên khác; hiện thực giữkeyvà từ chốiend_usertheo tên, vì gateway không thể phân biệt những người dùng cuối đằng sau một khóa.embedding_modelnêu một kết nối trên socketmodelscủa gateway, mà bộ nhớ đệm dùng endpoint, mô hình và thông tin xác thực của nó để tạo embedding cho văn bản của một yêu cầu.similarity_thresholdđược ghi thành giới hạn khoảng cách của bộ nhớ đệm, một trừ ngưỡng, được đọc như một khoảng cách cosine, vì tài liệu tham khảo của Traefik cho biết chiều của giới hạn nhưng không cho biết thước đo của nó. Một phản hồi được giữ trongttl_secondsở mộtcore/datastore/redisđược nối vào socketcache_storecủa gateway, và một yêu cầu quá lớn để tạo embedding sẽ được trả lời mà không qua bộ nhớ đệm. Hiện thực dừng khi không có bên gọi nào được khai báo, khi không có gì được nối vàocache_storehoặc vào socketmodels, với mộtembedding_modelmà không kết nối nào ở đó mang, và với một image Traefik Hub có tag không nêu bản phát hành nào từ v3.19.11 trong dòng 3.19 hoặc từ v3.20.6 trở đi, vì một bản phát hành cũ hơn dùng chung một bộ nhớ đệm giữa mọi bên gọi của một tuyến. -
Sàng lọc prompt injection:
core/prompt-injection-shieldkhai báo rằng các yêu cầu tới mô hình mà một gateway chuyển tiếp được kiểm tra, trước khi mô hình được gọi, để phát hiện nỗ lực ghi đè các chỉ dẫn đã được giao cho mô hình, vớisensitivitylàstandardhoặcstrict— strict từ chối nhiều nỗ lực như vậy hơn, và cùng với chúng là nhiều yêu cầu hợp lệ hơn. Việc kiểm tra là phán quyết của một bộ phân loại xác suất: nó bỏ sót một số cuộc tấn công — trong đó có những cuộc tấn công được diễn đạt lại, mã hóa hoặc viết theo cách khác —, từ chối một số yêu cầu hợp lệ và được biết là có thể bị né tránh, vì vậy đây là một biện pháp kiểm soát bên cạnh các biện pháp khác, và nó không đánh giá phản hồi của mô hình, đối số của lệnh gọi công cụ hay hình ảnh. Nó gắn vào bất kỳ gateway nào, và một hiện thực hoặc gửi các yêu cầu của gateway qua một bộ bảo vệ được nối vào socketguardcủa nó, điều này không đòi hỏi gì ở gateway ngoài việc chuyển tiếp tới một địa chỉ mà nó được cấu hình, hoặc bật một phép kiểm tra mà chính gateway thực hiện. Với một bộ bảo vệ, bộ bảo vệ kiểm tra từng yêu cầu và chuyển tiếp tới mô hình những gì nó chấp nhận, và việc gắn Feature mà không có gì trên socket đó sẽ dừng bản build và nêu rõ điều này. Thư viện chuẩn hiện thực nó trên gateway AI và trên gateway NGINX, mỗi gateway dùngcore/security/nemo-guardrailslàm bộ bảo vệ: một dịch vụ dùng API chat-completions của OpenAI, có rail gửi tin nhắn người dùng cuối cùng của một yêu cầu tới bộ phân loại củacore/security/trustyai-huggingface-detectorđược nối với nó và từ chối yêu cầu khi điểm của bộ phân loại đó đạt tới ngưỡng của bộ bảo vệ. Một yêu cầu bị từ chối được chính bộ bảo vệ trả lời, bằng một completion thông thường, và không phần nào của nó tới được mô hình; khi không thể kết nối tới bộ bảo vệ hoặc bộ phát hiện của nó, yêu cầu cũng bị từ chối. Mỗi gateway trong hai gateway này dừng bản build trừ khi bộ bảo vệ chính là dịch vụ đó, chạy với ngưỡng mà độ nhạy chỉ định — 0.5 chostandardvà 0.001 chostrict, hai giá trị được đo cho bộ phân loại mặc định của bộ phát hiện, mà gateway, vốn chỉ thấy bộ bảo vệ chứ không thấy bộ phát hiện phía sau, không thể kiểm tra mô hình của nó. Trên gateway AI, mọi alias của bảng ánh xạ mô hình đều được gửi tới bộ bảo vệ, với mỗi đích được viết làopenai/<model>, nên bảng ánh xạ là bảng được viết tay: một mô hình được nối vào socketmodelscủa gateway sẽ được gửi tới endpoint riêng của nó với thông tin xác thực của kết nối riêng của nó, vượt qua bộ bảo vệ, và hiện thực dừng bản build chừng nào socket đó còn chứa một kết nối, nêu tên kết nối đó. Gateway AI từ chối mọi yêu cầu không phải chat completion, loại duy nhất mà bộ bảo vệ kiểm tra; trên gateway NGINX, location duy nhất của nó chuyển tiếp tới bộ bảo vệ thay cho upstream, và bộ bảo vệ không trả lời tuyến mô hình nào khác. Trêncore/gateway/azure-api-management, nó được hiện thực dưới dạng prompt shield của chính Azure, được bật trong policy của API thông qua backend Azure AI Content Safety của instance màinfra.content_safety_backend_idchỉ định, và bản build dừng lại chừng nào khóa đó chưa được đặt: Azure AI Content Safety kiểm tra từng yêu cầu để phát hiện tấn công từ người dùng trước khi mô hình được gọi, trước cả việc tra cứu bộ nhớ đệm ngữ nghĩa, và gateway trả lời một yêu cầu mà nó phát hiện có tấn công bằng HTTP 403, giống như cách nó trả lời một yêu cầu dài hơn mức dịch vụ chấp nhận. Shield chỉ bật hoặc tắt, vì vậystandardđược giữ vàstrictbị từ chối theo tên, và nó chạy ở độ nhạy riêng của Microsoft, không được đo so với ngưỡng màstandardchỉ định trên các bộ bảo vệ. Instance kết nối tới backend đó bằng managed identity của nó, vốn cần vai trò Cognitive Services User trên dịch vụ; bản build không thấy cả hai điều này. Không gateway nào trong thư viện chuẩn ngoài ba gateway này hiện thực nó, và việc gắn nó vào một gateway khác sẽ dừng bản build và nêu tên loại: hầu hết không tạo ra tuyến nào mà một hiện thực có thể gửi qua bộ bảo vệ — chúng giữ các tuyến trong kho lưu trữ riêng, lấy chúng từ các dịch vụ phía sau, hoặc là một dịch vụ được lưu trữ mà trên đó thư viện chuẩn không bật phép kiểm tra nào thuộc loại này —, vàcore/gateway/apisix, có Recipe chart tạo ra các tuyến của các mô hình được nối với nó, cùngcore/gateway/envoy-gateway, có Recipe tạo ra tuyến AI của các mô hình được nối với nó, đều không có hiện thực của nó. Trêncore/gateway/agentgateway, có các Recipes tạo ra một mục cho mỗi mô hình được nối với nó, hiện thực dừng mọi lần gắn và nêu lý do: agentgateway chỉ đánh giá một yêu cầu để phát hiện nỗ lực như vậy thông qua một dịch vụ mà nó gọi — một webhook do người vận hành chạy, hoặc Azure AI Content Safety, Google Model Armor hay AWS Bedrock Guardrails — và hiện thực không nối dịch vụ nào trong số đó. Trêncore/gateway/higress, hiện thực cũng dừng mọi lần gắn và nêu lý do: Higress chỉ đánh giá nỗ lực như vậy thông qua một dịch vụ mà nó gọi — dịch vụ bảo mật nội dung của Alibaba Cloud hoặc, thông qua một plugin có trong mã nguồn của nó nhưng không được phát hành trong bản phát hành plugin 2.2.5 của nó, một dịch vụ mô hình Qwen3Guard do người vận hành chạy — và mỗi dịch vụ đều cho yêu cầu đi qua khi lệnh gọi đó thất bại, và hiện thực không nối dịch vụ nào trong hai dịch vụ đó. Trêncore/gateway/traefik-hub, hiện thực cũng dừng mọi lần gắn và nêu lý do: Traefik Hub chỉ đánh giá nỗ lực như vậy thông qua một dịch vụ mà nó gọi — các middleware LLM Guard và Parallel LLM Guard của nó, vốn gọi một dịch vụ bảo vệ hoặc một mô hình với một yêu cầu và các điều kiện mà hiện thực sẽ phải viết, và hoạt động của chúng với một bộ phát hiện tấn công prompt chưa được đo, nên không có độ nhạy nào tương ứng với một phép kiểm tra ở đó; hoặc các middleware Azure Prompt Shield, Amazon Bedrock Guardrails và GCP Model Armor của nó, vốn gọi các dịch vụ được lưu trữ mà hiện thực không nối. Bộ bảo vệ chỉ đọc tin nhắn người dùng cuối cùng, nên một tin nhắn hệ thống, một lượt trước đó hoặc một kết quả công cụ tới được mô hình mà không bị đọc, và chỉ lưu lượng đi qua gateway mới được sàng lọc: một workload gọi trực tiếp địa chỉ của mô hình sẽ vượt qua nó. -
Xác thực phản hồi và đánh giá:
core/response-validationkhai báo một phép kiểm tra phản hồi của mô hình theo một JSON Schema trước khi phản hồi tới người gọi:schemachứa chính lược đồ, và một phản hồi không khớp với nó sẽ bị từ chối thay vì được chuyển tiếp — hoặc, khi bậtinvert, một phản hồi khớp với nó. Lược đồ thuộc về lần gắn, giống nhau cho mọi yêu cầu, không phải lược đồ mà người gọi gửi kèm yêu cầu của mình, vì vậy nhà phát triển gắn nó trong Aggregate, viết lược đồ vàovaluescủa nó. Không hiện thực nào trong thư viện chuẩn thực thi nó: trêncore/gateway/agentgateway, hiện thực của nó dừng mọi lần gắn và nêu lý do — các bộ bảo vệ phản hồi của agentgateway so khớp mẫu hoặc gọi một dịch vụ content safety hay webhook, và không bộ nào nhận lược đồ —, và hiện thực của nó trêncore/gateway/higresscũng vậy, vì phép kiểm tra phản hồi của Higress trả lời một phản hồi vượt qua kiểm tra bằng JSON trần mà nó tìm thấy trong tin nhắn của phản hồi thay vì chat completion mà tuyến OpenAI của nó trả về, bị bỏ qua bởi bất kỳ client nào gửi header yêu cầuX-HIGRESS-AI-JSON-RESP: true, và bỏ qua không kiểm tra một lược đồ lồng sâu hơn sáu cấp; hiện thực của nó trêncore/gateway/traefik-hubcũng vậy, vì không middleware nào trong tài liệu tham chiếu của Traefik Hub kiểm tra một phản hồi theo lược đồ — middleware Chat Completion của nó kiểm tra yêu cầu theo lược đồ chat completion, phần quản lý API của nó kiểm tra phần thân yêu cầu theo một tài liệu OpenAPI, và LLM Guard của nó gửi phản hồi tới một dịch vụ bên ngoài, mà hiện thực không nối; trên bất kỳ gateway nào khác, một lần gắn sẽ dừng bản build và nêu tên loại.core/traffic-shadowingsao chép các yêu cầu thực tới một dịch vụ thứ hai và loại bỏ các câu trả lời của dịch vụ đó, để một mô hình hoặc dịch vụ ứng viên có thể được đánh giá dưới lưu lượng thực mà không người gọi nào thấy đầu ra của nó. Nó gắn vào bất kỳ thành phần nào khai báodataplane.aggrega.ai/request-mirroring, điều mà gateway AI không làm; thư viện chuẩn hiện thực nó trên gateway NGINX, vốn sao chép toàn bộ luồng thay vì một phần, và dừng lại với một tỷ lệ nhỏ hơn, nêu tên tỷ lệ đó.
5. Thực thi bất đồng bộ và hạ tầng HITL
Aggrega coi các framework tương tác với con người (như AutoGen và LangGraph) là các nút worker. Để hỗ trợ các agent “ngủ” chờ đầu vào của con người mà không mất trạng thái, kiến trúc sư nền tảng có thể khai báo các socket usesSchema trên Components của các agent này, buộc nghiêm ngặt việc liên kết tường minh các thành phần thuộc danh mục datastore với chúng, được chọn theo nhãn engine của datastore — datastore.aggrega.ai/engine in (vector, semantic-memory, search) cho kho mà agent truy xuất theo độ tương đồng, hoặc datastore.aggrega.ai/engine=kv cho kho mà agent lưu checkpoint trạng thái chạy của nó vào. Socket liên kết theo nhãn engine thay vì theo tên sản phẩm, nên tác giả chọn kho nào được nối tới và khai báo vẫn đứng vững. Ngoài ra, với các vòng phản hồi từ con người tới agent (ví dụ: tích hợp Slack), có thể cấu hình một vai trò phán quyết quản trị để từ chối kiến trúc trừ khi một thành phần gateway được khai báo tường minh được gắn vào, để các webhook callback đi vào qua một ranh giới ingress đã được khai báo.
Các agent được xây dựng trên một framework hoặc SDK mà một ứng dụng được viết xoay quanh, thay vì được phân phối như một sản phẩm riêng, có một hình thức duy nhất trong thư viện chuẩn. Release chỉ định image của ứng dụng, mà danh mục không ghim. Một socket model mang những gì framework đọc từ mô hình được nối — địa chỉ và tên mô hình của nó, ở nơi framework đọc chúng, và thông tin xác thực của kết nối, theo tham chiếu — tới các biến mà framework đó đọc. Khi framework không định nghĩa máy chủ riêng, thành phần là một worker và không mở cổng nào: core/ai-agent/crewai và core/ai-agent/langgraph có hình thức này, và core/ai-agent/openai-agents-sdk cũng vậy, với socket model chỉ nhận một mô hình hoặc gateway mang model.aggrega.ai/api: openai, core/ai-agent/claude-agent-sdk, với socket chỉ nhận một thứ mang model.aggrega.ai/api: anthropic, và core/ai-agent/agent-framework, dành cho một ứng dụng xây dựng trên Microsoft Agent Framework, vốn tự nó không phục vụ gì, với socket chỉ nhận một thứ mang model.aggrega.ai/api: openai và cung cấp các biến mà các client OpenAI Python của Agent Framework đọc; ba thành phần này dừng bản build, nêu tên infra.image, cho tới khi Release đặt nó. OpenAI Agents SDK mặc định tải một trace của mỗi lần chạy lên OpenAI, vì vậy core/ai-agent/openai-agents-sdk tắt việc tải lên đó trừ khi Aggregate đặt giá trị upload_traces_to_openai của nó thành true. Khi framework tự phục vụ HTTP, thành phần là một server trên cổng riêng của framework và công bố địa chỉ mà người gọi tới được dưới dạng host, port, endpoint và protocol, và nó cũng dừng bản build, nêu tên infra.image, cho tới khi Release đặt nó: core/ai-agent/google-adk phục vụ REST API của ADK trên cổng 8000 và cung cấp khóa mà client Gemini của ADK gửi tới Gemini API, với socket model của nó chỉ nhận một mô hình mang model.aggrega.ai/api: gemini, như core/ai-model/gemini, và không bao giờ nhận một gateway, vì client của ADK sẽ không đọc địa chỉ của gateway; core/ai-agent/mastra phục vụ máy chủ mà Mastra xây dựng trên cổng 4111, sẵn sàng trên Kubernetes khi tuyến /health của nó trả lời, nhận một mô hình hoặc gateway mang model.aggrega.ai/api: openai, và, khi Aggregate nêu tên một trong các agent của ứng dụng trong giá trị agent_id của nó, công bố địa chỉ thẻ Agent2Agent của agent đó, để core/ai-tool/agent-invocation có thể ủy thác cho nó. Các tuyến của cả hai máy chủ trả lời bất kỳ người gọi nào trừ khi ứng dụng xác thực chúng, vì vậy một lần gắn core/public-ingress hoặc core/http-route lên một trong hai sẽ dừng bản build cho tới khi Release đặt infra.routes_authenticated của nó thành true, khẳng định rằng ứng dụng xác thực mọi yêu cầu mà các tuyến của nó nhận. Các runtime SDK và máy chủ cùng core/ai-agent/agent-framework cũng khai báo một socket tools tùy chọn, cung cấp địa chỉ của mỗi công cụ được nối, và thông tin xác thực của kết nối theo tham chiếu, dưới các biến được đặt tên theo alias của kết nối. Vì ứng dụng là mã của chính Release, các biến mà các agent này cung cấp cho mã đó đọc chỉ là giá trị mặc định: mọi socket của chúng đều chấp nhận một khối inject:, qua đó Aggregate nêu tên các biến hoặc các tệp mà ứng dụng đọc thay thế, trong khi một biến mà framework tự đọc và những gì một phần gắn trên kết nối cung cấp vẫn được giữ nguyên. Điều tương tự cũng áp dụng cho các giá trị riêng của agent: mỗi thành phần chấp nhận trên chính nó một khối inject: gồm các mục env và file, và một mục có template đọc một trong các giá trị riêng của nó và không đọc gì khác của thành phần — không giá trị nào khác, không infra, metadata hay danh tính của nó — sẽ thay thế tên mặc định mà một Recipe dùng để cung cấp giá trị đó, chẳng hạn CREWAI_ROLE cho role của một agent CrewAI. Việc nhập các khai báo agent của một dự án CrewAI, langgraph.json của một ứng dụng LangGraph, các cấu hình agent của một ứng dụng Google ADK hoặc một agent khai báo của Agent Framework sẽ tạo bản nháp các agent này — core/ai-agent/crewai, core/ai-agent/langgraph, core/ai-agent/google-adk và core/ai-agent/agent-framework — được nối với kho dữ liệu mà cấu hình chỉ định, và với mô hình mà cấu hình chỉ định khi socket model của agent nhận nó, bên cạnh một bản nháp Release để người vận hành tự nêu image mà chương trình chạy trong đó, và chỉ đọc cấu hình, không bao giờ đọc chương trình, như Plugins nhập mô tả.
6. Xác thực bảo mật theo topo và thực thi lúc chạy
Vì các workload AI đưa ra những vectơ tấn công mới (như prompt injection và rò rỉ dữ liệu tự động), việc bảo mật chúng đòi hỏi kết nối quản trị kiến trúc tĩnh với việc thực thi chủ động lúc chạy. Là một trình biên dịch Ahead-of-Time (AOT, biên dịch trước), Aggrega không chặn bắt lưu lượng mạng trực tiếp hay đánh giá prompt AI. Thay vào đó, nó giải quyết các yêu cầu bảo mật phức tạp thông qua một cái bắt tay kiến trúc gồm hai phần: biên dịch kiến trúc tĩnh (lúc biên dịch) và chuyển giao thực thi (lúc triển khai).
A. Lúc biên dịch: xác thực chính sách và tạo artifact
Trình biên dịch xây dựng một đồ thị biểu diễn trung gian (IR) phẳng chứa tất cả các nút, các cạnh và các Features được gắn. Trước khi bất kỳ hạ tầng vật lý nào được tạo ra, tư thế bảo mật của doanh nghiệp được thực thi bằng cách đánh giá đồ thị JSON tĩnh này với các engine chính sách theo chuẩn ngành tại một vai trò phán quyết quản trị.
Vì socket đánh giá dữ liệu JSON chung, nó không bị ràng buộc vào một ngôn ngữ chính sách duy nhất. Doanh nghiệp có thể biên dịch và thực thi các quy tắc kiến trúc của mình bằng chuẩn phù hợp nhất với hệ sinh thái của họ:
- Open Policy Agent (OPA/Rego): Một ngôn ngữ được dùng rộng rãi để đánh giá các quan hệ đồ thị phức tạp, nhiều bước và tính toán quyền truy cập tối thiểu trên các topo phân tán. Engine Rego được biên dịch vào CLI chạy các tệp
.regonguyên trạng; một chính sách cần toàn bộ tập hàm dựng sẵn của OPA được biên dịch bằng bộ công cụ riêng của OPA và chạy sau một guest bộ điều hợp. - Common Expression Language (CEL): Engine CEL được biên dịch vào CLI chạy các quy tắc được viết dưới dạng các biểu thức đơn trên một tài liệu, theo cách một chính sách validating-admission của Kubernetes được viết.
- Kyverno: Đánh giá các manifest JSON/YAML tĩnh, cho phép các nhóm viết chính sách bằng YAML gốc thay vì phải học Rego. Trình biên dịch không đi kèm guest Kyverno nào; nó chỉ chạy chính sách dưới dạng guest WebAssembly và không bao giờ gọi Kyverno CLI, nên các quy tắc Kyverno chạy sau một guest bao bọc engine đó.
- Xác thực tùy chỉnh bằng Rust/TypeScript: Các nhóm bảo mật có thể viết chính sách tổ chức riêng bằng các ngôn ngữ chuẩn và biên dịch chúng sang Wasm để đóng vai trò cổng xác thực.
Khi engine chính sách đã xác thực đồ thị, trình biên dịch chuyển các yêu cầu bảo mật trừu tượng đó thành cấu hình vật lý. Khi một nhà phát triển gắn một Feature bảo mật — ví dụ core/data-masking trên gateway AI — trình biên dịch chạy bước pipeline mà hiện thực của nó chỉ định, một plugin WebAssembly (Wasm) được cô lập, và bước đó ghi thiết lập mà biện pháp kiểm soát cần vào cấu hình mà chính Recipe của gateway đã tạo ra. Thay vào đó, một hiện thực có thể để việc ghi cho chính Recipe của gateway, vốn đọc lần gắn và tự ghi thiết lập, như core/data-masking làm trên core/gateway/kong-enterprise, và một hiện thực cho loại kiểm soát khác có thể phát ra một tài nguyên riêng; dù theo cách nào, đầu ra cũng là một artifact tĩnh được viết từ những gì nhà phát triển đã gắn.
B. Lúc triển khai và lúc chạy: chuyển giao thực thi và thực thi
Trách nhiệm của Aggrega kết thúc đúng vào khoảnh khắc nó xử lý xong đầu vào và ghi các artifact tĩnh đã cấu hình vào thư mục đầu ra. Nó là một trình biên dịch thuần túy: nó ghi cấu hình, rồi quyền điều khiển hoàn toàn trở về hệ thống nào đã gọi nó.
Cách các cấu hình đó được thực thi rất linh hoạt và hoàn toàn do doanh nghiệp quyết định:
- Chuyển giao artifact (lúc triển khai): Các bộ điều khiển triển khai bên ngoài tiếp quản để đưa artifact vào thực tế. Đó có thể là một bộ điều khiển GitOps nghiêm ngặt (như ArgoCD hoặc Flux) đồng bộ tệp vào một cụm Kubernetes, nhưng cũng có thể đơn giản là một pipeline CI/CD chuẩn chạy
terraform apply, hoặc một nhà phát triển chạy một script shell cục bộ với Docker Compose. - Thực thi lúc chạy: Khi cấu hình đã được áp dụng vào môi trường đích, hạ tầng vật lý tiếp quản. Các công cụ chuyên biệt do Aggrega cấu hình (như một sidecar guardrail, một service mesh đang hoạt động hoặc tường lửa đám mây gốc) khởi động và bắt đầu công việc chủ động của chúng: chặn bắt payload về mặt vật lý, xác minh JWT hoặc loại bỏ các prompt injection độc hại.
7. Cách Aggrega ứng phó với các thách thức bảo mật AI
Bằng cách tách rời xác thực kiến trúc khỏi thực thi lúc chạy, các nhóm nền tảng có thể dùng Aggrega để mô hình hóa, xác thực và tạo ra một cách tường minh các giải pháp cấu hình cho các lỗ hổng AI dưới đây.
A. Rò rỉ dữ liệu và chặn bắt payload
- Vấn đề: Một agent tự trị có thể cố làm rò rỉ dữ liệu doanh nghiệp bị hạn chế tới một API bên ngoài trái phép.
- Giải pháp của Aggrega:
- Lúc biên dịch (xác thực và tạo): Nhóm nền tảng viết một chính sách (ví dụ: Rego) được đánh giá tại một vai trò phán quyết quản trị, quy định: “Mọi đường đi qua một gateway AI đều phải mang
core/data-masking.” Nếu thiếu, trình biên dịch dừng lại. Nếu có, hiện thực mà Manifest liên kết sẽ ghi việc che dữ liệu vào cấu hình mà gateway đã tạo ra: trêncore/gateway/litellm, các mục guardrail khớp với các biểu thức chính quy mà lần gắn liệt kê và gửi văn bản tới một analyzer và anonymizer của Presidio được nối vào các socketpii_analyzervàpii_anonymizercủa gateway cho các loại thực thể mà nó liệt kê; trêncore/gateway/kong-enterprise, AI PII Sanitizer của Kong trên các tuyến chat và completion của mỗi mô hình được nối, do Recipe chart của gateway ghi, gửi văn bản mà nó che, cùng với các biểu thức chính quy và loại thực thể mà lần gắn liệt kê, tới dịch vụ Kong AI PII được nối vào socketpii_sanitizercủa gateway; trêncore/gateway/agentgateway, các bộ bảo vệ biểu thức chính quy của chính gateway, được Recipe chart của nó ghi vào cấu hình, thay mỗi kết quả khớp của các mẫu mà lần gắn liệt kê bằng<masked>, hoặc theorefusetrả lời yêu cầu hoặc phản hồi bằng HTTP 403, và không nhận dạng loại thực thể nào; các bộ bảo vệ đó không che phản hồi dạng streaming, vì vậy chừng nào phản hồi còn được che, cùng Recipe đó ghi một quy tắc từ chối bằng HTTP 403, trước khi chuyển tiếp, một yêu cầu đòi phản hồi như vậy, và bất kỳ yêu cầu nào có phần thân lớn hơn 2 MiB mà gateway đọc cho quy tắc đó, dù streaming hay không; trêncore/gateway/traefik-hub, một Content Guard của gateway AI Traefik Hub trên tuyến của mỗi mô hình được nối, do Recipe chart của nó ghi, che các kết quả khớp của các mẫu mà lần gắn liệt kê thông qua engine biểu thức chính quy của nó, hoặc của các loại thực thể mà nó liệt kê thông qua analyzer Presidio được nối vào socketpii_analyzercủa gateway, mỗi lần gắn một engine; trêncore/gateway/higress, pluginai-data-maskingcủa Higress trên tuyến của mỗi mô hình được nối, do Recipe chart của nó ghi, thay mỗi kết quả khớp của các mẫu mà lần gắn liệt kê trong các tin nhắn của một yêu cầu chat bằng tên của mẫu trong dấu ngoặc, và không nhận dạng loại thực thể nào. Một chính sách cũng có thể đặt câu hỏi hẹp hơn — liệu việc che có nằm giữa dữ liệu bị hạn chế và nhà cung cấp hay không — bằng cách đọc các lần gắn của từng thành phần dọc theo tuyến thay vì các lần gắn của toàn bộ tuyến, như examples/policy-data-class-route thực hiện. - Thời gian chạy (thực thi vật lý): Khi bộ điều phối đã triển khai các tạo phẩm được sinh ra, gateway thay mỗi kết quả khớp trong văn bản yêu cầu mà nó che giấu bằng một placeholder trước khi chuyển tiếp, nên nhà cung cấp mô hình nhận được placeholder; với
action: refuse, phần gắn không chuyển tiếp bất cứ gì của một yêu cầu có chứa kết quả khớp và thay vào đó trả lời nó bằng một lỗi. Một bộ nhận dạng không thể truy cập hoặc gặp lỗi sẽ làm yêu cầu thất bại, nên văn bản của nó không được chuyển đi. Những gì việc che giấu không chạm tới được quyết định bởi hai giá trị mà giá trị mặc định của chúng chính là sự bảo vệ. Trên AI gateway, khi phần gắn cũng che giấu phản hồi, gateway che giấu văn bản của phản hồi và các phần mà mô hình hoặc nhà cung cấp của nó thêm vào bên cạnh — một lời từ chối, trích dẫn và chú thích, truy vấn và kết quả của một lần tìm kiếm web, các trường mang tên riêng của nhà cung cấp — hoặc, vớirefuse, không gửi phần nào của một phản hồi có chứa kết quả khớp; một phản hồi streaming mà nó che giấu theo mẫu đến tay bên gọi nguyên vẹn, vào lúc cuối. Theo mặc định, những gì việc che giấu không chạm tới trong một yêu cầu — một route như tạo ảnh, một trường nhưsafety_identifier, một hình ảnh hoặc tệp trong cuộc hội thoại, một công cụ do chính nhà cung cấp chạy — AI gateway từ chối bằng HTTP 400 trước khi chuyển tiếp bất cứ phần nào; một người vận hành chấp nhận để văn bản như vậy đến nhà cung cấp mà không bị che sẽ đặtallow_unmasked_texttrên phần gắn trong Release, với phần hiện thực liệt kê chính xác những gì khi đó được đi qua, còn nội dung không phải văn bản vẫn chịu sự điều chỉnh củaallow_non_text_content. Theo mặc định, những gì một phản hồi đã che chứa mà việc che giấu không đọc được — âm thanh giọng nói và bản ghi của nó, một hình ảnh, xác suất của các token mà mô hình đã chọn — bị giữ lại, và một lời gọi thất bại đến tay bên gọi với một thông báo cố định thay cho thông báo mà nhà cung cấp trả về;allow_unmasked_reply_partscho phép những phần đó đến bên gọi mà không bị che. Văn bản của chính phản hồi không bao giờ được giá trị này cho qua, nhưng những phần nó cho qua có thể mang lời của phản hồi: bản ghi của một phản hồi bằng giọng nói, các token đằng sau xác suất token, thông báo lỗi của nhà cung cấp trích dẫn phản hồi. Trêncore/gateway/kong-enterprise, mỗi kết quả khớp được thay bằng một placeholder có đánh số, nên một phần gắn liệt kê mẫu dướiredactsẽ đặtplaceholder_shows_name: false;refusechỉ áp dụng cho yêu cầu, từ Kong 3.12, phiên bản trả lời một yêu cầu có kết quả khớp bằng HTTP 400; và phản hồi được che giấu từ 3.12, khi đó một yêu cầu đòi phản hồi streaming bị từ chối trước khi được chuyển tiếp, vàallow_streamed_repliesbị từ chối. Sanitizer của Kong đọc văn bản các lượt của người dùng, prompt của một completion và văn bản tin nhắn của một phản hồi, và tài liệu tham chiếu của Kong không nêu thiết lập nào từ chối một yêu cầu vì những gì sanitizer không đọc hoặc giữ lại phần còn lại của phản hồi, nên trên gateway đó mỗi biện pháp bảo vệ bị từ chối theo tên tại thời điểm build khi nó còn giữ giá trị mặc định, và một phần gắn build được sau khi Release nới lỏng chúng —allow_unmasked_textvàallow_non_text_contentnơi yêu cầu được che,allow_unmasked_reply_partsvàmask_reasoning: falsenơi phản hồi được che — vớidata-masking-kong-enterpriseliệt kê những gì mỗi giá trị khi đó cho qua. Ở đó, một phản hồi có văn bản không đến dưới dạng chuỗi đơn mà API OpenAI trả về sẽ đi qua mà không được đọc, văn bản của chính nó đến bên gọi mà không bị che; biện pháp phòng ngừa là bước kiểm tra của build trên mỗi mô hình được nối vào gateway đó, bước này dừng lại ở mô hình cómodel.aggrega.ai/apikhông phảiopenai. Trêncore/gateway/traefik-hub, mỗi kết quả khớp được thay bằng một chuỗi*dài bằng kết quả khớp, nên một phần gắn liệt kê mẫu dướiredactsẽ đặtplaceholder_shows_name: false;refusetrả lời HTTP 403 thay cho yêu cầu hoặc phản hồi; và một phản hồi được che sẽ được giữ nguyên vẹn và gửi vào lúc cuối, kể cả phản hồi streaming, nên một phần gắn che các loại thực thể trong phản hồi sẽ đặtallow_streamed_replies. Tài liệu tham chiếu của Traefik không nói Content Guard đọc những trường nào của một yêu cầu hoặc phản hồi chat, và không nêu thiết lập nào từ chối một yêu cầu, hoặc giữ lại một phần phản hồi, vì những gì nó không đọc, nên trên gateway đó mỗi biện pháp bảo vệ bị từ chối theo tên tại thời điểm build khi nó còn giữ giá trị mặc định, và một phần gắn build được sau khi Release nới lỏng chúng —allow_unmasked_textvàallow_non_text_contentnơi yêu cầu được che,allow_unmasked_reply_partsvàmask_reasoning: falsenơi phản hồi được che — vớidata-masking-traefik-hubliệt kê những gì mỗi giá trị khi đó cho qua. Một phần gắn liệt kê cả mẫu lẫn loại thực thể, và một phần gắn che giấu thứ hai trên cùng một gateway, đều bị từ chối, vì tài liệu tham chiếu của Traefik không nói một Content Guard thứ hai trên một route đọc văn bản mà cái đầu tiên đã che hay đọc yêu cầu như bên gọi đã gửi. Trêncore/gateway/higress, pluginai-data-maskingcủa Higress thay mỗi kết quả khớp của các mẫu mà phần gắn liệt kê, trong nội dung và phần suy luận của mỗi tin nhắn của một yêu cầu chat, bằng tên của mẫu trong ngoặc vuông; nó chỉ che yêu cầu, nênscoperesponsevàbothbị từ chối, và nó không nhận dạng loại thực thể nào. Plugin không đọc gì khác của một yêu cầu, nên khi các biện pháp bảo vệ còn giữ giá trị mặc định, Recipe chart của gateway còn ghi plugin kiểm tra yêu cầu của Higress để từ chối bằng HTTP 403, trước khi bất cứ gì được chuyển tiếp, một yêu cầu mang những gì việc che giấu không đọc — một body không được gửi dưới dạng JSON hoặc không phải chat completion, một tin nhắn có nội dung là danh sách hoặc null, một lời gọi công cụ hoặc lượt công cụ, tên của một tin nhắn, bất kỳ tham số nào ngoài các tham số phi văn bản của chat completion và các công cụ, định dạng phản hồi và chuỗi dừng của chính nhà phát triển — và, bất kể phần gắn nới lỏng gì, một yêu cầu có body mà các plugin của Higress bỏ qua — một body nén, một content type chứaoctet-streamhoặcgrpc, một upgrade — cùng một body chứa ký tự thay thế Unicode U+FFFD, vốn là cách bước kiểm tra đó đọc một byte không phải UTF-8 hợp lệ, vì plugin che giấu chuyển tiếp một body không phải UTF-8 hợp lệ mà không che. Một yêu cầu có body vượt quá bộ đệm 32 KiB của gateway bị từ chối bằng HTTP 413. Bước kiểm tra chỉ đọc một body mà bộ giải mã JSON của nó chấp nhận, nên một client cố ý gửi JSON hợp lệ mà bộ giải mã từ chối — chẳng hạn một số vượt quá những gì một double chứa được — sẽ vượt qua mọi lần từ chối đối với body của nó: khi đó plugin che giấu chỉ che nội dung thuần và phần suy luận của mỗi tin nhắn, nên một giá trị được liệt kê ở bất kỳ chỗ nào khác trong body — các đối số của một lời gọi công cụ, một tên, bất kỳ trường nào khác — được chuyển tiếp mà không bị che, cũng như nội dung được viết bằng chuỗi escape JSON, và nếu body như vậy cũng không phải UTF-8 hợp lệ thì toàn bộ được chuyển tiếp mà không bị che. Một client cố ý lồng một body sâu hơn 127 cấp, bên trong một trường mà bước kiểm tra chấp nhận nhưtools, gửi JSON hợp lệ mà bước kiểm tra giải mã và chấp nhận, nhưng bộ đọc JSON của plugin che giấu dừng ở độ sâu đó, nên nội dung được viết bằng chuỗi escape JSON trong body đó cũng được chuyển tiếp mà không bị che. Riêng việc che giấu là không đủ: văn bản không khớp mẫu nào và không bộ nhận dạng nào phát hiện sẽ đi qua nguyên vẹn; trên AI gateway, đối số lời gọi công cụ và kết quả công cụ được che theo từng giá trị nhưng tên các khóa của chúng thì không; định nghĩa công cụ, định dạng phản hồi và chuỗi dừng của chính nhà phát triển đi qua như đã gửi; gateway và các dịch vụ nhận dạng nhìn thấy văn bản gốc; những gì gateway ghi lại về một lời gọi — trong log của chính nó, hoặc trong những gì nó chuyển cho một tích hợp ghi log — vẫn có thể chứa văn bản đó; và lưu lượng không đi qua gateway thì không bị động đến.
- Lúc biên dịch (xác thực và tạo): Nhóm nền tảng viết một chính sách (ví dụ: Rego) được đánh giá tại một vai trò phán quyết quản trị, quy định: “Mọi đường đi qua một gateway AI đều phải mang
B. Phòng chống đầu độc MCP (tin cậy và cô lập)
- Vấn đề: Nếu một agent bị xâm phạm thông qua một công cụ Model Context Protocol (MCP) bị đầu độc, nó có thể tự động thực hiện các hành động phá hoại (như xóa một cơ sở dữ liệu hoặc phê duyệt một giao dịch chuyển tiền).
- Giải pháp của Aggrega:
- Thời gian biên dịch (kiểm tra và sinh cấu hình): Nhà phát triển gắn một Feature cổng phê duyệt vào công cụ nhạy cảm trong
Aggregate.yamlcủa mình. Thư viện chuẩn không cung cấp Feature nào như vậy, nên cái này được viết trong catalog riêng của doanh nghiệp, cùng với FeatureRecipe hiển thị nó. Trình biên dịch kiểm tra đồ thị và chuyển phần gắn thành cấu hình cho một proxy L7 hoặc một gateway webhook. - Thời gian chạy (thực thi vật lý): Khi agent bị chiếm quyền cố gọi công cụ, proxy đã triển khai tạm dừng yêu cầu và chặn thực thi một cách vật lý cho đến khi nhận được phê duyệt được ký bằng mật mã từ một người vận hành.
- Thời gian biên dịch (kiểm tra và sinh cấu hình): Nhà phát triển gắn một Feature cổng phê duyệt vào công cụ nhạy cảm trong
C. Giải quyết vấn đề “Confused Deputy” (lan truyền ngữ cảnh)
- Vấn đề: Trong các chuỗi đa agent, một agent hướng ra công chúng có thể bị chiếm quyền và ra lệnh cho một agent nội bộ có đặc quyền cao lấy dữ liệu nhạy cảm. Tường lửa thông thường chỉ thấy rằng “Agent A đang nói chuyện với Agent B” và cho phép lưu lượng, hoàn toàn mất đi ngữ cảnh của người dùng độc hại ban đầu.
- Giải pháp của Aggrega: Doanh nghiệp có thể kết hợp hai mẫu cụ thể:
- Lan truyền danh tính bên gọi, qua hai chặng: Danh tính của bên gọi ban đầu phải tồn tại qua hai chặng khác nhau, và mỗi chặng được bảo vệ ở một nơi khác nhau. Tại chặng gateway, nhà phát triển gắn
core/context-propagation, vốn chọn theodataplane.aggrega.ai/caller-identity, vào gateway mà yêu cầu đi vào. Tại thời gian biên dịch, phần gắn được hiện thực trong cấu hình riêng của gateway đó — trên Envoy Gateway, một client traffic policy xác minh chứng chỉ của mỗi client với một cơ quan cấp chứng chỉ do Release chỉ định và chuyển tiếp thông tin chi tiết của chứng chỉ; trên AI gateway LiteLLM, một hook yêu cầu loại bỏ mọi header danh tính do bên gọi cung cấp và thêm người dùng và nhóm của khóa ảo mà gateway đã xác minh, cùng tổ chức của nó nếu khóa có chỉ định, vào các yêu cầu tới những alias mô hình mà phần gắn liệt kê trongdestinations. Tại thời gian chạy, dịch vụ phía sau gateway nhận được ai đã gọi chứ không chỉ việc gateway đã gọi. Tại chặng workload, yêu cầu mà một agent gửi trực tiếp tới agent khác không bao giờ đi qua gateway đó, nên nó được kiểm tra tại ingress riêng của agent nhận, nơi một service mesh từ chối mọi yêu cầu thiếu token đã ký chứng minh ý định của người dùng ban đầu (ví dụ: mộtAuthorizationPolicyJWT của Istio). Thư viện chuẩn cung cấp Feature cho chặng gateway và không có Feature nào cho chặng workload, nên việc gắncore/context-propagationbảo vệ lưu lượng đi qua một gateway và để các lời gọi giữa agent với agent cho cấu hình mesh mà doanh nghiệp tự cung cấp. Một agent do bên khác vận hành, màcore/ai-tool/agent-invocationtiếp cận qua A2A dưới dạngcore/ai-agent/a2a-remote, nằm hoàn toàn bên ngoài Release: bên đó kiểm tra mỗi lời gọi theo lược đồ bảo mật mà Agent Card của agent khai báo, và công cụ xuất trình thông tin xác thực lưu trên kết nối của nó, được đọc theo tham chiếu từ một Secret, trong header yêu cầu mà agent công bố. Khi card yêu cầu client credentials OAuth 2.0 hoặc OpenID Connect, kết nối giữ một client secret thay vào đó, hoặc thêm vào, cùng với client id mà người vận hành ghi trên đó, và agent công bố địa chỉ token hoặc discovery cùng các scope mà card của nó khai báo; container riêng của công cụ lấy token bằng các thông tin đó, làm mới và xuất trình nó trong mỗi lời gọi; catalog chỉ cung cấp các đầu vào đó, và không bản build nào có thể kiểm tra container làm gì với chúng. Khi card yêu cầu mutual TLS, kết nối giữ một chứng chỉ client, và, nếu chứng chỉ máy chủ của agent được ký bởi một cơ quan mà image chưa tin cậy, cả cơ quan đó; mỗi thứ được gắn vào container của công cụ dưới dạng tệp từ một Secret mà kết nối chỉ định, và chính container xuất trình chứng chỉ trong quá trình bắt tay TLS. Vì vậy công cụ tiếp cận được một agent mà card khai báo khóa API trong header hoặc cookie, một lược đồ xác thực HTTP có giá trị cố định, như Bearer hoặc Basic, với Secret chứa toàn bộ giá trị header, OAuth 2.0 hoặc OpenID Connect với grant client-credentials, hoặc mutual TLS. Nó không tiếp cận được agent mà card yêu cầu khóa trong query string, một lược đồ HTTP trả lời challenge từ agent, như Digest, hoặc một luồng OAuth 2.0 khác với client credentials. Nó cũng không xuất trình thông tin xác thực cho một agent do bên khác vận hành qua HTTP thuần: khi địa chỉ của agent đó làhttp, thông tin xác thực hoặc client secret trên kết nối sẽ dừng bản build, kèm tên kết nối, vì thông tin xác thực, hoặc token lấy được bằng secret, sẽ được gửi tới nó mà không mã hóa. Một agent chạy bên trong Release vẫn có thể truy cập quahttpvới bất kỳ thứ nào trong hai, và khi đó thông tin xác thực đi qua mạng cluster mà không được mã hóa. - Kiểm tra payload giữa các agent: Yêu cầu mà một agent gửi trực tiếp tới agent khác không bao giờ đi qua AI gateway, nên nó được kiểm tra tại ingress riêng của agent nhận, bởi một engine guardrail chạy bên cạnh agent đó (ví dụ: NeMo Guardrails). Tại thời gian biên dịch, FeatureRecipe hiện thực một Feature được gắn vào agent nhận sẽ hiển thị cấu hình của engine. Tại thời gian chạy, engine đánh giá mỗi yêu cầu theo các quy tắc do doanh nghiệp viết và từ chối yêu cầu mà các quy tắc đó bác bỏ; nó phân biệt một yêu cầu bị chiếm quyền với một yêu cầu hợp lệ tốt đến đâu là do engine và các quy tắc quyết định, vì Aggrega biên dịch cấu hình và không bao giờ đánh giá một prompt. Thư viện chuẩn không cung cấp Feature nào đặt một engine như vậy, nên mẫu này được viết trong catalog riêng của doanh nghiệp. Bộ chặn theo mẫu của chính gateway,
dataplane.aggrega.ai/prompt-guard: pattern-list, hẹp hơn, vàcore/prompt-deny-patternsbật nó lên — trên AI gateway, đọc mọi tin nhắn của một yêu cầu và bỏ qua chữ hoa chữ thường, trêncore/gateway/apisixvàcore/gateway/kong, đọc mọi tin nhắn của mọi vai trò như một văn bản, phân biệt chữ hoa chữ thường và tuân theo cả một danh sách mẫu mà yêu cầu phải khớp, trêncore/gateway/agentgateway, đọc riêng từng tin nhắn, đối số lời gọi công cụ và kết quả công cụ, phân biệt chữ hoa chữ thường, và trêncore/gateway/traefik-hub, đọc yêu cầu như một chat completion, mà tài liệu tham chiếu của Traefik không liệt kê các trường được đọc, phân biệt chữ hoa chữ thường: nó từ chối một yêu cầu mô hình có văn bản khớp nguyên văn với một trong các biểu thức mà phần gắn liệt kê — một cách diễn đạt lại, một ngôn ngữ khác hoặc một cách mã hóa sẽ lọt qua — và chỉ trên lưu lượng đi qua gateway, nên một yêu cầu gửi trực tiếp giữa các agent không bao giờ gặp nó.core/prompt-injection-shieldlà bản tương ứng dựa trên bộ phân loại của nó trên cùng chặng, gửi mỗi yêu cầu mô hình mà gateway chuyển tiếp qua một guard NeMo Guardrails được nối vào socketguardcủa gateway đó, hoặc qua prompt shield của Azure AI Content Safety trên Azure API Management, và nó cũng chỉ bao phủ lưu lượng đi qua gateway.
- Lan truyền danh tính bên gọi, qua hai chặng: Danh tính của bên gọi ban đầu phải tồn tại qua hai chặng khác nhau, và mỗi chặng được bảo vệ ở một nơi khác nhau. Tại chặng gateway, nhà phát triển gắn
D. Phân tích rủi ro theo cấu trúc liên kết
- Vấn đề: Các kiến trúc AI phức tạp với hàng chục mô hình, vector và công cụ kết nối với nhau quá lớn để con người có thể kiểm toán thủ công nhằm tìm lỗ hổng bắc cầu (ví dụ: “Agent A có thể nói chuyện với Công cụ B, vốn nói chuyện với Agent C, vốn có quyền truy cập Cơ sở dữ liệu D không?”).
- Giải pháp của Aggrega: Bước kiểm tra này chạy trước. Vì Aggrega dựng trong bộ nhớ một đồ thị IR hoàn chỉnh của cấu trúc liên kết dự định, một vai trò phán quyết quản trị có thể chạy các quy tắc tìm đường nâng cao trên toàn bộ kiến trúc. Nếu chính sách phát hiện một chuỗi cạnh liên tục, bắc cầu, bắt đầu từ một nút công khai và kết thúc tại một cơ sở dữ liệu cực kỳ nhạy cảm mà không có bất kỳ biện pháp kiểm soát nào doanh nghiệp yêu cầu được gắn ở bất cứ đâu dọc theo nó, chính sách sẽ dừng bản build ngay lập tức. Kiến trúc không an toàn bị chặn trước khi bất kỳ dòng mã hạ tầng nào được sinh ra.
8. Khả năng quan sát & tuân thủ
Để đáp ứng các yêu cầu pháp lý nghiêm ngặt (ví dụ: Đạo luật AI của EU), các kiến trúc sư nền tảng có thể sử dụng hệ thống tính năng của Aggrega để áp đặt khả năng quan sát AI như một yêu cầu hạ tầng mang tính cấu trúc thay vì dựa vào mã ứng dụng:
- Ghi nhật ký kiểm toán: Các plugin Wasm do doanh nghiệp tự viết có thể cấu hình các sidecar của gateway để truyền phát bất đồng bộ các prompt và phản hồi thô, chưa bị biên tập, tới một bucket lưu trữ WORM (Ghi một lần, đọc nhiều lần) an toàn, bỏ qua nhật ký ứng dụng tiêu chuẩn.
- Truy vết LLM: Các tính năng proxy có thể cấu hình data-plane để trích xuất và chuyển tiếp các header span OpenTelemetry dành riêng cho AI, đảm bảo các vòng lặp suy luận phức tạp của agent có thể được trực quan hóa trong các công cụ bên ngoài.
9. Khả năng tương thích của Feature & an toàn cấu trúc liên kết
Vì trình biên dịch lõi không phụ thuộc vào cơ chế hạ tầng vật lý, nó hoàn toàn dựa vào các khai báo tường minh trong catalog để ngăn việc sinh ra các cấu hình không tương thích.
conflictsWith: Một danh sách, khai báo trên thực thể catalog của một Feature dướiinteroperability, liệt kê các Features mà nó không thể được gắn cùng. Trình biên dịch so sánh danh sách này với các Features mà mỗi thành phần cuối cùng mang theo sau khi mọi phạm vi đã đóng góp — các phần gắn kèm của chính thành phần đó, các phần gắn kèm được viết trên một hệ thống con hoặc ranh giới chứa nó, các phần gắn kèm trên mục thành phần của nó trong Release, và các phần gắn kèm do quá trình mở rộng dựa trên annotation tạo ra — và dừng lại trước khi kết xuất bất kỳ artifact vật lý nào khi một thành phần mang cả hai (tức là một tác giả gắn, trực tiếp hoặc thông qua một phạm vi, hai Features mà tác giả của một Feature đã khai báo tường minh là không tương thích). Chỉ cần một khai báo, và các Features được so khớp theo tên bất kể phiên bản. Trình biên dịch không suy diễn điều gì từ các tên: sự không tương thích là khai báo của tác giả, và việc kiểm tra là một phép so sánh tên. Bản thân tính nguyên tử và tính thuần khiết của Feature vẫn là một khế ước xã hội — không có gì kiểm tra rằng một Feature chỉ làm một việc.
10. Ánh xạ cấu trúc liên kết động (phân giải phụ thuộc)
Để xây dựng đồ thị IR mà không cần các quy tắc được mã hóa cứng, trình biên dịch đọc nó từ ba khai báo tường minh:
- Cạnh
uses: Nhà phát triển liên kết các thành phần trong khốiusescủa mỗi instance, nêu tên thành phần đích trong một socket, và mọi cạnh của đồ thị đều đến từ một khối như vậy. Một mụcvaluestình cờ nêu tên một thành phần khác không vẽ cạnh nào: trình biên dịch không gán ý nghĩa nào cho một giá trị. - Đích của cạnh: Mọi đích
usesphải nêu tên một thành phần có trong bản build; một đích không tồn tại sẽ dừng bản build, nêu tên socket mà nó được nối vào. - An toàn kiểu xuyên nút: Các chuỗi selector
usesSchemađóng vai trò là các chỉ dẫn ngoài băng tường minh, được đánh giá nguyên bản bởi bộ máy so khớp nhãn của trình biên dịch Go trong quá trình phân tích tĩnh. Chúng đảm bảo rằng nhà phát triển không thể vô tình nối các thành phần tiêu chuẩn vào một socket được khai báo yêu cầu một năng lực AI-native cụ thể hoặc một nhãn tuân thủ. Theo cấu tạo, sự đảm bảo này chỉ áp dụng cho các socket được khai báo: một selector nằm trong một mụcusesSchema, nên một socket ad-hoc không có selector nào để đánh giá. Mỗi cạnh ghi lại việc socket của nó có được catalog khai báo hay không, vì vậy một operator cần sự đảm bảo này là toàn diện có thể yêu cầu nó như một phán quyết quản trị.
11. Thiết kế tự động các hệ thống agent (ADAS)
Các hệ thống AI tiên tiến có các Meta-Agent viết mã để tạo ra và triển khai các agent mới ngay lập tức. Vì Aggrega yêu cầu một kiến trúc tĩnh biên dịch trước (AOT), nó giải quyết sự tiến hóa hạ tầng lúc runtime thông qua hai ranh giới tường minh:
- Ranh giới sandbox được cấp phát trước: Đối với các công cụ tạm thời được tạo ra lúc runtime, Kiến trúc sư định nghĩa một tính năng (ví dụ:
dynamic-execution-environment). Khi được gắn, plugin kết xuất Wasm sinh cấu hình để cấp phát một pool tính toán bị khóa chặt (như một runtime WebAssembly). Meta-Agent chèn mã mới vào sandbox này, nhưng phạm vi ảnh hưởng của nó bị giới hạn bởi các chính sách mạng tĩnh đã được sinh ra. - Meta-Agent trong vai trò “Developer” (vòng lặp GitOps): Nếu Meta-Agent cần hạ tầng vật lý mới thực sự, nó hành động như một Developer. Nó viết một
Aggregate.yamlmới và commit vào Git. Điều này kích hoạt pipeline CI/CD tiêu chuẩn. Một vai trò phán quyết quản trị phân tích tĩnh cấu trúc liên kết mà AI yêu cầu, dừng bản build một cách an toàn nếu AI đã ảo giác ra một lỗ hổng.
12. Tuần tự hóa mô hình & bảo mật chuỗi cung ứng
Triển khai một mô hình mã nguồn mở thường có nghĩa là tải xuống các tệp .pkl hoặc .gguf mờ đục có thể chứa payload mã độc. Các doanh nghiệp có thể coi bảo mật chuỗi cung ứng mô hình là một vấn đề cấu hình của nền tảng đích. Bằng cách định nghĩa một tính năng model_provenance trong Catalog, plugin kết xuất Wasm của một doanh nghiệp có thể đánh giá cấu hình và chuyển nó thành các artifact runtime (như các chính sách Kyverno của Kubernetes), để cụm đích được cấu hình nhằm chặn bộ điều phối kéo các trọng số mô hình chưa được ký hoặc chưa được xác minh.