Một model server chỉ gateway của nó được phép gọi
Một model server chạy trong cluster sẽ trả lời bất kỳ ai tới được địa chỉ của nó. Trên một mạng pod không có network policy, vốn là mặc định của Kubernetes, đó là mọi workload trong cluster: gateway đặt trước model là con đường mà lưu lượng được dự định đi vào, chứ không phải con đường duy nhất có thể.
Aggregate đã nói rõ component nào gọi component nào: kết nối
upstream của gateway chỉ định model server. core/caller-allowlist, mà
operator gắn vào model server trong Release, biến kết nối đã khai báo đó
thành quy tắc của mạng cluster. Workspace này biên dịch
cách bố trí đó thành các manifest Kubernetes: một gateway NGINX trong namespace edge,
một model server Ollama trong namespace models, và network policy mà
phần gắn kèm ghi ra bên cạnh model server.
Workspace này không tự định nghĩa entity catalog nào. Ba tệp entity ở đây — một Aggregate, một Manifest và một Release — là toàn bộ những gì cần viết.
Ai viết gì
| tệp | người viết | nội dung ở đây |
|---|---|---|
aggregate.yaml | nhà phát triển | gateway, model server, và kết nối upstream của gateway tới model server |
release.yaml | người vận hành | hai namespace, và trên mục của model server là attachment allowlist cùng infra của nó |
manifest.yaml | người vận hành | Recipe nào hiện thực hóa từng component và Feature trên Kubernetes |
Aggregate không chứa gì về network policy. Nhà phát triển khai báo kết nối mà
gateway thực hiện; việc cluster có từ chối mọi kết nối khác hay không là quyết
định của người vận hành cho môi trường này, được đưa ra trong Release dưới
components.model.features. Mọi đầu vào mà Feature nhận đều là infra, trụ
cột của người vận hành. Điều nhà phát triển cần biết là hệ quả: ở bất cứ đâu một
Release gắn Feature này vào một component, một lời gọi mà Aggregate không khai
báo là cạnh uses tới component đó sẽ bị cluster từ chối, ở nơi network plugin
của cluster thực thi network policy.
Những gì ví dụ này xây dựng
| instance | Component trong catalog | namespace | vai trò ở đây |
|---|---|---|---|
gateway | core/gateway/nginx | edge | gateway mà client gọi đến; nó chuyển tiếp yêu cầu tới model server |
model | core/ai-model/ollama | models | model server, phục vụ llama3.1 |
Một cạnh uses: socket upstream của gateway tới model server. Một
lần gắn Feature, trong Release: allowlist, core/caller-allowlist, trên
model server. Release khẳng định rằng cluster thực thi network policy và
nêu tên một nguồn nằm ngoài Aggregate, một agent giám sát.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example model-server-caller-allowlistSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd model-server-caller-allowlistBuild
aggrega build --release release.yaml --auto-pullMột release cần có lockfile trước khi build, và lockfile được tạo ra chứ không được phân phối kèm, nên một bản clone mới sẽ không có. Hãy resolve một lockfile trước, hoặc để quá trình build tự điền vào:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildWorkspace này resolve các entity của catalog từ registry mặc định mà .aggrega-config.yaml chỉ định; không có gì được tải về từ một chart repository.
Bản build in ra như sau, với <workspace> đại diện cho thư mục của ví dụ này:
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distCảnh báo này liên quan đến policy. Target không đặt các manifest riêng của một Feature vào một namespace, nên template của attachment ghi vào policy namespace mà StatefulSet của model server được xuất ra trong đó — namespace: "models" bên dưới.
Với trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `model-server-caller-allowlist`, hãy gọi công cụ `scaffold` một lần với `example` được đặt thành `model-server-caller-allowlist` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `model-server-caller-allowlist` mới. Sau đó gọi công cụ `build` với `workspace_root` được đặt thành `model-server-caller-allowlist`, `release` được đặt thành `release.yaml`, `auto_pull` được đặt thành true và `write` được đặt thành true. Hãy cho tôi biết bản build đã ghi những tệp nào; chúng nằm trong `model-server-caller-allowlist/dist/`.Cây thư mục được kết xuất
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlPhần đính kèm thêm vào một tệp, đó là policy. Mọi tệp khác đều giống hệt từng byte với những gì cùng Release đó kết xuất khi không có nó.
Những gì có thể kết nối tới máy chủ mô hình
dist/models/helm/model--allowlist--networkpolicy.yaml, từ spec của nó trở đi:
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"Chính sách nằm trong models, namespace mà StatefulSet của máy chủ mô hình
được phát ra vào, chọn các pod của máy chủ mô hình, và chấp nhận các kết nối tới chúng
từ ba nguồn, trên cổng duy nhất mà container của máy chủ mô hình khai báo:
- Chính các pod của máy chủ mô hình, trong
models, để các bản sao của một máy chủ có thể kết nối tới nhau. - Các pod của gateway, trong namespace
edge. Bộ chọn namespace và bộ chọn pod nằm trong cùng một mục, nên một pod phải khớp cả hai. Một workload trong namespace khác mang cùng các nhãn — chẳng hạn cùng Aggregate đó được phát hành lại ở nơi khác — không phải là gateway và không được chấp nhận. - Tác tử giám sát mà Release nêu tên: các pod mang nhãn
app.kubernetes.io/name: prometheustrong namespacemonitoring.
Các pod của mỗi thành phần được chọn bằng bộ chọn mà chính controller của nó viết —
app: model cho StatefulSet của máy chủ mô hình, app: gateway cho
Deployment của gateway — và mỗi namespace là namespace mà workload của nó được phát ra
vào, cả hai đều được đọc từ những gì các lần kết xuất đã phát ra thay vì được khai báo lại thủ công.
Không bộ chọn nào mang phiên bản, nên khi một bản build mới được triển khai, các pod của
bản trước vẫn được chọn và vẫn được chấp nhận cho tới khi chúng bị thay thế.
Những gì không thể kết nối tới nó
- Mọi workload khác, trong
models, trongedgehay trong bất kỳ namespace nào khác — kể cả một agent khác trongmonitoring. - Một ingress controller, hoặc bất kỳ client nào bên ngoài cluster. Không gì bên ngoài Aggregate được chấp nhận trừ khi Release nêu tên nó, và Release này chỉ nêu tên monitoring agent. Client kết nối tới model server thông qua gateway, đó là kết nối mà Aggregate khai báo.
- Mọi cổng khác ngoài 11434.
Policy giới hạn ai được phép kết nối, chứ không giới hạn nội dung mà một kết nối mang theo: một request mà gateway chuyển tiếp sẽ tới model đúng như gateway đã gửi.
Điều quá trình build không thể biết
Quy tắc có được thực thi hay không. Một network policy được thực thi bởi plugin mạng của cluster, và chỉ ở nơi plugin đó triển khai network policy; một cluster có plugin không triển khai sẽ chấp nhận policy và không thực thi gì cả. Quá trình build ghi ra policy và không thể nhìn thấy cluster, đó là lý do Release mang
control_plane_present: true trên phần gắn kết: đó là lời khẳng định của người vận hành rằng cluster đích thực thi policy, và quá trình build dừng lại cho đến khi lời khẳng định đó được đưa ra.
Ba giới hạn nữa đến từ cách network policy hoạt động chứ không phải từ Feature này:
- Các policy cộng dồn. Khi một policy khác trong cluster chọn cùng các pod, một kết nối được bất kỳ policy nào trong số đó cho phép thì sẽ được cho phép.
- Gateway không bị giới hạn bởi phần gắn kết này. Nó bảo vệ model server; hãy gắn cả Feature vào mục của gateway trong Release để giới hạn ai có thể tới gateway, và nêu tên tại đó các client mà gateway phục vụ.
- Lưu lượng đi ra không bị ảnh hưởng. Model server vẫn tới được registry mà nó kéo trọng số về, và phân giải tên như trước.
Điều gì làm dừng quá trình build
Mỗi trường hợp dưới đây là một câu mà quá trình build in ra, nêu rõ điều cần thay đổi:
-
Điều kiện tiên quyết không được xác nhận. Xóa
control_plane_present: truekhỏi Release:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
Một bên gọi có workload không được xuất vào namespace nào. Xóa annotation
aggrega.ai/namespacekhỏi ranh giớiedge, và Deployment của gateway được xuất ra mà không có namespace nào:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
Workload của máy chủ mô hình không được xuất vào namespace nào, vì cùng lý do: một policy chỉ chọn các pod trong namespace của chính nó.
-
Một workload của bên nào đó không ghi controller selector và không mang nhãn định danh nào mà quá trình build gắn lên các pod của nó — chẳng hạn một Job của chart dựa vào selector do cluster tạo ra. Chọn nó theo mọi nhãn nó mang sẽ không còn khớp với các pod của nó ngay lần đầu một nhãn phiên bản thay đổi, vì vậy quá trình build dừng lại thay vào đó.
-
Một bên gọi, hoặc máy chủ mô hình, có kết quả render không xuất ra pod nào — một thành phần được hiện thực bằng một custom resource mà controller của nó tạo pod về sau, hoặc được truy cập tại một địa chỉ bên ngoài cluster. Một thành phần như vậy không thể được nêu tên trong một policy, nên quá trình build dừng lại thay vì ghi ra một policy sẽ từ chối nó hoặc không chọn gì cả.
-
Một nguồn trong
admitted_sourcesnêu cả một dải địa chỉ lẫn các pod, hoặc không nêu cái nào.
Nơi trình biên dịch không diễn giải
Trình biên dịch chuyển các selector, nhãn và namespace mà mỗi lần render báo cáo vào policy dưới dạng chuỗi. Nó không liên hệ với cluster, không biết network plugin nào đang chạy ở đó, và không biết những workload nào đã chạy sẵn trong một namespace. Mỗi điểm dừng ở trên đều do chính các entity của catalog khai báo, trong phần hiện thực hóa của Feature, và không điểm dừng nào dựa trên bất kỳ hiểu biết nào về cluster.
Điều chỉnh ví dụ
- Cho phép một ingress controller. Thêm một mục vào
admitted_sourcesvới namespace của nó và nhãn của các pod của nó — cả hai trong cùng một mục, để chỉ những pod đó trong namespace đó được cho phép. - Cho phép một dải địa chỉ. Thêm một mục với
cidr, chẳng hạn như10.20.0.0/16. - Một bên gọi thứ hai. Thêm một cạnh
usestừ nó đến model server trong Aggregate và đặt nó vào một namespace mà Release khai báo; lần build tiếp theo cho phép nó mà không cần thay đổi gì ở attachment. - Compose. Feature không được hiện thực hóa ở đó: một stack Compose đặt mọi service của một nhóm trên cùng một mạng, và cấu hình của một service không thể đưa một service khác ra khỏi mạng đó, nên một Release gắn Feature này trên Compose sẽ dừng lại vì thiếu một bản hiện thực hóa.