Bỏ qua để đến nội dung
AggregaAggrega
Chọn ngôn ngữ: Tiếng Việt
Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

Một model server chỉ gateway của nó được phép gọi

Một model server chạy trong cluster sẽ trả lời bất kỳ ai tới được địa chỉ của nó. Trên một mạng pod không có network policy, vốn là mặc định của Kubernetes, đó là mọi workload trong cluster: gateway đặt trước model là con đường mà lưu lượng được dự định đi vào, chứ không phải con đường duy nhất có thể.

Aggregate đã nói rõ component nào gọi component nào: kết nối upstream của gateway chỉ định model server. core/caller-allowlist, mà operator gắn vào model server trong Release, biến kết nối đã khai báo đó thành quy tắc của mạng cluster. Workspace này biên dịch cách bố trí đó thành các manifest Kubernetes: một gateway NGINX trong namespace edge, một model server Ollama trong namespace models, và network policy mà phần gắn kèm ghi ra bên cạnh model server.

Workspace này không tự định nghĩa entity catalog nào. Ba tệp entity ở đây — một Aggregate, một Manifest và một Release — là toàn bộ những gì cần viết.

Ai viết gì

tệpngười viếtnội dung ở đây
aggregate.yamlnhà phát triểngateway, model server, và kết nối upstream của gateway tới model server
release.yamlngười vận hànhhai namespace, và trên mục của model server là attachment allowlist cùng infra của nó
manifest.yamlngười vận hànhRecipe nào hiện thực hóa từng component và Feature trên Kubernetes

Aggregate không chứa gì về network policy. Nhà phát triển khai báo kết nối mà gateway thực hiện; việc cluster có từ chối mọi kết nối khác hay không là quyết định của người vận hành cho môi trường này, được đưa ra trong Release dưới components.model.features. Mọi đầu vào mà Feature nhận đều là infra, trụ cột của người vận hành. Điều nhà phát triển cần biết là hệ quả: ở bất cứ đâu một Release gắn Feature này vào một component, một lời gọi mà Aggregate không khai báo là cạnh uses tới component đó sẽ bị cluster từ chối, ở nơi network plugin của cluster thực thi network policy.

Những gì ví dụ này xây dựng

instanceComponent trong catalognamespacevai trò ở đây
gatewaycore/gateway/nginxedgegateway mà client gọi đến; nó chuyển tiếp yêu cầu tới model server
modelcore/ai-model/ollamamodelsmodel server, phục vụ llama3.1

Một cạnh uses: socket upstream của gateway tới model server. Một lần gắn Feature, trong Release: allowlist, core/caller-allowlist, trên model server. Release khẳng định rằng cluster thực thi network policy và nêu tên một nguồn nằm ngoài Aggregate, một agent giám sát.

Tạo ví dụ

Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.

Ghi ví dụ vào một thư mục mới đặt theo tên của nó:

Terminal window
aggrega scaffold --example model-server-caller-allowlist

Sau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:

Terminal window
cd model-server-caller-allowlist

Build

Terminal window
aggrega build --release release.yaml --auto-pull

Một release cần có lockfile trước khi build, và lockfile được tạo ra chứ không được phân phối kèm, nên một bản clone mới sẽ không có. Hãy resolve một lockfile trước, hoặc để quá trình build tự điền vào:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Workspace này resolve các entity của catalog từ registry mặc định mà .aggrega-config.yaml chỉ định; không có gì được tải về từ một chart repository.

Bản build in ra như sau, với <workspace> đại diện cho thư mục của ví dụ này:

warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it
[… omitted: the resolution's summary and a total build time, which differ per run]
Build completed: 6 files written to <workspace>/dist

Cảnh báo này liên quan đến policy. Target không đặt các manifest riêng của một Feature vào một namespace, nên template của attachment ghi vào policy namespace mà StatefulSet của model server được xuất ra trong đó — namespace: "models" bên dưới.

Với trợ lý AI

Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.

Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `model-server-caller-allowlist`, hãy gọi công cụ `scaffold` một lần với `example` được đặt thành `model-server-caller-allowlist` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `model-server-caller-allowlist` mới. Sau đó gọi công cụ `build` với `workspace_root` được đặt thành `model-server-caller-allowlist`, `release` được đặt thành `release.yaml`, `auto_pull` được đặt thành true và `write` được đặt thành true. Hãy cho tôi biết bản build đã ghi những tệp nào; chúng nằm trong `model-server-caller-allowlist/dist/`.

Cây thư mục được kết xuất

dist/
├── edge/helm/
│ ├── gateway-default-service.yaml
│ └── gateway-deployment.yaml
└── models/helm/
├── model--allowlist--networkpolicy.yaml
├── model-default-service.yaml
├── model-headless-service.yaml
└── model-statefulset.yaml

Phần đính kèm thêm vào một tệp, đó là policy. Mọi tệp khác đều giống hệt từng byte với những gì cùng Release đó kết xuất khi không có nó.

Những gì có thể kết nối tới máy chủ mô hình

dist/models/helm/model--allowlist--networkpolicy.yaml, từ spec của nó trở đi:

spec:
podSelector:
matchLabels:
"app": "model"
policyTypes:
- Ingress
ingress:
- from:
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "models"
podSelector:
matchLabels:
"app": "model"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "edge"
podSelector:
matchLabels:
"app": "gateway"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "monitoring"
podSelector:
matchLabels:
"app.kubernetes.io/name": "prometheus"
ports:
- port: 11434
protocol: "TCP"

Chính sách nằm trong models, namespace mà StatefulSet của máy chủ mô hình được phát ra vào, chọn các pod của máy chủ mô hình, và chấp nhận các kết nối tới chúng từ ba nguồn, trên cổng duy nhất mà container của máy chủ mô hình khai báo:

  • Chính các pod của máy chủ mô hình, trong models, để các bản sao của một máy chủ có thể kết nối tới nhau.
  • Các pod của gateway, trong namespace edge. Bộ chọn namespace và bộ chọn pod nằm trong cùng một mục, nên một pod phải khớp cả hai. Một workload trong namespace khác mang cùng các nhãn — chẳng hạn cùng Aggregate đó được phát hành lại ở nơi khác — không phải là gateway và không được chấp nhận.
  • Tác tử giám sát mà Release nêu tên: các pod mang nhãn app.kubernetes.io/name: prometheus trong namespace monitoring.

Các pod của mỗi thành phần được chọn bằng bộ chọn mà chính controller của nó viết — app: model cho StatefulSet của máy chủ mô hình, app: gateway cho Deployment của gateway — và mỗi namespace là namespace mà workload của nó được phát ra vào, cả hai đều được đọc từ những gì các lần kết xuất đã phát ra thay vì được khai báo lại thủ công. Không bộ chọn nào mang phiên bản, nên khi một bản build mới được triển khai, các pod của bản trước vẫn được chọn và vẫn được chấp nhận cho tới khi chúng bị thay thế.

Những gì không thể kết nối tới nó

  • Mọi workload khác, trong models, trong edge hay trong bất kỳ namespace nào khác — kể cả một agent khác trong monitoring.
  • Một ingress controller, hoặc bất kỳ client nào bên ngoài cluster. Không gì bên ngoài Aggregate được chấp nhận trừ khi Release nêu tên nó, và Release này chỉ nêu tên monitoring agent. Client kết nối tới model server thông qua gateway, đó là kết nối mà Aggregate khai báo.
  • Mọi cổng khác ngoài 11434.

Policy giới hạn ai được phép kết nối, chứ không giới hạn nội dung mà một kết nối mang theo: một request mà gateway chuyển tiếp sẽ tới model đúng như gateway đã gửi.

Điều quá trình build không thể biết

Quy tắc có được thực thi hay không. Một network policy được thực thi bởi plugin mạng của cluster, và chỉ ở nơi plugin đó triển khai network policy; một cluster có plugin không triển khai sẽ chấp nhận policy và không thực thi gì cả. Quá trình build ghi ra policy và không thể nhìn thấy cluster, đó là lý do Release mang control_plane_present: true trên phần gắn kết: đó là lời khẳng định của người vận hành rằng cluster đích thực thi policy, và quá trình build dừng lại cho đến khi lời khẳng định đó được đưa ra.

Ba giới hạn nữa đến từ cách network policy hoạt động chứ không phải từ Feature này:

  • Các policy cộng dồn. Khi một policy khác trong cluster chọn cùng các pod, một kết nối được bất kỳ policy nào trong số đó cho phép thì sẽ được cho phép.
  • Gateway không bị giới hạn bởi phần gắn kết này. Nó bảo vệ model server; hãy gắn cả Feature vào mục của gateway trong Release để giới hạn ai có thể tới gateway, và nêu tên tại đó các client mà gateway phục vụ.
  • Lưu lượng đi ra không bị ảnh hưởng. Model server vẫn tới được registry mà nó kéo trọng số về, và phân giải tên như trước.

Điều gì làm dừng quá trình build

Mỗi trường hợp dưới đây là một câu mà quá trình build in ra, nêu rõ điều cần thay đổi:

  • Điều kiện tiên quyết không được xác nhận. Xóa control_plane_present: true khỏi Release:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]
    error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release
  • Một bên gọi có workload không được xuất vào namespace nào. Xóa annotation aggrega.ai/namespace khỏi ranh giới edge, và Deployment của gateway được xuất ra mà không có namespace nào:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]
    error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one
  • Workload của máy chủ mô hình không được xuất vào namespace nào, vì cùng lý do: một policy chỉ chọn các pod trong namespace của chính nó.

  • Một workload của bên nào đó không ghi controller selector và không mang nhãn định danh nào mà quá trình build gắn lên các pod của nó — chẳng hạn một Job của chart dựa vào selector do cluster tạo ra. Chọn nó theo mọi nhãn nó mang sẽ không còn khớp với các pod của nó ngay lần đầu một nhãn phiên bản thay đổi, vì vậy quá trình build dừng lại thay vào đó.

  • Một bên gọi, hoặc máy chủ mô hình, có kết quả render không xuất ra pod nào — một thành phần được hiện thực bằng một custom resource mà controller của nó tạo pod về sau, hoặc được truy cập tại một địa chỉ bên ngoài cluster. Một thành phần như vậy không thể được nêu tên trong một policy, nên quá trình build dừng lại thay vì ghi ra một policy sẽ từ chối nó hoặc không chọn gì cả.

  • Một nguồn trong admitted_sources nêu cả một dải địa chỉ lẫn các pod, hoặc không nêu cái nào.

Nơi trình biên dịch không diễn giải

Trình biên dịch chuyển các selector, nhãn và namespace mà mỗi lần render báo cáo vào policy dưới dạng chuỗi. Nó không liên hệ với cluster, không biết network plugin nào đang chạy ở đó, và không biết những workload nào đã chạy sẵn trong một namespace. Mỗi điểm dừng ở trên đều do chính các entity của catalog khai báo, trong phần hiện thực hóa của Feature, và không điểm dừng nào dựa trên bất kỳ hiểu biết nào về cluster.

Điều chỉnh ví dụ

  • Cho phép một ingress controller. Thêm một mục vào admitted_sources với namespace của nó và nhãn của các pod của nó — cả hai trong cùng một mục, để chỉ những pod đó trong namespace đó được cho phép.
  • Cho phép một dải địa chỉ. Thêm một mục với cidr, chẳng hạn như 10.20.0.0/16.
  • Một bên gọi thứ hai. Thêm một cạnh uses từ nó đến model server trong Aggregate và đặt nó vào một namespace mà Release khai báo; lần build tiếp theo cho phép nó mà không cần thay đổi gì ở attachment.
  • Compose. Feature không được hiện thực hóa ở đó: một stack Compose đặt mọi service của một nhóm trên cùng một mạng, và cấu hình của một service không thể đưa một service khác ra khỏi mạng đó, nên một Release gắn Feature này trên Compose sẽ dừng lại vì thiếu một bản hiện thực hóa.