Сервер моделі, який може викликати лише його шлюз
Сервер моделі, що працює в кластері, відповідає будь-кому, хто досягне його адреси. У мережі подів без мережевої політики, що є типовим для Kubernetes, це кожне навантаження в кластері: шлюз, розміщений перед моделлю, — це шлях, яким трафік має надходити, а не єдиний шлях, яким він може надійти.
Aggregate уже визначає, які компоненти викликають які: з’єднання upstream
шлюзу вказує на сервер моделі. core/caller-allowlist, який
оператор приєднує до сервера моделі в Release, перетворює це оголошене
з’єднання на правило мережі кластера. Цей робочий простір компілює
цю конфігурацію в маніфести Kubernetes: шлюз NGINX у просторі імен edge,
сервер моделі Ollama у просторі імен models і мережеву політику, яку
приєднання записує поруч із сервером моделі.
Цей робочий простір не створює жодної власної сутності каталогу. Три файли сутностей тут — Aggregate, Manifest і Release — це все, що будь-хто пише.
Хто що пише
| файл | автор | що в ньому сказано |
|---|---|---|
aggregate.yaml | розробник | шлюз, сервер моделі та з’єднання upstream шлюзу з ним |
release.yaml | оператор | два простори імен, а в записі сервера моделі — підключення allowlist з його infra |
manifest.yaml | оператор | який Recipe реалізує кожен компонент і Feature у Kubernetes |
Aggregate нічого не містить про мережеву політику. Розробник оголошує
з’єднання, яке встановлює шлюз; чи відхиляє кластер усі інші,
вирішує оператор для цього середовища, і це рішення ухвалюється в Release у
components.model.features. Усі вхідні дані, які приймає Feature, належать до infra,
стовпа оператора. Розробникові слід знати наслідок: скрізь, де
Release підключає цю Feature до компонента, виклик, який Aggregate не
оголошує як ребро uses до цього компонента, відхиляється кластером, якщо його
мережевий плагін застосовує мережеву політику.
Що він збирає
| екземпляр | Component із каталогу | простір імен | що це тут |
|---|---|---|---|
gateway | core/gateway/nginx | edge | шлюз, до якого звертаються клієнти; він переспрямовує запити до сервера моделі |
model | core/ai-model/ollama | models | сервер моделі, що обслуговує llama3.1 |
Одне ребро uses: сокет upstream шлюзу до сервера моделі. Одне
приєднання Feature, у сутності Release: allowlist, core/caller-allowlist, на
сервері моделі. Release підтверджує, що кластер застосовує мережеву політику, і
називає одне джерело поза Aggregate — агент моніторингу.
Створення прикладу
Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.
Запишіть приклад у нову теку, названу за ним:
aggrega scaffold --example model-server-caller-allowlistПотім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:
cd model-server-caller-allowlistЗбирання
aggrega build --release release.yaml --auto-pullПерш ніж збирати release, йому потрібен lockfile, а lockfile-и генеруються, а не постачаються, тож у свіжому клоні їх немає. Спершу отримайте його або дозвольте збиранню його заповнити:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildЦей workspace отримує сутності каталогу з реєстру за замовчуванням, який називає .aggrega-config.yaml; з репозиторію чартів нічого не завантажується.
Збирання виводить таке (<workspace> позначає теку цього прикладу):
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distПопередження стосується політики. Ціль не розміщує власні маніфести сутності Feature у просторі імен, тому шаблон приєднання записує в політику
простір імен, у який виводиться StatefulSet сервера моделі, —
namespace: "models" нижче.
З ШІ-асистентом
ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.
Використовуйте лише інструменти Aggrega і не створюйте жодної теки самостійно. Якщо тека робочого простору ще не містить теки `model-server-caller-allowlist`, викличте один раз інструмент `scaffold`, задавши для `example` значення `model-server-caller-allowlist`, без `dir`: він запише приклад у нову теку `model-server-caller-allowlist`. Потім викличте інструмент `build`, задавши для `workspace_root` значення `model-server-caller-allowlist`, для `release` — `release.yaml`, для `auto_pull` — true і для `write` — true. Скажіть, які файли записала збірка; вони розташовані в `model-server-caller-allowlist/dist/`.Згенероване дерево
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlПрив’язка додає один файл — політику. Кожен інший файл байт у байт збігається з тим, що та сама Release генерує без неї.
Що може звертатися до сервера моделі
dist/models/helm/model--allowlist--networkpolicy.yaml, починаючи з його spec:
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"Політика розміщується в models, просторі імен, у який генерується StatefulSet сервера моделі,
вибирає pod-и сервера моделі й допускає з’єднання з ними
з трьох джерел на єдиному порту, який оголошує контейнер сервера моделі:
- Власні pod-и сервера моделі в
models, щоб репліки одного сервера могли звертатися одна до одної. - Pod-и шлюзу в просторі імен
edge. Селектор простору імен і селектор pod-ів стоять в одному записі, тож pod має відповідати обом. Робоче навантаження в іншому просторі імен із тими самими мітками — скажімо, та сама сутність Aggregate, випущена ще раз деінде, — не є шлюзом і не допускається. - Агент моніторингу, якого називає сутність Release: pod-и з міткою
app.kubernetes.io/name: prometheusу просторі іменmonitoring.
Pod-и кожного компонента вибираються селектором, який записує його власний контролер, —
app: model для StatefulSet сервера моделі, app: gateway для
Deployment шлюзу, — а кожен простір імен — це той, у який генерується його робоче навантаження;
обидва зчитуються з того, що згенерували рендери, а не повторюються вручну.
Жоден селектор не містить версії, тож коли розгортається нова збірка, pod-и
попередньої все ще вибираються й допускаються, доки їх не замінять.
Що не може до нього дістатися
- Будь-яке інше навантаження, у
models, уedgeчи в будь-якому іншому просторі імен — зокрема й інший агент уmonitoring. - Ingress-контролер або будь-який клієнт поза кластером. Ніщо поза сутністю Aggregate не допускається, якщо сутність Release його не називає, а ця сутність Release називає лише агента моніторингу. Клієнти дістаються сервера моделі через шлюз — це і є з’єднання, яке оголошує сутність Aggregate.
- Будь-який порт, окрім 11434.
Політика обмежує, хто може під’єднуватися, а не те, що передає з’єднання: запит, який пересилає шлюз, доходить до моделі таким, яким його надіслав шлюз.
Чого збірка не може знати
Чи застосовується правило. Мережеву політику застосовує мережевий плагін кластера, і лише там, де цей плагін реалізує мережеві політики; кластер, плагін якого цього не робить, приймає політику і нічого не застосовує. Збірка записує
політику й не бачить кластера, тому Release містить
control_plane_present: true у приєднанні: це заява оператора про те,
що цільовий кластер її застосовує, і збірка зупиняється, доки цю заяву не зроблено.
Ще три обмеження випливають із того, як працюють мережеві політики, а не з цієї Feature:
- Політики додаються. Якщо інша політика в кластері вибирає ті самі поди, з’єднання, яке допускає будь-яка з них, допускається.
- Це приєднання не обмежує шлюз. Воно захищає сервер моделі; щоб обмежити, хто може звертатися до шлюзу, приєднайте Feature також до запису шлюзу в Release і вкажіть там клієнтів, яких він обслуговує.
- Вихідний трафік не зачіпається. Сервер моделі й далі звертається до реєстру, з якого завантажує ваги, і розпізнає імена, як і раніше.
Що зупиняє збірку
Кожен із цих випадків — це речення, яке друкує збірка, називаючи, що слід змінити:
-
Передумову не підтверджено. Вилучіть
control_plane_present: trueіз сутності Release:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
Клієнт, чиє робоче навантаження не потрапляє в жоден простір імен. Вилучіть анотацію
aggrega.ai/namespaceз межіedge, і Deployment шлюзу буде згенеровано без простору імен:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
Робоче навантаження сервера моделі, що не потрапляє в жоден простір імен, з тієї ж причини: політика вибирає поди лише у власному просторі імен.
-
Робоче навантаження будь-кого з них, яке не задає селектора контролера і не має жодної з міток ідентичності, які збірка ставить на його поди, — наприклад, Job чарту, що покладається на селектор, який генерує кластер. Вибір за всіма мітками, які воно має, перестав би відповідати його подам після першої ж зміни мітки версії, тому збірка натомість зупиняється.
-
Клієнт або сервер моделі, рендер якого не створює подів, — реалізований через користувацький ресурс, контролер якого створює поди пізніше, або доступний за адресою поза кластером. Такий компонент не можна назвати в політиці, тож збірка зупиняється, а не пише політику, яка відхилила б його або нічого не вибрала б.
-
Джерело в
admitted_sources, яке називає і діапазон адрес, і поди, або не називає жодного з них.
Де компілятор не інтерпретує
Компілятор передає в політику як рядки селектори, мітки та простори імен, про які повідомив кожен рендер. Він не звертається до кластера, не знає, який мережевий плагін там працює, і не знає, які робочі навантаження вже працюють у просторі імен. Кожну зупинку, описану вище, оголошують власні сутності каталогу в реалізації сутності Feature, і жодна з них не спирається на будь-які знання про кластер.
Адаптація прикладу
- Допуск ingress-контролера. Додайте до
admitted_sourcesзапис із його простором імен і мітками його подів — обидва в одному записі, щоб допускалися лише ці поди в цьому просторі імен. - Допуск діапазону адрес. Додайте запис із
cidr, наприклад10.20.0.0/16. - Другий викликач. Додайте ребро
usesвід нього до сервера моделі в сутності Aggregate і розмістіть його в просторі імен, який оголошує сутність Release; наступна збірка допустить його без жодних змін у прикріпленні. - Compose. Сутність Feature там не реалізовано: стек Compose розміщує кожен сервіс групи в одній мережі, і конфігурація одного сервісу не може вивести з неї інший сервіс, тому сутність Release, що прив’язує цю сутність Feature на Compose, зупиняє збірку через відсутність реалізації.