Сервер модели, который может вызывать только его шлюз
Сервер модели, работающий в кластере, отвечает любому, кто достучится до его адреса. В сети подов без сетевой политики, а это поведение Kubernetes по умолчанию, это каждая рабочая нагрузка в кластере: шлюз, поставленный перед моделью, — это путь, по которому трафик должен поступать, но не единственный путь, по которому он может поступить.
Aggregate уже указывает, какие компоненты какие вызывают: соединение шлюза
upstream называет сервер модели. core/caller-allowlist, который
оператор подключает к серверу модели в Release, превращает это объявленное
соединение в правило сети кластера. Это рабочее пространство компилирует
эту схему в манифесты Kubernetes: шлюз NGINX в пространстве имён edge,
сервер модели Ollama в пространстве имён models и сетевую политику, которую
подключение записывает рядом с сервером модели.
Это рабочее пространство не определяет ни одной собственной сущности каталога. Три файла сущностей здесь — Aggregate, Manifest и Release — это всё, что кому-либо приходится писать.
Кто что пишет
| файл | автор | что в нём сказано здесь |
|---|---|---|
aggregate.yaml | разработчик | шлюз, сервер модели и соединение upstream шлюза с ним |
release.yaml | оператор | два пространства имён, а в записи сервера модели — подключение allowlist с его infra |
manifest.yaml | оператор | какая сущность Recipe реализует каждый компонент и сущность Feature в Kubernetes |
Сущность Aggregate ничего не говорит о сетевой политике. Разработчик объявляет
соединение, которое устанавливает шлюз; отклоняет ли кластер все остальные —
решение оператора для этого окружения, принимаемое в сущности Release в разделе
components.model.features. Все входные данные, которые принимает сущность Feature, относятся к infra,
столпу оператора. Разработчику следует знать следствие: везде, где
сущность Release подключает эту сущность Feature к компоненту, вызов, который сущность Aggregate не
объявляет как ребро uses к этому компоненту, отклоняется кластером, если его
сетевой плагин применяет сетевую политику.
Что собирается
| экземпляр | сущность Component из каталога | пространство имён | чем он является здесь |
|---|---|---|---|
gateway | core/gateway/nginx | edge | шлюз, который вызывают клиенты; он перенаправляет запросы на сервер модели |
model | core/ai-model/ollama | models | сервер модели, обслуживающий llama3.1 |
Одно ребро uses: сокет upstream шлюза к серверу модели. Одно
присоединение сущности Feature, в сущности Release: allowlist, core/caller-allowlist, на
сервере модели. Сущность Release подтверждает, что кластер применяет сетевую политику, и
указывает один источник за пределами сущности Aggregate — агент мониторинга.
Создание примера
Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.
Запишите пример в новую папку, названную по его имени:
aggrega scaffold --example model-server-caller-allowlistЗатем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:
cd model-server-caller-allowlistСборка
aggrega build --release release.yaml --auto-pullПеред сборкой релизу нужен lock-файл, а lock-файлы генерируются, а не поставляются, поэтому в свежем клоне его нет. Сначала разрешите его или позвольте сборке его заполнить:
aggrega pull --release release.yaml # resolve once, then build with no flagaggrega build --release release.yaml --auto-pull # or resolve during the buildЭто рабочее пространство разрешает сущности каталога из реестра по умолчанию, который указывает .aggrega-config.yaml; из репозитория чартов ничего не загружается.
Сборка выводит следующее (<workspace> обозначает папку этого примера):
warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it[… omitted: the resolution's summary and a total build time, which differ per run]Build completed: 6 files written to <workspace>/distПредупреждение касается политики. Целевая платформа не помещает собственные манифесты сущности Feature в пространство имён, поэтому шаблон подключения записывает в политику пространство имён, в которое выводится StatefulSet сервера модели, — namespace: "models" ниже.
С ИИ-ассистентом
ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.
Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если в папке рабочего пространства ещё нет папки `model-server-caller-allowlist`, вызовите инструмент `scaffold` один раз, задав для `example` значение `model-server-caller-allowlist`, без `dir`: он запишет пример в новую папку `model-server-caller-allowlist`. Затем вызовите инструмент `build`, задав для `workspace_root` значение `model-server-caller-allowlist`, для `release` — `release.yaml`, для `auto_pull` — true и для `write` — true. Сообщите, какие файлы записала сборка; они находятся в `model-server-caller-allowlist/dist/`.Сгенерированное дерево
dist/├── edge/helm/│ ├── gateway-default-service.yaml│ └── gateway-deployment.yaml└── models/helm/ ├── model--allowlist--networkpolicy.yaml ├── model-default-service.yaml ├── model-headless-service.yaml └── model-statefulset.yamlПрисоединение добавляет один файл — политику. Все остальные файлы побайтно совпадают с тем, что та же сущность Release генерирует без него.
Что может обращаться к серверу модели
dist/models/helm/model--allowlist--networkpolicy.yaml, начиная с его spec:
spec: podSelector: matchLabels: "app": "model" policyTypes: - Ingress ingress: - from: - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "models" podSelector: matchLabels: "app": "model" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "edge" podSelector: matchLabels: "app": "gateway" - namespaceSelector: matchLabels: "kubernetes.io/metadata.name": "monitoring" podSelector: matchLabels: "app.kubernetes.io/name": "prometheus" ports: - port: 11434 protocol: "TCP"Политика находится в models — пространстве имён, в которое генерируется StatefulSet сервера модели, — выбирает поды сервера модели и разрешает подключения к ним
из трёх источников на единственный порт, который объявляет контейнер сервера модели:
- Собственные поды сервера модели в
models, чтобы реплики одного сервера могли обращаться друг к другу. - Поды шлюза в пространстве имён
edge. Селектор пространства имён и селектор подов находятся в одной записи, поэтому под должен соответствовать обоим. Рабочая нагрузка в другом пространстве имён с теми же метками — например, та же сущность Aggregate, выпущенная повторно в другом месте, — не является шлюзом и не допускается. - Агент мониторинга, который называет сущность Release: поды с меткой
app.kubernetes.io/name: prometheusв пространстве имёнmonitoring.
Поды каждого компонента выбираются селектором, который записывает его собственный контроллер, —
app: model для StatefulSet сервера модели, app: gateway для
Deployment шлюза, — а каждое пространство имён — это то, в которое генерируется его рабочая нагрузка;
и то и другое берётся из того, что сгенерировали рендеры, а не повторяется вручную.
Ни один селектор не содержит версии, поэтому при развёртывании новой сборки поды
предыдущей по-прежнему выбираются и допускаются, пока их не заменят.
Что не может к нему подключиться
- Любая другая рабочая нагрузка — в
models, вedgeили в любом другом пространстве имён, включая другой агент вmonitoring. - Ingress-контроллер или любой клиент вне кластера. Ничто за пределами сущности Aggregate не допускается, если его не называет сущность Release, а эта сущность Release называет только агент мониторинга. Клиенты обращаются к серверу модели через шлюз — это и есть соединение, которое объявляет сущность Aggregate.
- Любой порт, кроме 11434.
Политика ограничивает, кто может подключаться, а не то, что передаётся по соединению: запрос, который пересылает шлюз, доходит до модели в том виде, в каком его отправил шлюз.
Чего сборка не может знать
Применяется ли правило. Сетевую политику применяет сетевой плагин кластера, и только там, где этот плагин реализует сетевые политики; кластер, плагин которого их не реализует, принимает политику и ничего не применяет. Сборка записывает
политику и не видит кластер, поэтому сущность Release содержит
control_plane_present: true в подключении: это заявление оператора о том,
что целевой кластер применяет политику, и сборка останавливается, пока оно не сделано.
Ещё три ограничения вытекают из того, как работают сетевые политики, а не из этой сущности Feature:
- Политики складываются. Если другая политика в кластере выбирает те же поды, допускается соединение, которое допускает любая из них.
- Это подключение не ограничивает шлюз. Оно защищает сервер модели; чтобы ограничить, кто может обращаться к шлюзу, подключите Feature также к записи шлюза в сущности Release и укажите там клиентов, которых он обслуживает.
- Исходящий трафик не затрагивается. Сервер модели по-прежнему обращается к реестру, из которого загружает веса, и разрешает имена, как и раньше.
Что останавливает сборку
Каждый из этих случаев — это предложение, которое выводит сборка, называя, что нужно изменить:
-
Предварительное условие не подтверждено. Удалите
control_plane_present: trueиз сущности Release:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release -
Вызывающая сторона, рабочая нагрузка которой не попадает ни в одно пространство имён. Удалите аннотацию
aggrega.ai/namespaceс границыedge, и Deployment шлюза будет сгенерирован без пространства имён:[… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one -
Рабочая нагрузка сервера модели, не попадающая ни в одно пространство имён, по той же причине: политика выбирает поды только в своём пространстве имён.
-
Рабочая нагрузка любого из них, которая не задаёт селектор контроллера и не несёт ни одной из меток идентичности, которые сборка ставит на её поды, — например, Job из чарта, полагающийся на селектор, генерируемый кластером. Выбор по всем меткам, которые она несёт, перестал бы совпадать с её подами при первом же изменении метки версии, поэтому сборка вместо этого останавливается.
-
Вызывающая сторона или сервер модели, рендеринг которых не порождает подов, — например, реализованные через пользовательский ресурс, контроллер которого создаёт поды позже, или доступные по адресу вне кластера. Такой компонент нельзя указать в политике, поэтому сборка останавливается, а не пишет политику, которая отклонила бы его или не выбрала бы ничего.
-
Источник в
admitted_sources, указывающий одновременно диапазон адресов и поды или не указывающий ни того, ни другого.
Где компилятор не интерпретирует
Компилятор передаёт в политику селекторы, метки и пространства имён, о которых сообщил каждый рендеринг, в виде строк. Он не обращается к кластеру, не знает, какой сетевой плагин там работает, и не знает, какие рабочие нагрузки уже работают в пространстве имён. Каждая из описанных выше остановок объявлена собственными сущностями каталога в реализации сущности Feature, и ни одна из них не опирается на какие-либо знания о кластере.
Адаптация примера
- Допуск ingress-контроллера. Добавьте в
admitted_sourcesзапись с его пространством имён и метками его подов — и то и другое в одной записи, чтобы допускались только эти поды в этом пространстве имён. - Допуск диапазона адресов. Добавьте запись с
cidr, например10.20.0.0/16. - Второй вызывающий. Добавьте ребро
usesот него к серверу модели в сущности Aggregate и поместите его в пространство имён, которое объявляет сущность Release; следующая сборка допустит его без изменения подключения. - Compose. Сущность Feature там не реализована: стек Compose помещает каждый сервис группы в одну сеть, и конфигурация одного сервиса не может вывести из неё другой сервис, поэтому сборка сущности Release, связывающей эту Feature с Compose, останавливается из-за отсутствия реализации.