Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

Сервер модели, который может вызывать только его шлюз

Сервер модели, работающий в кластере, отвечает любому, кто достучится до его адреса. В сети подов без сетевой политики, а это поведение Kubernetes по умолчанию, это каждая рабочая нагрузка в кластере: шлюз, поставленный перед моделью, — это путь, по которому трафик должен поступать, но не единственный путь, по которому он может поступить.

Aggregate уже указывает, какие компоненты какие вызывают: соединение шлюза upstream называет сервер модели. core/caller-allowlist, который оператор подключает к серверу модели в Release, превращает это объявленное соединение в правило сети кластера. Это рабочее пространство компилирует эту схему в манифесты Kubernetes: шлюз NGINX в пространстве имён edge, сервер модели Ollama в пространстве имён models и сетевую политику, которую подключение записывает рядом с сервером модели.

Это рабочее пространство не определяет ни одной собственной сущности каталога. Три файла сущностей здесь — Aggregate, Manifest и Release — это всё, что кому-либо приходится писать.

Кто что пишет

файлавторчто в нём сказано здесь
aggregate.yamlразработчикшлюз, сервер модели и соединение upstream шлюза с ним
release.yamlоператордва пространства имён, а в записи сервера модели — подключение allowlist с его infra
manifest.yamlоператоркакая сущность Recipe реализует каждый компонент и сущность Feature в Kubernetes

Сущность Aggregate ничего не говорит о сетевой политике. Разработчик объявляет соединение, которое устанавливает шлюз; отклоняет ли кластер все остальные — решение оператора для этого окружения, принимаемое в сущности Release в разделе components.model.features. Все входные данные, которые принимает сущность Feature, относятся к infra, столпу оператора. Разработчику следует знать следствие: везде, где сущность Release подключает эту сущность Feature к компоненту, вызов, который сущность Aggregate не объявляет как ребро uses к этому компоненту, отклоняется кластером, если его сетевой плагин применяет сетевую политику.

Что собирается

экземплярсущность Component из каталогапространство имёнчем он является здесь
gatewaycore/gateway/nginxedgeшлюз, который вызывают клиенты; он перенаправляет запросы на сервер модели
modelcore/ai-model/ollamamodelsсервер модели, обслуживающий llama3.1

Одно ребро uses: сокет upstream шлюза к серверу модели. Одно присоединение сущности Feature, в сущности Release: allowlist, core/caller-allowlist, на сервере модели. Сущность Release подтверждает, что кластер применяет сетевую политику, и указывает один источник за пределами сущности Aggregate — агент мониторинга.

Создание примера

Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.

Запишите пример в новую папку, названную по его имени:

Terminal window
aggrega scaffold --example model-server-caller-allowlist

Затем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:

Terminal window
cd model-server-caller-allowlist

Сборка

Terminal window
aggrega build --release release.yaml --auto-pull

Перед сборкой релизу нужен lock-файл, а lock-файлы генерируются, а не поставляются, поэтому в свежем клоне его нет. Сначала разрешите его или позвольте сборке его заполнить:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Это рабочее пространство разрешает сущности каталога из реестра по умолчанию, который указывает .aggrega-config.yaml; из репозитория чартов ничего не загружается.

Сборка выводит следующее (<workspace> обозначает папку этого примера):

warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it
[… omitted: the resolution's summary and a total build time, which differ per run]
Build completed: 6 files written to <workspace>/dist

Предупреждение касается политики. Целевая платформа не помещает собственные манифесты сущности Feature в пространство имён, поэтому шаблон подключения записывает в политику пространство имён, в которое выводится StatefulSet сервера модели, — namespace: "models" ниже.

С ИИ-ассистентом

ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.

Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если в папке рабочего пространства ещё нет папки `model-server-caller-allowlist`, вызовите инструмент `scaffold` один раз, задав для `example` значение `model-server-caller-allowlist`, без `dir`: он запишет пример в новую папку `model-server-caller-allowlist`. Затем вызовите инструмент `build`, задав для `workspace_root` значение `model-server-caller-allowlist`, для `release` — `release.yaml`, для `auto_pull` — true и для `write` — true. Сообщите, какие файлы записала сборка; они находятся в `model-server-caller-allowlist/dist/`.

Сгенерированное дерево

dist/
├── edge/helm/
│ ├── gateway-default-service.yaml
│ └── gateway-deployment.yaml
└── models/helm/
├── model--allowlist--networkpolicy.yaml
├── model-default-service.yaml
├── model-headless-service.yaml
└── model-statefulset.yaml

Присоединение добавляет один файл — политику. Все остальные файлы побайтно совпадают с тем, что та же сущность Release генерирует без него.

Что может обращаться к серверу модели

dist/models/helm/model--allowlist--networkpolicy.yaml, начиная с его spec:

spec:
podSelector:
matchLabels:
"app": "model"
policyTypes:
- Ingress
ingress:
- from:
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "models"
podSelector:
matchLabels:
"app": "model"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "edge"
podSelector:
matchLabels:
"app": "gateway"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "monitoring"
podSelector:
matchLabels:
"app.kubernetes.io/name": "prometheus"
ports:
- port: 11434
protocol: "TCP"

Политика находится в models — пространстве имён, в которое генерируется StatefulSet сервера модели, — выбирает поды сервера модели и разрешает подключения к ним из трёх источников на единственный порт, который объявляет контейнер сервера модели:

  • Собственные поды сервера модели в models, чтобы реплики одного сервера могли обращаться друг к другу.
  • Поды шлюза в пространстве имён edge. Селектор пространства имён и селектор подов находятся в одной записи, поэтому под должен соответствовать обоим. Рабочая нагрузка в другом пространстве имён с теми же метками — например, та же сущность Aggregate, выпущенная повторно в другом месте, — не является шлюзом и не допускается.
  • Агент мониторинга, который называет сущность Release: поды с меткой app.kubernetes.io/name: prometheus в пространстве имён monitoring.

Поды каждого компонента выбираются селектором, который записывает его собственный контроллер, — app: model для StatefulSet сервера модели, app: gateway для Deployment шлюза, — а каждое пространство имён — это то, в которое генерируется его рабочая нагрузка; и то и другое берётся из того, что сгенерировали рендеры, а не повторяется вручную. Ни один селектор не содержит версии, поэтому при развёртывании новой сборки поды предыдущей по-прежнему выбираются и допускаются, пока их не заменят.

Что не может к нему подключиться

  • Любая другая рабочая нагрузка — в models, в edge или в любом другом пространстве имён, включая другой агент в monitoring.
  • Ingress-контроллер или любой клиент вне кластера. Ничто за пределами сущности Aggregate не допускается, если его не называет сущность Release, а эта сущность Release называет только агент мониторинга. Клиенты обращаются к серверу модели через шлюз — это и есть соединение, которое объявляет сущность Aggregate.
  • Любой порт, кроме 11434.

Политика ограничивает, кто может подключаться, а не то, что передаётся по соединению: запрос, который пересылает шлюз, доходит до модели в том виде, в каком его отправил шлюз.

Чего сборка не может знать

Применяется ли правило. Сетевую политику применяет сетевой плагин кластера, и только там, где этот плагин реализует сетевые политики; кластер, плагин которого их не реализует, принимает политику и ничего не применяет. Сборка записывает политику и не видит кластер, поэтому сущность Release содержит control_plane_present: true в подключении: это заявление оператора о том, что целевой кластер применяет политику, и сборка останавливается, пока оно не сделано.

Ещё три ограничения вытекают из того, как работают сетевые политики, а не из этой сущности Feature:

  • Политики складываются. Если другая политика в кластере выбирает те же поды, допускается соединение, которое допускает любая из них.
  • Это подключение не ограничивает шлюз. Оно защищает сервер модели; чтобы ограничить, кто может обращаться к шлюзу, подключите Feature также к записи шлюза в сущности Release и укажите там клиентов, которых он обслуживает.
  • Исходящий трафик не затрагивается. Сервер модели по-прежнему обращается к реестру, из которого загружает веса, и разрешает имена, как и раньше.

Что останавливает сборку

Каждый из этих случаев — это предложение, которое выводит сборка, называя, что нужно изменить:

  • Предварительное условие не подтверждено. Удалите control_plane_present: true из сущности Release:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]
    error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release
  • Вызывающая сторона, рабочая нагрузка которой не попадает ни в одно пространство имён. Удалите аннотацию aggrega.ai/namespace с границы edge, и Deployment шлюза будет сгенерирован без пространства имён:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]
    error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one
  • Рабочая нагрузка сервера модели, не попадающая ни в одно пространство имён, по той же причине: политика выбирает поды только в своём пространстве имён.

  • Рабочая нагрузка любого из них, которая не задаёт селектор контроллера и не несёт ни одной из меток идентичности, которые сборка ставит на её поды, — например, Job из чарта, полагающийся на селектор, генерируемый кластером. Выбор по всем меткам, которые она несёт, перестал бы совпадать с её подами при первом же изменении метки версии, поэтому сборка вместо этого останавливается.

  • Вызывающая сторона или сервер модели, рендеринг которых не порождает подов, — например, реализованные через пользовательский ресурс, контроллер которого создаёт поды позже, или доступные по адресу вне кластера. Такой компонент нельзя указать в политике, поэтому сборка останавливается, а не пишет политику, которая отклонила бы его или не выбрала бы ничего.

  • Источник в admitted_sources, указывающий одновременно диапазон адресов и поды или не указывающий ни того, ни другого.

Где компилятор не интерпретирует

Компилятор передаёт в политику селекторы, метки и пространства имён, о которых сообщил каждый рендеринг, в виде строк. Он не обращается к кластеру, не знает, какой сетевой плагин там работает, и не знает, какие рабочие нагрузки уже работают в пространстве имён. Каждая из описанных выше остановок объявлена собственными сущностями каталога в реализации сущности Feature, и ни одна из них не опирается на какие-либо знания о кластере.

Адаптация примера

  • Допуск ingress-контроллера. Добавьте в admitted_sources запись с его пространством имён и метками его подов — и то и другое в одной записи, чтобы допускались только эти поды в этом пространстве имён.
  • Допуск диапазона адресов. Добавьте запись с cidr, например 10.20.0.0/16.
  • Второй вызывающий. Добавьте ребро uses от него к серверу модели в сущности Aggregate и поместите его в пространство имён, которое объявляет сущность Release; следующая сборка допустит его без изменения подключения.
  • Compose. Сущность Feature там не реализована: стек Compose помещает каждый сервис группы в одну сеть, и конфигурация одного сервиса не может вывести из неё другой сервис, поэтому сборка сущности Release, связывающей эту Feature с Compose, останавливается из-за отсутствия реализации.