Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

Сервер моделі, який може викликати лише його шлюз

Сервер моделі, що працює в кластері, відповідає будь-кому, хто досягне його адреси. У мережі подів без мережевої політики, що є типовим для Kubernetes, це кожне навантаження в кластері: шлюз, розміщений перед моделлю, — це шлях, яким трафік має надходити, а не єдиний шлях, яким він може надійти.

Aggregate уже визначає, які компоненти викликають які: з’єднання upstream шлюзу вказує на сервер моделі. core/caller-allowlist, який оператор приєднує до сервера моделі в Release, перетворює це оголошене з’єднання на правило мережі кластера. Цей робочий простір компілює цю конфігурацію в маніфести Kubernetes: шлюз NGINX у просторі імен edge, сервер моделі Ollama у просторі імен models і мережеву політику, яку приєднання записує поруч із сервером моделі.

Цей робочий простір не створює жодної власної сутності каталогу. Три файли сутностей тут — Aggregate, Manifest і Release — це все, що будь-хто пише.

Хто що пише

файлавторщо в ньому сказано
aggregate.yamlрозробникшлюз, сервер моделі та з’єднання upstream шлюзу з ним
release.yamlоператордва простори імен, а в записі сервера моделі — підключення allowlist з його infra
manifest.yamlоператорякий Recipe реалізує кожен компонент і Feature у Kubernetes

Aggregate нічого не містить про мережеву політику. Розробник оголошує з’єднання, яке встановлює шлюз; чи відхиляє кластер усі інші, вирішує оператор для цього середовища, і це рішення ухвалюється в Release у components.model.features. Усі вхідні дані, які приймає Feature, належать до infra, стовпа оператора. Розробникові слід знати наслідок: скрізь, де Release підключає цю Feature до компонента, виклик, який Aggregate не оголошує як ребро uses до цього компонента, відхиляється кластером, якщо його мережевий плагін застосовує мережеву політику.

Що він збирає

екземплярComponent із каталогупростір іменщо це тут
gatewaycore/gateway/nginxedgeшлюз, до якого звертаються клієнти; він переспрямовує запити до сервера моделі
modelcore/ai-model/ollamamodelsсервер моделі, що обслуговує llama3.1

Одне ребро uses: сокет upstream шлюзу до сервера моделі. Одне приєднання Feature, у сутності Release: allowlist, core/caller-allowlist, на сервері моделі. Release підтверджує, що кластер застосовує мережеву політику, і називає одне джерело поза Aggregate — агент моніторингу.

Створення прикладу

Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.

Запишіть приклад у нову теку, названу за ним:

Terminal window
aggrega scaffold --example model-server-caller-allowlist

Потім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:

Terminal window
cd model-server-caller-allowlist

Збирання

Terminal window
aggrega build --release release.yaml --auto-pull

Перш ніж збирати release, йому потрібен lockfile, а lockfile-и генеруються, а не постачаються, тож у свіжому клоні їх немає. Спершу отримайте його або дозвольте збиранню його заповнити:

Terminal window
aggrega pull --release release.yaml # resolve once, then build with no flag
aggrega build --release release.yaml --auto-pull # or resolve during the build

Цей workspace отримує сутності каталогу з реєстру за замовчуванням, який називає .aggrega-config.yaml; з репозиторію чартів нічого не завантажується.

Збирання виводить таке (<workspace> позначає теку цього прикладу):

warning: node "model" (provider "helm"): target "helm" does not support annotation aggrega.ai/namespace on artifacts-only input and ignored it
[… omitted: the resolution's summary and a total build time, which differ per run]
Build completed: 6 files written to <workspace>/dist

Попередження стосується політики. Ціль не розміщує власні маніфести сутності Feature у просторі імен, тому шаблон приєднання записує в політику простір імен, у який виводиться StatefulSet сервера моделі, — namespace: "models" нижче.

З ШІ-асистентом

ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.

Використовуйте лише інструменти Aggrega і не створюйте жодної теки самостійно. Якщо тека робочого простору ще не містить теки `model-server-caller-allowlist`, викличте один раз інструмент `scaffold`, задавши для `example` значення `model-server-caller-allowlist`, без `dir`: він запише приклад у нову теку `model-server-caller-allowlist`. Потім викличте інструмент `build`, задавши для `workspace_root` значення `model-server-caller-allowlist`, для `release` — `release.yaml`, для `auto_pull` — true і для `write` — true. Скажіть, які файли записала збірка; вони розташовані в `model-server-caller-allowlist/dist/`.

Згенероване дерево

dist/
├── edge/helm/
│ ├── gateway-default-service.yaml
│ └── gateway-deployment.yaml
└── models/helm/
├── model--allowlist--networkpolicy.yaml
├── model-default-service.yaml
├── model-headless-service.yaml
└── model-statefulset.yaml

Прив’язка додає один файл — політику. Кожен інший файл байт у байт збігається з тим, що та сама Release генерує без неї.

Що може звертатися до сервера моделі

dist/models/helm/model--allowlist--networkpolicy.yaml, починаючи з його spec:

spec:
podSelector:
matchLabels:
"app": "model"
policyTypes:
- Ingress
ingress:
- from:
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "models"
podSelector:
matchLabels:
"app": "model"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "edge"
podSelector:
matchLabels:
"app": "gateway"
-
namespaceSelector:
matchLabels:
"kubernetes.io/metadata.name": "monitoring"
podSelector:
matchLabels:
"app.kubernetes.io/name": "prometheus"
ports:
- port: 11434
protocol: "TCP"

Політика розміщується в models, просторі імен, у який генерується StatefulSet сервера моделі, вибирає pod-и сервера моделі й допускає з’єднання з ними з трьох джерел на єдиному порту, який оголошує контейнер сервера моделі:

  • Власні pod-и сервера моделі в models, щоб репліки одного сервера могли звертатися одна до одної.
  • Pod-и шлюзу в просторі імен edge. Селектор простору імен і селектор pod-ів стоять в одному записі, тож pod має відповідати обом. Робоче навантаження в іншому просторі імен із тими самими мітками — скажімо, та сама сутність Aggregate, випущена ще раз деінде, — не є шлюзом і не допускається.
  • Агент моніторингу, якого називає сутність Release: pod-и з міткою app.kubernetes.io/name: prometheus у просторі імен monitoring.

Pod-и кожного компонента вибираються селектором, який записує його власний контролер, — app: model для StatefulSet сервера моделі, app: gateway для Deployment шлюзу, — а кожен простір імен — це той, у який генерується його робоче навантаження; обидва зчитуються з того, що згенерували рендери, а не повторюються вручну. Жоден селектор не містить версії, тож коли розгортається нова збірка, pod-и попередньої все ще вибираються й допускаються, доки їх не замінять.

Що не може до нього дістатися

  • Будь-яке інше навантаження, у models, у edge чи в будь-якому іншому просторі імен — зокрема й інший агент у monitoring.
  • Ingress-контролер або будь-який клієнт поза кластером. Ніщо поза сутністю Aggregate не допускається, якщо сутність Release його не називає, а ця сутність Release називає лише агента моніторингу. Клієнти дістаються сервера моделі через шлюз — це і є з’єднання, яке оголошує сутність Aggregate.
  • Будь-який порт, окрім 11434.

Політика обмежує, хто може під’єднуватися, а не те, що передає з’єднання: запит, який пересилає шлюз, доходить до моделі таким, яким його надіслав шлюз.

Чого збірка не може знати

Чи застосовується правило. Мережеву політику застосовує мережевий плагін кластера, і лише там, де цей плагін реалізує мережеві політики; кластер, плагін якого цього не робить, приймає політику і нічого не застосовує. Збірка записує політику й не бачить кластера, тому Release містить control_plane_present: true у приєднанні: це заява оператора про те, що цільовий кластер її застосовує, і збірка зупиняється, доки цю заяву не зроблено.

Ще три обмеження випливають із того, як працюють мережеві політики, а не з цієї Feature:

  • Політики додаються. Якщо інша політика в кластері вибирає ті самі поди, з’єднання, яке допускає будь-яка з них, допускається.
  • Це приєднання не обмежує шлюз. Воно захищає сервер моделі; щоб обмежити, хто може звертатися до шлюзу, приєднайте Feature також до запису шлюзу в Release і вкажіть там клієнтів, яких він обслуговує.
  • Вихідний трафік не зачіпається. Сервер моделі й далі звертається до реєстру, з якого завантажує ваги, і розпізнає імена, як і раніше.

Що зупиняє збірку

Кожен із цих випадків — це речення, яке друкує збірка, називаючи, що слід змінити:

  • Передумову не підтверджено. Вилучіть control_plane_present: true із сутності Release:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the template position and the assertion's own source]
    error calling fail: assertion failed: core/caller-allowlist attachment "allowlist" on "model" writes a network policy, which restricts connections only where the cluster's network plugin enforces network policy; once the target cluster's plugin does, affirm it by setting infra.control_plane_present to true on this attachment in the Release
  • Клієнт, чиє робоче навантаження не потрапляє в жоден простір імен. Вилучіть анотацію aggrega.ai/namespace з межі edge, і Deployment шлюзу буде згенеровано без простору імен:

    [… omitted: what resolving the lockfile prints, the same halt among it, and the halt's heading, the artifact being rendered, the template position and the template's own source]
    error calling fail: core/caller-allowlist attachment "allowlist" on "model": "gateway" connects to "model" through its "upstream" socket, but the Deployment "gateway" it renders is emitted into no namespace, so the policy cannot name where its pods run; set aggrega.ai/namespace on the boundary holding "gateway", or on its own entry, in the Release, or have the manifest that carries it write one
  • Робоче навантаження сервера моделі, що не потрапляє в жоден простір імен, з тієї ж причини: політика вибирає поди лише у власному просторі імен.

  • Робоче навантаження будь-кого з них, яке не задає селектора контролера і не має жодної з міток ідентичності, які збірка ставить на його поди, — наприклад, Job чарту, що покладається на селектор, який генерує кластер. Вибір за всіма мітками, які воно має, перестав би відповідати його подам після першої ж зміни мітки версії, тому збірка натомість зупиняється.

  • Клієнт або сервер моделі, рендер якого не створює подів, — реалізований через користувацький ресурс, контролер якого створює поди пізніше, або доступний за адресою поза кластером. Такий компонент не можна назвати в політиці, тож збірка зупиняється, а не пише політику, яка відхилила б його або нічого не вибрала б.

  • Джерело в admitted_sources, яке називає і діапазон адрес, і поди, або не називає жодного з них.

Де компілятор не інтерпретує

Компілятор передає в політику як рядки селектори, мітки та простори імен, про які повідомив кожен рендер. Він не звертається до кластера, не знає, який мережевий плагін там працює, і не знає, які робочі навантаження вже працюють у просторі імен. Кожну зупинку, описану вище, оголошують власні сутності каталогу в реалізації сутності Feature, і жодна з них не спирається на будь-які знання про кластер.

Адаптація прикладу

  • Допуск ingress-контролера. Додайте до admitted_sources запис із його простором імен і мітками його подів — обидва в одному записі, щоб допускалися лише ці поди в цьому просторі імен.
  • Допуск діапазону адрес. Додайте запис із cidr, наприклад 10.20.0.0/16.
  • Другий викликач. Додайте ребро uses від нього до сервера моделі в сутності Aggregate і розмістіть його в просторі імен, який оголошує сутність Release; наступна збірка допустить його без жодних змін у прикріпленні.
  • Compose. Сутність Feature там не реалізовано: стек Compose розміщує кожен сервіс групи в одній мережі, і конфігурація одного сервісу не може вивести з неї інший сервіс, тому сутність Release, що прив’язує цю сутність Feature на Compose, зупиняє збірку через відсутність реалізації.