Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

Жизненные циклы Day-2

Жизненные циклы Day-2 и выполнение во времени

Агностичный по отношению к возможностям компилятор опережающей компиляции (Ahead-of-Time, AOT) по своей природе создаёт разрыв между декларативным намерением (Day-1) и операционной реальностью (Day-2). Облако не является полностью детерминированным, развёртывание требует упорядочивания во времени, а разработчикам нужны императивные триггеры для задач обслуживания.

Aggrega структурно преодолевает эти разрывы с помощью конкретных архитектурных полифилов и нативной для GitOps маршрутизации, так что сгенерированные конфигурации отвечают этим операционным потребностям, не нарушая чистоты ядра компилятора.

1. Модель выполнения DAG (упорядочивание во времени)

Проблема: развёртывание инфраструктуры — это ориентированный ациклический граф (DAG) времени. Задача task миграции базы данных должна завершиться до того, как запустится веб-сервер server. Однако компиляторы AOT генерируют плоские папки статического YAML или Terraform. Если передать эти плоские папки контроллеру GitOps (например, ArgoCD), он применит всё одновременно, и веб-сервер уйдёт в цикл аварийных перезапусков, ожидая базу данных.

Решение: syncWave для каждой границы в сущности Release Сущность Aggregate разработчика остаётся нетронутой. Поскольку упорядочивание — это физическая операционная реальность, оно управляется исключительно в Домене 4 (сущность Release). Каждая граница в сущности Release содержит необязательное поле syncWave: <integer>, позволяющее оператору платформы явно распределить порядок выкатки на уровне границы.

apiVersion: aggrega.ai/v1beta1
kind: Release
metadata:
name: sequenced-release
version: 1.0.0
environment: production
spec:
aggregate: my-app
manifest: prod-manifest
boundaries:
infra:
syncWave: 0
components:
core-vpc: {}
postgres-db: {}
migrations:
syncWave: 1
components:
db-migration-task: {}
apps:
syncWave: 2
components:
web-server: {}
support-agent: {}

Семантика значения волны:

  • Волна — это целое число со знаком; значение по умолчанию — 0. Отрицательные значения выполняются раньше всего остального (CRD, пространства имён, RBAC); большие значения выполняются после меньших. Операторы задают значения в соответствии со своей топологией развёртывания.
  • Каждый экземпляр компонента, непосредственно содержащийся в границе, наследует значение волны границы в свой узел IR. На уровне авторинга нет переопределения для отдельного компонента — внутреннее для провайдера упорядочивание отдельных ресурсов внутри одной границы является заботой провайдера.
  • Вложенные границы не наследуют неявно. Вложенная граница, которая не объявляет syncWave, получает значение по умолчанию 0 независимо от объявления внешней границы. Операторы, которым нужно «весь outer — это волна 1, включая его подграницу inner», объявляют syncWave: 1 на обеих.

Действие компилятора: Компилятор распространяет значение wave каждого boundary на отрендеренные манифесты в этом boundary. Providers генерируют нативные примитивы упорядочивания:

  • Для Kubernetes (ArgoCD/Flux): провайдер helm выводит argocd.argoproj.io/sync-wave: "<N>" как запись metadata.annotations в каждом отрендеренном манифесте, а ресурс, который чарт помечает как хук Helm, дополнительно получает helm.sh/hook-weight: "<N>" для нативного упорядочивания хуков Helm. Провайдер helm-chart выводит аннотацию только в файлах шаблонов, которые Recipe добавляет в чарт через artifacts:; собственные шаблоны чарта он копирует без изменений, поэтому они не несут wave.
  • Для Compose: провайдер compose выражает упорядочивание как depends_on между сервисами файла, в который рендерится граница, с условием на работоспособность цели там, где цель объявляет healthcheck, и на её запуск там, где не объявляет. depends_on указывает сервис внутри одного файла, поэтому упорядочивание между двумя файлами compose выразить невозможно; операторы упорядочивают отдельные проекты compose на уровне вызова docker compose up.
  • Для CloudFormation: провайдер cloudformation выражает упорядочивание как DependsOn между ресурсами шаблона стека, в который собирается группа диспетчеризации; каждый ресурс указывает ресурсы непосредственно предшествующей заполненной волны, а цель связывает остальные в цепочку. Атрибут определяет как порядок создания, так и обратный порядок удаления; он не выражает никакого условия готовности, потому что у шаблона нет понятия о том, что ресурс пригоден к работе. DependsOn указывает ресурс внутри одного шаблона, поэтому упорядочивание между двумя стеками выразить невозможно; операторы упорядочивают отдельные стеки на уровне развёртывания.
  • Для Terraform: провайдер terraform выражает порядок как depends_on между блоками module корневой конфигурации, в которую собирается граница: каждый модуль указывает модули непосредственно предшествующей заполненной волны, а остальное выстраивает в цепочку Terraform. Он упорядочивает действия, которые выполняет Terraform, и не выражает никакого условия готовности, потому что в конфигурации нет понятия о том, что ресурс готов к обслуживанию. depends_on указывает модуль внутри одной конфигурации, поэтому порядок между двумя корневыми конфигурациями выразить нельзя; их упорядочивание — забота оператора.

Внутренний ключ Aggrega aggrega.ai/sync-wave: "<N>" поставляется вместе с аннотацией ArgoCD для наблюдаемости и отслеживания происхождения — как аннотация в выводе helm и в файлах шаблонов, которые Recipe добавляет в чарт helm-chart, как метка сервиса в compose, как строка комментария о происхождении в каждом модуле terraform и под Metadata."aggrega.ai/provenance" каждого ресурса cloudformation, — тогда как контроллеры GitOps потребляют именно аннотацию ArgoCD.

Единица авторинга волн и единица развёртывания

Граница является единицей авторинга волн. Единицей развёртывания является путь сборки — результат на диске, создаваемый компилятором, относительно которого выполняет оркестрацию конвейер CI/CD. По умолчанию одна граница соответствует одному пути сборки: компоненты каждой границы выводятся в boundaries/<boundary-name>/<provider>/, а helm install / docker compose up выполняется относительно этого пути.

Операторы могут свернуть это соответствие 1:1. Границы могут объявлять поля шаблона пути directory: (и subDirectory:), которые, если их разделяют несколько границ, направляют компоненты этих границ в один собранный результат по общему пути. Две границы, объявляющие directory: "deploy/cluster", создают один собранный результат с компонентами обеих — единицей развёртывания становится путь сборки, а не идентичность границы.

Манифесты со смешанными волнами в одном собранном результате — это нормально, и они поддерживаются. Когда граница A объявляет syncWave: 1, а граница B — syncWave: 2, и обе разделяют directory: "deploy/cluster", итоговая единица развёртывания содержит компоненты обеих границ; каждый манифест несёт аннотацию волны своей исходной границы. Инструменты времени выполнения читают аннотации отдельных ресурсов и упорядочивают внутри собранной единицы развёртывания — контекст синхронизации ArgoCD для каждого Application обрабатывает манифесты волны 1, ждёт, пока они станут Healthy, затем обрабатывает волну 2; упорядочивание хуков Helm читает helm.sh/hook-weight для каждого ресурса хука. Это стандартный паттерн ArgoCD: вывод на уровне ресурса — это именно тот вход, который ожидают потребители из других инструментов.

Упорядочивание между Application (когда оператор запускает несколько Application ArgoCD относительно отдельных собранных результатов) — это конфигурация CI на уровне оператора — Aggrega создаёт артефакты; оператор выстраивает вокруг них свои Application ArgoCD с помощью app-of-apps или Progressive Sync. Паттерн аннотаций на уровне ресурса в Aggrega — это стандартная форма входа, которую ожидает каждый потребитель из других инструментов.

2. Полифил динамической адресации

Проблема: облако не детерминировано в момент создания. Ресурсы вроде экземпляров AWS RDS или бакетов S3 генерируют случайные хеши в URL только после физического выделения. Поскольку компилятор AOT генерирует конфигурацию до того, как облако что-либо выделит, компилятор физически не может внедрить буквальный URL базы данных в переменную окружения контейнера.

Решение: детерминированные указатели через Features учётных данных Aggrega решает это, используя существующие Features учётных данных и смещая определение «детерминированности» с буквального IP-адреса на детерминированный указатель. Сгенерированная конфигурация передаёт не URL, а путь к Cloud Vault, где URL будет существовать.

  • Пример 1: генерация вывода (Terraform RDS) Сущность Recipe от Ops для базы данных создаёт экземпляр AWS RDS. Важно, что сущность Recipe написана так, чтобы нативно записывать только что сгенерированный динамический URL в AWS Systems Manager (SSM) Parameter Store по детерминированно названному пути (например, /aggrega/prod/db-url).
  • Пример 2: внедрение входных данных (приложение Kubernetes) Разработчик прикрепляет Feature учётных данных core/referenced-secret к worker в слоте, который объявляет его Component, задавая origin равным строке детерминированного указателя ("/aggrega/prod/db-url"). На целевой платформе Kubernetes сущность Manifest привязывает это прикрепление к helm/k8s-external-secret, который рендерит Kubernetes ExternalSecret, запрашивающий у оператора хранилища секретов кластера извлечение этой записи в Secret, и публикует имя Secret и ключ данных; Recipe для worker читает их через attachments: своего контейнера и рендерит переменную окружения Pod, сопоставленную с valueFrom: secretKeyRef (см. Как учётные данные попадают в контейнер). Компилятор передаёт строку указателя и никогда не читает URL.

Во время выполнения Terraform выделяет БД и сохраняет URL в хранилище. Контейнер запускается, читает Secret, согласованный из хранилища, и подключается. Компилятор AOT сгенерировал связи через стабильные строки указателей, ни разу не нуждаясь в буквальном IP-адресе.

3. Императивные действия (исполняемая передача)

Проблема: декларативное состояние идеально подходит для выделения ресурсов в Day-1, но разработчикам нужно выполнять императивные действия: «Сделай резервную копию БД прямо сейчас.» У строго декларативного конвейера GitOps нет нативного механизма для повторного запуска статического скрипта.

Решение: спящие задачи и собственная команда целевой платформы Aggrega решает эту проблему, сохраняя строгую чистоту AOT. Она генерирует конфигурацию для задачи, которая развёртывается без запуска, а каждый запуск инициируется на целевой платформе её собственной командой.

  1. Намерение разработчика: разработчик объявляет скрипт как task в сущности Aggregate и присоединяет сущность Feature с запросом запускать его по требованию (например, core/manual-trigger). Запуск по требованию — часть того, чем является задача, поэтому её присоединяет разработчик; сущность Feature, все входы которой операционные, присоединяет вместо этого команда эксплуатации в сущности Release.
  2. Спящая форма: Собственная Recipe задачи на каждой целевой платформе читает прикрепление и рендерит задачу в форме, которая развёртывается без запуска выполнения. В Kubernetes задача — это CronJob, приостановленный через suspend: true, с расписанием, указывающим дату, которая никогда не наступит, вместо Job, который запустился бы сразу после развёртывания. В Docker Compose сервис задачи, который Compose не перезапускает после его завершения, получает профиль manual, поэтому docker compose up оставляет его остановленным. В Amazon ECS, через Terraform или CloudFormation, определение задачи развёртывается отдельно, без расписания, которое бы его запускало. FeatureRecipe, которую Manifest привязывает для этого прикрепления, не добавляет собственного файла ни на одной целевой платформе: изменение находится в собственном выводе задачи.
  3. Передача: Компилятор не обращается ни к какому кластеру и не вызывает никакой облачный API, а сборка не запускает никакого выполнения и не записывает никакого скрипта. Каждый запуск инициирует оператор собственной командой целевой платформы: kubectl create job <run-name> --from=cronjob/<cronjob> в Kubernetes, docker compose run --rm <service> в Docker Compose и aws ecs run-task в Amazon ECS, с указанием кластера, определения задачи и сетевой конфигурации, которые сущность Release задаёт в infra.overrides задачи. Генерация конфигурации и выполнение во время работы остаются разделёнными.

(Примечание: в Kubernetes и Amazon ECS задача с расписанием выполняется по нему независимо от наличия прикрепления, а та же команда запускает дополнительное выполнение между запланированными; в Docker Compose, где нет планировщика, Recipe задачи отклоняет расписание. Рабочий пример task-run-on-demand собирает один Aggregate для Kubernetes, Docker Compose, Terraform и CloudFormation и для каждой платформы показывает отрендеренный вывод и команду, запускающую выполнение.)

4. Предварительный анализ: хук рабочего пространства (RBAC и квоты платформы)

Проблема: некоторые изменения выделяют дорогую или критичную для продакшена инфраструктуру — скажем, большой кластер GPU — и не должны попадать в конвейер GitOps без проверки. Какие участники могут продвигать какие изменения в какие среды — это решение организационной политики; компилятор не должен жёстко его кодировать.

Решение: чистый компилятор AOT не может обратиться к Active Directory или получить облачные учётные данные, чтобы выяснить, кто запускает сборку. Чтобы предотвратить неавторизованную генерацию ещё до запуска CI/CD, архитектура опирается на явное внедрение контекста.

Когда aggrega build вызывается раннером CI/CD, конвейер записывает контекст выполнения в файл конфигурации, который передаёт через --config, как with.settings прикрепления управления, выносящего по нему решение (например, approval: standard). Файл перечисляет свои прикрепления под governance_append, поэтому они добавляются к плагинам управления, которые прикрепляет собственная конфигурация рабочего пространства, а не заменяются ими. Политика в роли ir-verdict читает эти настройки как input.settings. Она получает собранный граф, а не сущность Release, поэтому окружение сущности Release доходит до неё как метка: политика в роли label-transform читает input.compilation_context.environment и помечает им каждый узел. Вердикт сравнивает одно с другим и останавливает сборку, когда они расходятся, — здесь это производственная сборка, настройки которой не содержат approval: platform-approved:

# ci-governance.yaml — written by the CI/CD runner, passed as `aggrega build --config ci-governance.yaml`
plugins:
governance_append:
- uri: governance/rego:<version>
role: label-transform
with:
sources:
- policies/environment.rego
- uri: governance/rego:<version>
role: ir-verdict
with:
sources:
- policies/approval.rego
settings:
approval: standard
# policies/environment.rego — evaluated by the governance label-transform role, during topology construction
package acme.context
import rego.v1
labels contains {"node": id, "key": "acme.com/environment", "value": input.compilation_context.environment} if {
some id, _ in input.graph.nodes
}
# policies/approval.rego — evaluated by the governance ir-verdict role over the assembled graph
package acme.approval
import rego.v1
approved if input.settings.approval == "platform-approved"
deny contains msg if {
not approved
some node in input.graph.spec.nodes
node.labels["acme.com/environment"] == "production"
msg := "a production build needs the approval platform-approved in the pipeline's governance settings."
}

Запуск, в настройках которого вообще нет одобрения, тоже отклоняется, потому что правило проверяет, присутствует ли это одобрение, а не присутствует ли другое. Это изолирует RBAC от собственной логики компилятора, так что компилятор действует исключительно как детерминированный вычислитель предоставленных данных.

5. Shift-left FinOps (оценка затрат через политики)

Проблема: случайные ошибки конфигурации (например, запрос workers: 500) могут обойти финансовые предохранители и вызвать крупный перерасход средств в облаке.

Решение (корпоративные политики Wasm): поскольку граф IR содержит полную топологию, а сущность Release — физическое отображение (.infra), предприятия могут до генерации оценить точную стоимость того, что развёртывает сущность Release, не нуждаясь в жёстко закодированной функции компилятора. Предприятия просто создают собственный FinOps-плагин WebAssembly и прикрепляют его к сокету управления в роли вердикта. Этот собственный плагин может читать полезные нагрузки .infra, вычислять ориентировочную месячную стоимость и останавливать сборку, если вычисленная стоимость превышает внутренне определённые бюджетные лимиты предприятия.

6. Жизненный цикл импорта «brownfield»

Проблема: у предприятий уже работает бо́льшая часть инфраструктуры. Хотя Aggrega спроектирована так, чтобы подключать сборку к неуправляемой инфраструктуре через ссылочную рабочую нагрузку (сквозная сеть; см. ссылочные рабочие нагрузки), перенос существующей базы данных Oracle в сгенерированное Aggrega состояние Terraform обычно приводит к тому, что оркестраторы пытаются пересоздать базу данных, уничтожая существующие данные.

Решение (запланировано): Для управления жизненным циклом импорта запланирована Feature core/resource-adoption.

Когда разработчик моделирует существующую базу данных в своей сущности Aggregate и присоединяет функцию resource-adoption в последовательно выполняемом конвейере, Wasm-плагин рендеринга спроектирован так, чтобы оценивать базовую полезную нагрузку Ops сущности Recipe. Вместо вывода стандартных конфигураций создания плагин спроектирован так, чтобы выводить явный синтаксис принятия целевой платформы (например, возвращая JSONPatch с блоками Terraform import {} или политиками управления Crossplane ObserveOnly). Это позволяет предприятиям безопасно генерировать конфигурации, которые включают унаследованную архитектуру в плоскость управления GitOps без простоя.

7. Лучшие практики Ops и детерминированное именование

Если ядро компилятора опирается на стабильные внутренние идентификаторы узлов (например, support-db) в плоском графе IR, то физические облачные провайдеры (такие как AWS, Azure и GCP) часто требуют глобально уникальных строк для физической инфраструктуры (например, имён бакетов S3, имён ролей IAM или доменов API Gateway).

Если инженер Platform Ops жёстко закодирует физическое имя в своём базовом шаблоне (например, bucket_name: "enterprise-data-bucket"), сгенерированные артефакты в первый раз применятся без проблем. Однако если разработчик развернёт вторую среду (например, staging и prod), облачный провайдер во время выполнения отклонит ресурсы второй среды из-за конфликта имён.

Правило детерминированного вывода (безопасность GitOps): поскольку контроллеры GitOps (ArgoCD, Flux) выявляют различия на уровне байтов в отрендеренных артефактах, компилятор гарантирует, что идентичные входы дают побайтово идентичные выходы. Отображения, проходящие через контекст шаблона (.context.inject.env, .values, .infra и остальная часть представления времени выполнения), основаны на структурах упорядоченных отображений, которые сохраняют порядок вставки автора по всему уровню данных, и граница шаблона — единственное исключение: {{ range }} по этим отображениям итерирует в алфавитном порядке ключей, как это делают шаблоны Go, а не в порядке автора. Инженеры Ops могут рассчитывать на то, что этот порядок итерации детерминирован между запусками с одним и тем же входом; там, где последовательность несёт смысл, её записывают как список, а не восстанавливают из отображения. Однако функция Sprig keys возвращает порядок итерации отображений Go (который по замыслу языка не детерминирован); шаблоны, составляющие детерминированную последовательность ключей из вывода keys, должны пропустить его через sortAlpha (например, {{ keys .values | sortAlpha }}), чтобы восстановить детерминированность.

Золотое правило для сущностей Recipes от Ops (паттерн Helm): инженеры Platform Ops никогда не должны жёстко кодировать физические имена облачных ресурсов. Вместо этого они должны строить детерминированно уникальные имена, конкатенируя контекст развёртывания Aggrega на этапе оценки шаблона. Это правило повторного использования и защиты от конфликтов, а не правило детерминированности — жёстко закодированные имена дают стабильный вывод, но фатально конфликтуют, когда одна и та же сущность Recipe рендерит несколько экземпляров компонента или когда одна и та же сущность Aggregate развёртывается в нескольких сущностях Releases.

Компилятор предоставляет ровно две переменные, гарантирующие глобальную уникальность:

  1. {{ .metadata.release_name }}: имя сущности Release, управляющей развёртыванием (например, prod-billing).
  2. {{ .context.instance_id }}: конкретный идентификатор сущности Component из сущности Aggregate разработчика (например, receipt-storage).

Конкатенируя их (например, {{ .metadata.release_name }}-{{ .context.instance_id }}), команда Ops гарантирует, что конфигурации, сгенерированные Wasm-плагинами, используют уникальные имена ресурсов для каждой среды и каждого компонента, не требуя от разработчика управлять физическими соглашениями об именовании.