Життєві цикли Day-2
Життєві цикли Day-2 і виконання в часі
Агностичний щодо можливостей компілятор випереджувальної компіляції (Ahead-of-Time, AOT) за своєю природою створює розрив між декларативним наміром (Day-1) і операційною реальністю (Day-2). Хмара не є повністю детермінованою, розгортання потребує впорядкування в часі, а розробникам потрібні імперативні тригери для завдань обслуговування.
Aggrega структурно долає ці розриви за допомогою конкретних архітектурних поліфілів і нативної для GitOps маршрутизації, тож згенеровані конфігурації відповідають цим операційним потребам, не порушуючи чистоти ядра компілятора.
1. Модель виконання DAG (впорядкування в часі)
Проблема: розгортання інфраструктури — це орієнтований ациклічний граф (DAG) часу. Завдання task міграції бази даних має завершитися до того, як запуститься вебсервер server. Однак компілятори AOT генерують пласкі теки статичного YAML або Terraform. Якщо передати ці пласкі теки контролеру GitOps (наприклад, ArgoCD), він застосує все одночасно, і вебсервер потрапить у цикл аварійних перезапусків, очікуючи на базу даних.
Рішення: syncWave для кожної межі в сутності Release Сутність Aggregate розробника залишається незмінною. Оскільки впорядкування — це фізична операційна реальність, ним керують виключно в Домені 4 (сутність Release). Кожна межа в сутності Release має необов’язкове поле syncWave: <integer>, яке дає змогу оператору платформи явно розподілити порядок викочування на рівні межі.
apiVersion: aggrega.ai/v1beta1kind: Releasemetadata: name: sequenced-release version: 1.0.0 environment: productionspec: aggregate: my-app manifest: prod-manifest boundaries: infra: syncWave: 0 components: core-vpc: {} postgres-db: {} migrations: syncWave: 1 components: db-migration-task: {} apps: syncWave: 2 components: web-server: {} support-agent: {}Семантика значення хвилі:
- Хвиля — це ціле число зі знаком; типове значення —
0. Від’ємні значення виконуються раніше за все інше (CRD, простори імен, RBAC); більші значення виконуються після менших. Оператори задають значення відповідно до своєї топології розгортання. - Кожен екземпляр компонента, що безпосередньо міститься в межі, успадковує значення хвилі межі у свій вузол IR. На рівні авторингу немає перевизначення для окремого компонента — внутрішнє для провайдера впорядкування окремих ресурсів у межах однієї межі є справою провайдера.
- Вкладені межі не успадковують неявно. Вкладена межа, яка не оголошує
syncWave, отримує типове значення0незалежно від оголошення зовнішньої межі. Оператори, яким потрібно «увесьouter— це хвиля 1, включно з його підмежеюinner», оголошуютьsyncWave: 1на обох.
Дія компілятора: Компілятор поширює значення wave кожного boundary на відрендерені маніфести в цьому boundary. Providers генерують нативні примітиви впорядкування:
- Для Kubernetes (ArgoCD/Flux): провайдер helm виводить
argocd.argoproj.io/sync-wave: "<N>"як записmetadata.annotationsу кожному відрендереному маніфесті, а ресурс, який чарт позначає як хук Helm, додатково отримуєhelm.sh/hook-weight: "<N>"для нативного впорядкування хуків Helm. Провайдер helm-chart виводить анотацію лише у файлах шаблонів, які Recipe додає до чарту черезartifacts:; власні шаблони чарту він копіює без змін, тож вони не несуть wave. - Для Compose: провайдер compose виражає впорядкування як
depends_onміж сервісами файлу, у який рендериться межа, з умовою на стан справності цілі там, де ціль оголошуєhealthcheck, і на її запуск там, де не оголошує.depends_onназиває сервіс у межах одного файлу, тому впорядкування між двома файлами compose виразити неможливо; оператори впорядковують окремі проєкти compose на рівні викликуdocker compose up. - Для CloudFormation: провайдер cloudformation виражає впорядкування як
DependsOnміж ресурсами шаблону стека, у який збирається група диспетчеризації; кожен ресурс називає ресурси безпосередньо попередньої заповненої хвилі, а ціль зв’язує решту в ланцюжок. Атрибут визначає як порядок створення, так і зворотний порядок видалення; він не виражає жодної умови готовності, бо шаблон не має поняття про те, що ресурс придатний до роботи.DependsOnназиває ресурс у межах одного шаблону, тому впорядкування між двома стеками виразити неможливо; оператори впорядковують окремі стеки на рівні розгортання. - Для Terraform: провайдер terraform виражає порядок як
depends_onміж блокамиmoduleкореневої конфігурації, у яку збирається межа: кожен модуль вказує модулі безпосередньо попередньої заповненої хвилі, а решту вибудовує в ланцюжок Terraform. Він упорядковує дії, які виконує Terraform, і не виражає жодної умови готовності, бо конфігурація не має поняття про те, що ресурс готовий до обслуговування.depends_onвказує модуль усередині однієї конфігурації, тож порядок між двома кореневими конфігураціями виразити не можна; їхнє впорядкування — справа оператора.
Внутрішній ключ Aggrega aggrega.ai/sync-wave: "<N>" постачається поряд з анотацією ArgoCD для спостережуваності та відстеження походження — як анотація у виводі helm і у файлах шаблонів, які Recipe додає до чарту helm-chart, як мітка сервісу в compose, як рядок коментаря про походження в кожному модулі terraform і під Metadata."aggrega.ai/provenance" кожного ресурсу cloudformation, — тоді як контролери GitOps споживають саме анотацію ArgoCD.
Одиниця авторингу хвиль і одиниця розгортання
Межа є одиницею авторингу хвиль. Одиницею розгортання є шлях збирання — результат на диску, створений компілятором, щодо якого оркеструє конвеєр CI/CD. Типово одна межа відповідає одному шляху збирання: компоненти кожної межі виводяться в boundaries/<boundary-name>/<provider>/, а helm install / docker compose up виконується щодо цього шляху.
Оператори можуть згорнути цю відповідність 1:1. Межі можуть оголошувати поля шаблону шляху directory: (і subDirectory:), які, якщо їх спільно використовують кілька меж, спрямовують компоненти цих меж в один зібраний результат за спільним шляхом. Дві межі, що оголошують directory: "deploy/cluster", створюють один зібраний результат із компонентами обох — одиницею розгортання стає шлях збирання, а не ідентичність межі.
Маніфести зі змішаними хвилями в одному зібраному результаті — це нормально, і вони підтримуються. Коли межа A оголошує syncWave: 1, а межа B — syncWave: 2, і обидві спільно використовують directory: "deploy/cluster", отримана одиниця розгортання містить компоненти обох меж; кожен маніфест несе анотацію хвилі своєї вихідної межі. Інструменти часу виконання читають анотації окремих ресурсів і впорядковують у межах зібраної одиниці розгортання — контекст синхронізації ArgoCD для кожного Application обробляє маніфести хвилі 1, чекає, доки вони стануть Healthy, а потім обробляє хвилю 2; впорядкування хуків Helm читає helm.sh/hook-weight для кожного ресурсу хука. Це стандартний патерн ArgoCD: виведення на рівні ресурсу — саме той вхід, якого очікують споживачі з інших інструментів.
Впорядкування між Application (коли оператор запускає кілька Application ArgoCD щодо окремих зібраних результатів) — це конфігурація CI на рівні оператора — Aggrega створює артефакти; оператор вибудовує навколо них свої Application ArgoCD за допомогою app-of-apps або Progressive Sync. Патерн анотацій на рівні ресурсу в Aggrega — це стандартна форма входу, якої очікує кожен споживач з інших інструментів.
2. Поліфіл динамічної адресації
Проблема: хмара не є детермінованою в момент створення. Ресурси на кшталт екземплярів AWS RDS або кошиків S3 генерують випадкові хеші в URL лише після фізичного виділення. Оскільки компілятор AOT генерує конфігурацію до того, як хмара щось виділить, компілятор фізично не може вставити буквальний URL бази даних у змінну середовища контейнера.
Рішення: детерміновані вказівники через Features облікових даних Aggrega розв’язує це, використовуючи наявні Features облікових даних і зміщуючи визначення «детермінованості» з буквальної IP-адреси на детермінований вказівник. Згенерована конфігурація передає не URL, а шлях до Cloud Vault, де URL буде існувати.
- Приклад 1: генерування виводу (Terraform RDS) Сутність Recipe від Ops для бази даних створює екземпляр AWS RDS. Важливо, що сутність Recipe написано так, щоб вона нативно записувала щойно згенерований динамічний URL в AWS Systems Manager (SSM) Parameter Store за детерміновано названим шляхом (наприклад,
/aggrega/prod/db-url). - Приклад 2: впровадження вхідних даних (застосунок Kubernetes) Розробник прикріплює Feature облікових даних
core/referenced-secretдо worker у слоті, який оголошує його Component, задаючиoriginрівним рядку детермінованого вказівника ("/aggrega/prod/db-url"). На цільовій платформі Kubernetes сутність Manifest прив’язує це прикріплення доhelm/k8s-external-secret, який рендерить KubernetesExternalSecret, що просить оператора сховища секретів кластера отримати цей запис у Secret, і публікує ім’я Secret та ключ даних; Recipe для worker читає їх черезattachments:свого контейнера і рендерить змінну середовища Pod, зіставлену зvalueFrom: secretKeyRef(див. Як облікові дані потрапляють до контейнера). Компілятор передає рядок вказівника і ніколи не читає URL.
Під час виконання Terraform виділяє БД і зберігає URL у сховищі. Контейнер запускається, читає Secret, узгоджений зі сховища, і підключається. Компілятор AOT згенерував зв’язки через стабільні рядки вказівників, жодного разу не потребуючи буквальної IP-адреси.
3. Імперативні дії (виконувана передача)
Проблема: декларативний стан ідеально підходить для виділення ресурсів у Day-1, але розробникам потрібно виконувати імперативні дії: «Зроби резервну копію БД просто зараз.» Суворо декларативний конвеєр GitOps не має нативного механізму повторно запустити статичний скрипт.
Рішення: сплячі завдання та власна команда цільової платформи Aggrega розв’язує цю проблему, зберігаючи сувору чистоту AOT. Вона генерує конфігурацію для завдання, яке розгортається без запуску, а кожен запуск ініціюється на цільовій платформі її власною командою.
- Намір розробника: розробник оголошує скрипт як
taskу сутностіAggregateі приєднує сутність Feature із запитом запускати його на вимогу (наприклад,core/manual-trigger). Запуск на вимогу є частиною того, чим є завдання, тому її приєднує розробник; сутність Feature, усі входи якої операційні, натомість приєднує команда експлуатації в сутності Release. - Сплячий вигляд: Власна Recipe завдання на кожній цільовій платформі читає приєднання й рендерить завдання у вигляді, який розгортається без запуску виконання. У Kubernetes завдання — це
CronJob, призупинений черезsuspend: true, із розкладом, що вказує дату, яка ніколи не настане, замістьJob, який запустився б одразу після розгортання. У Docker Compose сервіс завдання, який Compose не перезапускає після його завершення, має профільmanual, тожdocker compose upзалишає його зупиненим. В Amazon ECS, через Terraform чи CloudFormation, визначення завдання розгортається окремо, без розкладу, який би його запускав. FeatureRecipe, яку Manifest прив’язує для цього приєднання, не додає власного файлу на жодній цільовій платформі: зміна полягає у власному виводі завдання. - Передавання: Компілятор не звертається до жодного кластера й не викликає жодного хмарного API, а збірка не запускає жодного виконання й не записує жодного скрипту. Кожен запуск ініціює оператор власною командою цільової платформи:
kubectl create job <run-name> --from=cronjob/<cronjob>у Kubernetes,docker compose run --rm <service>у Docker Compose таaws ecs run-taskв Amazon ECS, із зазначенням кластера, визначення завдання й мережевої конфігурації, які сутність Release задає вinfra.overridesзавдання. Генерування конфігурації та виконання під час роботи залишаються розділеними.
(Примітка: у Kubernetes і Amazon ECS завдання з розкладом виконується за ним незалежно від наявності приєднання, а та сама команда запускає додаткове виконання між запланованими; у Docker Compose, де немає планувальника, Recipe завдання відхиляє розклад. Робочий приклад task-run-on-demand збирає один Aggregate для Kubernetes, Docker Compose, Terraform і CloudFormation і для кожної платформи показує відрендерений вивід і команду, яка запускає виконання.)
4. Попередній аналіз: хук робочого простору (RBAC і квоти платформи)
Проблема: деякі зміни виділяють дорогу або критичну для продакшну інфраструктуру — скажімо, великий кластер GPU — і не повинні потрапляти в конвеєр GitOps без перевірки. Які учасники можуть просувати які зміни в які середовища — це рішення організаційної політики; компілятор не повинен жорстко його кодувати.
Рішення: чистий компілятор AOT не може звернутися до Active Directory чи отримати хмарні облікові дані, щоб з’ясувати, хто запускає збирання. Щоб запобігти неавторизованому генеруванню ще до запуску CI/CD, архітектура спирається на явне впровадження контексту.
Коли aggrega build викликається раннером CI/CD, конвеєр записує контекст виконання у файл конфігурації, який передає через --config, як with.settings прикріплення керування, що ухвалює щодо нього рішення (наприклад, approval: standard). Файл перелічує свої прикріплення під governance_append, тож вони додаються до плагінів керування, які прикріплює власна конфігурація робочого простору, а не замінюються ними. Політика в ролі ir-verdict читає ці налаштування як input.settings. Вона отримує зібраний граф, а не сутність Release, тож середовище сутності Release доходить до неї як мітка: політика в ролі label-transform читає input.compilation_context.environment і позначає ним кожен вузол. Вердикт порівнює одне з іншим і зупиняє збирання, коли вони не збігаються, — тут це виробниче збирання, налаштування якого не містять approval: platform-approved:
# ci-governance.yaml — written by the CI/CD runner, passed as `aggrega build --config ci-governance.yaml`plugins: governance_append: - uri: governance/rego:<version> role: label-transform with: sources: - policies/environment.rego - uri: governance/rego:<version> role: ir-verdict with: sources: - policies/approval.rego settings: approval: standard# policies/environment.rego — evaluated by the governance label-transform role, during topology constructionpackage acme.context
import rego.v1
labels contains {"node": id, "key": "acme.com/environment", "value": input.compilation_context.environment} if { some id, _ in input.graph.nodes}# policies/approval.rego — evaluated by the governance ir-verdict role over the assembled graphpackage acme.approval
import rego.v1
approved if input.settings.approval == "platform-approved"
deny contains msg if { not approved some node in input.graph.spec.nodes node.labels["acme.com/environment"] == "production" msg := "a production build needs the approval platform-approved in the pipeline's governance settings."}Запуск, налаштування якого взагалі не містять схвалення, теж відхиляється, бо правило перевіряє, чи присутнє це схвалення, а не чи присутнє інше. Це ізолює RBAC від власної логіки компілятора, тож компілятор діє виключно як детермінований обчислювач наданих даних.
5. Shift-left FinOps (оцінювання витрат через політики)
Проблема: випадкові помилки конфігурації (наприклад, запит workers: 500) можуть обійти фінансові запобіжники та спричинити великі перевитрати в хмарі.
Рішення (корпоративні політики Wasm): оскільки граф IR містить повну топологію, а сутність Release — фізичне відображення (.infra), підприємства можуть до генерування оцінити точну вартість того, що розгортає сутність Release, не потребуючи жорстко закодованої функції компілятора. Підприємства просто створюють власний FinOps-плагін WebAssembly і прикріплюють його до сокета керування в ролі вердикту. Цей власний плагін може читати корисні навантаження .infra, обчислювати орієнтовну місячну вартість і зупиняти збирання, якщо обчислена вартість перевищує внутрішньо визначені бюджетні ліміти підприємства.
6. Життєвий цикл імпорту «brownfield»
Проблема: у підприємств уже працює більша частина інфраструктури. Хоча Aggrega спроєктовано так, щоб підключати збирання до некерованої інфраструктури через посилальне робоче навантаження (наскрізна мережа; див. посилальні робочі навантаження), перенесення наявної бази даних Oracle у згенерований Aggrega стан Terraform зазвичай призводить до того, що оркестратори намагаються заново створити базу даних, знищуючи наявні дані.
Рішення (заплановано): Для керування життєвим циклом імпорту заплановано Feature core/resource-adoption.
Коли розробник моделює наявну базу даних у своїй сутності Aggregate і приєднує функцію resource-adoption у послідовно виконуваному конвеєрі, Wasm-плагін рендерингу спроєктовано так, щоб оцінювати базове корисне навантаження Ops сутності Recipe. Замість виведення стандартних конфігурацій створення плагін спроєктовано так, щоб виводити явний синтаксис прийняття цільової платформи (наприклад, повертаючи JSONPatch із блоками Terraform import {} або політиками керування Crossplane ObserveOnly). Це дає підприємствам змогу безпечно генерувати конфігурації, які вбирають застарілу архітектуру в площину керування GitOps без простою.
7. Найкращі практики Ops і детерміноване іменування
Тоді як ядро компілятора спирається на стабільні внутрішні ідентифікатори вузлів (наприклад, support-db) у пласкому графі IR, фізичні хмарні провайдери (як-от AWS, Azure і GCP) часто вимагають глобально унікальних рядків для фізичної інфраструктури (наприклад, імен кошиків S3, імен ролей IAM або доменів API Gateway).
Якщо інженер Platform Ops жорстко закодує фізичне ім’я у своєму базовому шаблоні (наприклад, bucket_name: "enterprise-data-bucket"), згенеровані артефакти першого разу застосуються без проблем. Однак якщо розробник розгорне друге середовище (наприклад, staging і prod), хмарний провайдер під час виконання відхилить ресурси другого середовища через конфлікт імен.
Правило детермінованого виводу (безпека GitOps): оскільки контролери GitOps (ArgoCD, Flux) виявляють відмінності на рівні байтів у відрендерених артефактах, компілятор гарантує, що ідентичні входи дають побайтово ідентичні виходи. Відображення, що проходять через контекст шаблону (.context.inject.env, .values, .infra і решта подання часу виконання), спираються на структури впорядкованих відображень, які зберігають порядок вставлення автора по всьому рівню даних, і межа шаблону — єдиний виняток: {{ range }} по цих відображеннях ітерує в алфавітному порядку ключів, як це роблять шаблони Go, а не в порядку автора. Інженери Ops можуть покладатися на те, що цей порядок ітерації детермінований між запусками з тим самим входом; там, де послідовність має значення, її записують як список, а не відновлюють із відображення. Проте функція Sprig keys повертає порядок ітерації відображень Go (який за задумом мови не є детермінованим); шаблони, що складають детерміновану послідовність ключів із виводу keys, мають пропустити його через sortAlpha (наприклад, {{ keys .values | sortAlpha }}), щоб відновити детермінованість.
Золоте правило для сутностей Recipes від Ops (патерн Helm): інженери Platform Ops ніколи не повинні жорстко кодувати фізичні імена хмарних ресурсів. Натомість вони мають будувати детерміновано унікальні імена, конкатенуючи контекст розгортання Aggrega на етапі оцінювання шаблону. Це правило повторного використання та захисту від конфліктів, а не правило детермінованості — жорстко закодовані імена дають стабільний вивід, але фатально конфліктують, коли та сама сутність Recipe рендерить кілька екземплярів компонента або коли та сама сутність Aggregate розгортається в кількох сутностях Releases.
Компілятор надає рівно дві змінні, щоб гарантувати глобальну унікальність:
{{ .metadata.release_name }}: ім’я сутностіRelease, що керує розгортанням (наприклад,prod-billing).{{ .context.instance_id }}: конкретний ідентифікатор сутності Component із сутностіAggregateрозробника (наприклад,receipt-storage).
Конкатенуючи їх (наприклад, {{ .metadata.release_name }}-{{ .context.instance_id }}), команда Ops гарантує, що конфігурації, згенеровані Wasm-плагінами, використовують унікальні імена ресурсів для кожного середовища та кожного компонента, не вимагаючи від розробника керувати фізичними домовленостями щодо іменування.