跳转到内容
AggregaAggrega
选择语言: 简体中文
本页面由机器翻译。阅读英文原文。

Day-2 生命周期

Day-2 生命周期与时序执行

一个与能力无关的预先编译(Ahead-of-Time,AOT)编译器,必然会在声明式意图(Day-1)与运维现实(Day-2)之间产生差距。云并非完全确定,部署需要时序编排,开发者还需要用于维护任务的命令式触发方式。

Aggrega 通过特定的架构 polyfill 和 GitOps 原生路由,从结构上弥合这些差距,使生成的配置满足这些运维需求,同时不损害核心编译器的纯粹性。

1. DAG 执行模型(时序编排)

问题: 基础设施部署是一个关于时间的有向无环图(DAG)。数据库迁移 task 必须在 Web server 启动之前运行完成。然而,AOT 编译器生成的是扁平的静态 YAML 或 Terraform 文件夹。如果把这些扁平文件夹交给 GitOps 控制器(如 ArgoCD),它会同时应用所有内容,导致 Web 服务器在等待数据库时陷入崩溃循环。

解决方案:在 Release 中按边界设置 syncWave 开发者的 Aggregate 保持不变。由于时序编排是物理层面的运维现实,它严格在领域 4(Release)中管理。Release 中的每个边界都带有一个可选的 syncWave: <integer> 字段,使平台运维人员能够在边界级别显式地安排发布顺序。

apiVersion: aggrega.ai/v1beta1
kind: Release
metadata:
name: sequenced-release
version: 1.0.0
environment: production
spec:
aggregate: my-app
manifest: prod-manifest
boundaries:
infra:
syncWave: 0
components:
core-vpc: {}
postgres-db: {}
migrations:
syncWave: 1
components:
db-migration-task: {}
apps:
syncWave: 2
components:
web-server: {}
support-agent: {}

波次值语义:

  • 波次是一个有符号整数,默认值为 0。负值在其他所有内容之前运行(CRD、命名空间、RBAC);较大的值在较小的值之后运行。运维人员根据自己的部署拓扑设置这些值。
  • 边界中直接包含的每个组件实例都会将该边界的波次值继承到其 IR 节点中。编写层不提供按组件的覆盖——单个边界内按资源的 provider 内部排序由 provider 负责。
  • 嵌套边界不会隐式继承。未声明 syncWave 的嵌套边界默认为 0,无论外层边界如何声明。若运维人员希望“outer 全部为波次 1,包括其 inner 子边界”,需在两者上都声明 syncWave: 1。

编译器的效果: 编译器将每个边界的 wave 值传播到该边界中渲染出的 manifest。Providers 输出原生的排序原语:

  • 对于 Kubernetes(ArgoCD/Flux): helm provider 会在每个渲染出的 manifest 上输出 argocd.argoproj.io/sync-wave: "<N>",作为 metadata.annotations 条目;chart 标记为 Helm hook 的资源还会额外获得 helm.sh/hook-weight: "<N>",用于原生的 Helm hook 排序。helm-chart provider 只在 Recipe 通过 artifacts: 添加到 chart 中的模板文件上输出该注解;它会原样复制 chart 自身的模板,因此这些模板不带 wave。
  • 对于 Compose: compose provider 将排序表达为边界渲染到的文件中各服务之间的 depends_on:目标声明了 healthcheck 时以目标的健康状态为条件,未声明时以其启动为条件。depends_on 只能指向同一文件内的服务,因此无法表达跨两个 compose 文件的排序;运维人员在 docker compose up 调用层编排各个独立的 compose 项目。
  • 对于 CloudFormation: cloudformation provider 将排序表达为某个分派组所汇编成的栈模板中各资源之间的 DependsOn:每个资源指向紧邻的前一个非空波次中的资源,其余则由目标串联起来。该属性既决定创建顺序,也反向决定删除顺序;它不表达任何就绪条件,因为模板中没有资源可用这一概念。DependsOn 只能指向同一模板内的资源,因此无法表达跨两个栈的排序;运维人员在部署层编排各个独立的栈。
  • 对于 Terraform: terraform provider 将顺序表达为边界所组装进的根配置中各 module 块之间的 depends_on,每个模块指向紧邻的前一个有内容的 wave 中的模块,其余的由 Terraform 串联。它对 Terraform 执行的操作进行排序,不表达任何就绪条件,因为配置中没有资源可提供服务这一概念。depends_on 指向单个配置内的模块,因此无法表达跨两个根配置的顺序;对它们进行排序是运维人员的事。

Aggrega 内部的 aggrega.ai/sync-wave: "<N>" 键会与 ArgoCD 注解一同输出,用于可观测性和溯源——在 helm 输出以及 Recipe 添加到 helm-chart chart 中的模板文件上作为注解,在 compose 上作为服务标签,在每个 terraform 模块中作为溯源注释的一行,在每个 cloudformation 资源的 Metadata."aggrega.ai/provenance" 之下——而 GitOps 控制器使用的是 ArgoCD 注解。

波次编写单元与可部署单元

边界是波次编写单元。可部署单元是汇编路径——编译器生成的、CI/CD 流水线据以编排的磁盘输出。默认情况下,一个边界对应一个汇编路径:每个边界的组件输出到 boundaries/<boundary-name>/<provider>/ 下,helm install / docker compose up 针对该路径运行。

运维人员可以合并这种 1:1 映射。边界可以声明 directory:(以及 subDirectory:)路径模板字段;当多个边界共用这些字段时,这些边界的组件会被路由到共享路径下的同一个汇编输出中。两个声明了 directory: "deploy/cluster" 的边界会生成一个包含两者组件的汇编输出——可部署单元变为汇编路径,而不是边界标识。

同一汇编输出中包含不同波次的 manifest 是正常且受支持的。当边界 A 声明 syncWave: 1、边界 B 声明 syncWave: 2,且两者共用 directory: "deploy/cluster" 时,生成的可部署单元包含两个边界的组件;每个 manifest 都带有其所属编写边界的波次注解。运行时工具读取按资源设置的注解,并在汇编后的部署单元内排序——ArgoCD 的每个 Application 同步上下文会先处理波次 1 的 manifest,等待它们变为 Healthy,再处理波次 2;Helm 的 hook 排序则按每个 hook 资源读取 helm.sh/hook-weight。这是标准的 ArgoCD 模式:按资源输出的内容正是跨工具使用方所期望的输入。

跨 Application 的时序编排(当运维人员针对不同的汇编输出运行多个 ArgoCD Application 时)属于运维层面的 CI 配置——Aggrega 生成制品;运维人员通过 app-of-apps 或 Progressive Sync 围绕这些制品编排自己的 ArgoCD Application。Aggrega 按资源设置注解的模式,正是每个跨工具使用方所期望的标准输入形式。

2. 动态寻址 Polyfill

问题: 云在创建时是不确定的。AWS RDS 实例或 S3 存储桶等资源只有在实际完成置备之后才会生成随机的 URL 哈希。由于 AOT 编译器在云置备任何资源之前就生成配置,编译器在物理上不可能把字面的数据库 URL 注入容器的环境变量。

解决方案:通过凭据 Features 实现确定性指针 Aggrega 借助现有的凭据 Features 解决这一问题,将“确定性”的定义从字面 IP 地址转变为确定性指针。生成的配置不传递 URL,而是传递指向云保管库(Cloud Vault)中该 URL 将要存在的位置的路径。

  • 示例 1:输出生成(Terraform RDS) 数据库的运维 Recipe 创建 AWS RDS 实例。关键在于,该 Recipe 在编写时就会原生地把新生成的动态 URL 输出到 AWS Systems Manager(SSM)Parameter Store 中一个确定命名的路径(例如 /aggrega/prod/db-url)。
  • 示例 2:输入注入(Kubernetes 应用) 开发者将凭据 Feature core/referenced-secret 挂接到 worker 上,放在其 Component 声明的一个槽位中,并将 origin 设置为确定性指针字符串("/aggrega/prod/db-url")。在 Kubernetes 目标上,Manifest 将该挂接绑定到 helm/k8s-external-secret,后者渲染一个 Kubernetes ExternalSecret,请求集群的 secret-store operator 将该条目拉取到一个 Secret 中,并发布该 Secret 的名称和数据键;worker 的 Recipe 通过其容器的 attachments: 读取它们,并渲染一个映射到 valueFrom: secretKeyRef 的 Pod 环境变量(参见凭据如何到达容器)。编译器只传递指针字符串,从不读取 URL。

运行时,Terraform 置备数据库并将 URL 保存到保管库。容器启动后读取从保管库同步而来的 Secret,并建立连接。AOT 编译器通过稳定的指针字符串生成了这些关系,全程无需字面 IP 地址。

3. 命令式操作(可执行交接)

问题: 声明式状态非常适合 Day-1 资源配置,但开发者需要执行命令式操作:“立即运行一次数据库备份。” 严格声明式的 GitOps 流水线没有原生机制来重新触发静态脚本。

解决方案:休眠任务与目标平台自身的命令 Aggrega 在保持严格 AOT 纯粹性的同时解决了这一问题。它为一个部署后不会启动的任务生成配置,每次运行都在目标平台上用目标平台自身的命令启动。

  1. 开发者意图: 开发者在 Aggregate 中将脚本声明为 task,并附加一个要求按需运行它的 Feature(例如 core/manual-trigger)。按需运行是该任务本身的一部分,因此由开发者附加;而输入全部属于运维范畴的 Feature 则由运维在 Release 中附加。
  2. 休眠形态: 任务在每个目标平台上的自身 Recipe 读取该附加,并以部署后不会启动运行的形态渲染该任务。在 Kubernetes 上,任务是一个以 suspend: true 挂起的 CronJob,其调度指定一个永远不会到来的日期,以取代一经部署就会运行的 Job。在 Docker Compose 上,任务的服务(Compose 在其退出后不会重启它)带有 profile manual,因此 docker compose up 会让它保持停止状态。在 Amazon ECS 上,无论通过 Terraform 还是 CloudFormation,任务定义都单独部署,没有任何启动它的调度。Manifest 为该附加绑定的 FeatureRecipe 在任何目标平台上都不会添加自己的文件:变化体现在任务自身的输出中。
  3. 交接: 编译器不连接任何集群,也不调用任何云 API;构建既不启动运行,也不编写脚本。每次运行都由运维人员用目标平台自身的命令启动:在 Kubernetes 上是 kubectl create job <run-name> --from=cronjob/<cronjob>,在 Docker Compose 上是 docker compose run --rm <service>,在 Amazon ECS 上是 aws ecs run-task,并给出 Release 在任务的 infra.overrides 下设置的集群、任务定义和网络配置。配置生成与运行时执行保持分离。

(注:在 Kubernetes 和 Amazon ECS 上,带有调度的任务无论是否存在该附加都会按调度运行,同一命令会在两次调度运行之间额外启动一次运行;在没有调度器的 Docker Compose 上,任务的 Recipe 会拒绝调度。完整示例 task-run-on-demand 为 Kubernetes、Docker Compose、Terraform 和 CloudFormation 构建同一个 Aggregate,并在每个平台上展示渲染输出和启动一次运行的命令。)

4. 预分析:Workspace 钩子(平台 RBAC 与配额)

问题: 某些变更会配置昂贵或对生产至关重要的基础设施(例如大型 GPU 集群),不得未经审查就流入 GitOps 流水线。哪些贡献者可以将哪些变更推广到哪些环境,是组织层面的策略决策;编译器不得将其硬编码。

解决方案: 纯粹的 AOT 编译器无法访问 Active Directory 或获取云凭据来确定是谁在运行构建。为了在 CI/CD 运行之前防止未授权的生成,该架构依赖显式的上下文注入。

当 CI/CD 运行器调用 aggrega build 时,流水线会把执行上下文写入一个通过 --config 传入的配置文件,作为对其进行裁决的治理挂接的 with.settings(例如 approval: standard)。该文件在 governance_append 下列出其挂接,因此它们会追加到工作区自身配置所挂接的治理插件之上,而不是被这些插件取代。位于 ir-verdict 角色的策略以 input.settings 读取这些设置。它接收的是组装好的图,而不是 Release,因此 Release 的环境以标签的形式到达它:位于 label-transform 角色的策略读取 input.compilation_context.environment,并用它为每个节点打标签。裁决会比较两者,并在二者不一致时终止构建——此处是指设置中不带 approval: platform-approved 的生产构建:

# ci-governance.yaml — written by the CI/CD runner, passed as `aggrega build --config ci-governance.yaml`
plugins:
governance_append:
- uri: governance/rego:<version>
role: label-transform
with:
sources:
- policies/environment.rego
- uri: governance/rego:<version>
role: ir-verdict
with:
sources:
- policies/approval.rego
settings:
approval: standard
# policies/environment.rego — evaluated by the governance label-transform role, during topology construction
package acme.context
import rego.v1
labels contains {"node": id, "key": "acme.com/environment", "value": input.compilation_context.environment} if {
some id, _ in input.graph.nodes
}
# policies/approval.rego — evaluated by the governance ir-verdict role over the assembled graph
package acme.approval
import rego.v1
approved if input.settings.approval == "platform-approved"
deny contains msg if {
not approved
some node in input.graph.spec.nodes
node.labels["acme.com/environment"] == "production"
msg := "a production build needs the approval platform-approved in the pipeline's governance settings."
}

设置中完全不带审批的运行同样会被拒绝,因为规则判断的是该审批是否存在,而不是是否存在另一个审批。这将 RBAC 与编译器的原生逻辑隔离开来,确保编译器纯粹作为所提供数据的确定性求值器。

5. 左移 FinOps(通过策略进行成本估算)

问题: 意外的错误配置(例如请求 workers: 500)可能绕过财务防护措施,导致大额云成本超支。

解决方案(企业 Wasm 策略): 由于 IR 图包含完整的拓扑,而 Release 包含物理映射(.infra),企业可以在生成之前评估 Release 所部署内容的确切成本,而无需编译器硬编码相应功能。企业只需编写一个自定义的 FinOps WebAssembly 插件,并以裁决角色将其挂接到治理插槽上。该自定义插件可以读取 .infra 负载,计算预估的月度成本,并在计算出的成本超过企业内部定义的预算上限时终止构建。

6. “棕地”导入生命周期

问题: 企业的大部分基础设施已经在运行。虽然 Aggrega 的设计是通过引用工作负载(直通网络;参见引用工作负载)将构建连接到非托管基础设施,但将一个现有的 Oracle 数据库迁入 Aggrega 生成的 Terraform 状态,通常会导致编排器尝试重新创建该数据库,从而销毁现有数据。

解决方案(计划中): 计划提供一个 core/resource-adoption Feature 来管理导入生命周期。

当开发者在其 Aggregate 中对现有数据库建模,并在顺序执行的流水线中附加 resource-adoption 功能时,Wasm 渲染插件按设计会评估基础的运维 Recipe 负载。插件按设计不会输出标准的创建配置,而是输出目标平台显式的接管语法(例如返回包含 Terraform import {} 块或 Crossplane ObserveOnly 管理策略的 JSONPatch)。这使企业能够安全地生成配置,将遗留架构无停机地纳入 GitOps 控制平面。

7. 运维最佳实践与确定性命名

虽然核心编译器在扁平的 IR 图中依赖稳定的内部节点 ID(例如 support-db),但物理云服务商(如 AWS、Azure 和 GCP)通常要求物理基础设施使用全局唯一的字符串(例如 S3 存储桶名称、IAM 角色名称或 API Gateway 域名)。

如果平台运维工程师在其基础模板中硬编码物理名称(例如 bucket_name: "enterprise-data-bucket"),生成的制品在第一次应用时会顺利完成。然而,如果开发者部署第二个环境(例如 staging 与 prod),云服务商将在运行时因命名冲突而拒绝第二个环境的资源。

确定性输出规则(GitOps 安全): 由于 GitOps 控制器(ArgoCD、Flux)会对渲染后的制品执行字节级差异检测,编译器保证相同的输入产生字节完全相同的输出。流经模板上下文的映射(.context.inject.env、.values、.infra 以及运行时视图的其余部分)由有序映射结构支持,在整个数据层保留作者的插入顺序,而模板边界是唯一的例外:对这些映射执行 {{ range }} 时,会像 Go 模板那样按键的字母顺序迭代,而非按作者顺序。运维工程师可以依赖同一输入的多次运行之间该迭代顺序是确定的;当顺序本身有意义时,会以列表形式编写,而不是从映射中恢复。但 Sprig 的 keys 函数返回的是 Go map 的迭代顺序(按语言设计是不确定的);基于 keys 输出构造确定性键序列的模板必须通过 sortAlpha 管道处理(例如 {{ keys .values | sortAlpha }})以恢复确定性。

运维 Recipes 的黄金法则(Helm 模式): 平台运维工程师绝不能硬编码物理云资源名称。相反,他们必须在模板评估阶段拼接 Aggrega 部署上下文,构造确定性的唯一名称。这是一条可复用性与防冲突规则,而非确定性规则——硬编码的名称会产生稳定的输出,但当同一个 Recipe 渲染多个组件实例,或同一个 Aggregate 跨多个 Releases 部署时,会发生致命冲突。

编译器恰好提供两个变量来保证全局唯一性:

  1. {{ .metadata.release_name }}:驱动该部署的 Release 的名称(例如 prod-billing)。
  2. {{ .context.instance_id }}:开发者 Aggregate 中具体的 Component ID(例如 receipt-storage)。

通过拼接这两个变量(例如 {{ .metadata.release_name }}-{{ .context.instance_id }}),运维可以保证 Wasm 插件生成的配置在每个环境、每个组件中使用唯一的资源名称,而无需开发者管理物理命名约定。