跳转到内容
AggregaAggrega
选择语言: 简体中文
本页面由机器翻译。阅读英文原文。

Thanos 栈——基于对象存储的指标读取层,以模块形式组合

本示例将一个小型的真实栈——Thanos 指标系统的读取/查询层——从一个由 Developer 编写的 Aggregate 编译为合成的 Kubernetes manifest。

读取层不是单个组件。它是一个模块:一个可复用的 子聚合,组合了三个单 workload 组件——

  • 一个兼容 S3 的对象存储,在卷上保存历史指标块,并通过 S3 API 提供这些块,
  • 一个 Store Gateway,从对象存储读取这些块,并通过其 StoreAPI 将它们提供给查询器,仅持有临时的本地缓存,以及
  • 一个 Query 前端,响应 PromQL,并通过 Store Gateway 的 StoreAPI 扇出请求,自身不持有任何状态。

该模块连接自己的内部边——Store Gateway 到对象存储, 以及 Query 到 Store Gateway——并将 Query 导出为其公共端点 query。顶层 Aggregate 按名称导入该模块并渲染 组合后的栈;运维人员在 Release 中为该模块的内部组件 设定规格。

文件

文件角色
aggregate.yamlDeveloper 意图:导入 Thanos 读取层模块(core/thanos)。
manifest-helm-synth.yaml将对象存储、Store Gateway 和 Query 类型映射到各自的 synth helm Recipes,并将模块附加的凭据 Feature 映射到一个从模块的两个密钥参数各生成一个 Secret 的实现。
release-helm-synth.yamlKubernetes 目标的运维记录。按模块作用域 ID 为该模块的内部组件设定规格;留给 schema 默认值的部分以自包含方式渲染。

运行时前提条件

本模块仅是读取/查询层。对象存储会在开始服务之前创建 Store Gateway 读取的 thanos 存储桶,因此在渲染出的清单之外、运行时唯一需要提供的是一个生成指标块的写入方。读取层提供块,但不创建块。写入方——Thanos Receive 层或带有 Thanos sidecar 的 Prometheus 实例——必须将指标块传送到同一个存储桶。在写入方上传块之前,Store Gateway 返回空结果集。

生成示例

你可以用下面的命令构建这个示例,也可以让你的 AI 助手替你构建。

将示例写入一个以其命名的新文件夹:

Terminal window
aggrega scaffold --example thanos-stack

然后它会打印接下来要运行的命令。第一条命令进入新文件夹:

Terminal window
cd thanos-stack

构建

此工作区不带 .aggrega-config.yaml,因此标准库实体从 hub 注册表 hub.aggrega.ai 解析,无需目录标志;--auto-pull 会在构建期间写入新克隆所缺少的锁文件:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull

渲染产物输出到 dist/ 下。Kubernetes 目标离线渲染普通 manifest——无需拉取 chart。

借助 AI 助手

已配置 Aggrega 工具的 AI 助手也能完成同样的操作:把下面这条提示粘贴给它。

仅使用 Aggrega 工具,不要自行创建任何文件夹。如果工作区文件夹中还没有 `thanos-stack` 文件夹,请调用一次 `scaffold` 工具,将 `example` 设为 `thanos-stack`,且不设 `dir`:它会把示例写入新的 `thanos-stack` 文件夹。然后调用 `build` 工具,将 `workspace_root` 设为 `thanos-stack`,`release` 设为 `release-helm-synth.yaml`,`auto_pull` 设为 true,`write` 设为 true。告诉我构建写入了哪些文件;它们位于 `thanos-stack/dist/` 下。

组合后的栈是什么样子

Store Gateway 渲染为一个无状态 Deployment 加一个 ClusterIP Service,暴露其 StoreAPI gRPC 端口和 HTTP 端口。其容器以 thanos store 和单个内联 --objstore.config 标志启动,该标志的值是根据对象存储发布的端点构建的 S3 配置段——即其集群内 Service 名称和端口,并带有 insecure: true,因为该端点通过普通 HTTP 提供服务。该配置选用 AWS SDK 凭据链,因此不包含任何密钥;访问密钥的两部分都以从 Secret 读取的环境变量形式传入:

args:
- store
- --grpc-address
- 0.0.0.0:10901
- --http-address
- 0.0.0.0:10902
- --data-dir
- /var/thanos/store
- |-
--objstore.config=type: S3
config:
bucket: thanos
endpoint: metrics-zdobjstore-default:8333
insecure: true
aws_sdk_auth: true
[… omitted: the container ports for the two addresses named in the args]
env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential-id
key: s3-access-key
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential
key: s3-secret-key
[… omitted: the container's resources and its liveness and readiness probes]

Query 渲染为一个无状态 Deployment 加一个位于其 HTTP 端口上的 ClusterIP Service。其容器以 thanos query 启动,并通过由 store 边组合出的端点 连接 Store Gateway 的 StoreAPI:

args:
- query
- --http-address
- 0.0.0.0:10902
- --grpc-address
- 0.0.0.0:10901
- --endpoint
- metrics-zdstore-default:10901

对象存储渲染为一个单副本的 SeaweedFS StatefulSet,其卷声明挂载在 /data,一个位于 S3 端口 8333 上的 ClusterIP Service,以及该 StatefulSet 所指定的 headless Service。一个 init 容器在服务器开始服务之前创建 thanos 存储桶。服务器的账户就是同一对密钥,从它自己的两个 Secret metrics-zdobjstore-access-key-id 和 metrics-zdobjstore-secret-access-key 读取。四个 Secret 与 workload 一同生成,两个用于对象存储的密钥槽位,两个用于 Store Gateway 的 s3 连接所携带的密钥对,每个都携带模块的开发默认值。

演示内容

  • 以模块方式组合。 多 workload 能力——实际上由对象存储、Store Gateway 和查询前端 组成的指标读取层——被打包为组合三个单 workload 组件的子聚合, 而不是一个单体组件。该模块按名称导入,并在任何需要 Thanos 读取层的地方复用。
  • 复用现成的后端。 对象存储是标准库中的 core/storage/s3-object-store 组件,原样复用;读取层不添加任何自己的存储逻辑。Manifest 选择其 SeaweedFS 实现,因此该存储在集群中与读取层并列运行。
  • 模块内部的边。 Store Gateway 声明对 对象存储的使用,Query 声明对 Store Gateway 的使用;对象存储 发布的 endpoint 以及 Store Gateway 发布的主机和端口 通过每条边传入消费方,每个消费方的 Recipe 据此构建其 地址。编译器只路由这些字符串,不解释它们。
  • 公共端点。 该模块将 Query 导出为 query,即消费方连接所用的稳定公共 名称——与模块的内部组件 名称解耦。
  • 无密钥配置。 对象存储配置选用 AWS SDK 凭据链,因此渲染出的配置不包含任何密钥; 凭据仅以环境变量形式传递。
  • 通过引用获取的共享密钥对。 Store Gateway 使用对象存储自身的账户向其认证,因此二者共享同一对密钥。该模块将每一半作为参数接收,即 s3_access_key 和 s3_secret_key,并用每个参数两次附加 core/referenced-secret 凭据 Feature:一次附加到对象存储的 access_key_id 和 secret_access_key 槽位,一次作为 Store Gateway 到对象存储连接的 credential_id 和 credential,即网关在该连接上出示它们。每个 workload 都从 Secret 读取二者,而不是内联携带。由于模块附加了该 Feature,Manifest 需要映射它。本示例将参数保留为模块的开发默认值,并将该 Feature 映射到 k8s-secret-from-parameter,它会生成携带每个值的 Secret,从而使栈自包含运行。对于承载真实流量的 Release,Aggregate 声明自己的参数,并通过 aggregates.metrics.parameters 向下传递,由 Release 提供这些参数,Manifest 则将该 Feature 映射到 k8s-existing-secret,它将每个参数读取为命名空间中已存在的某个 Secret 的名称。
  • 可复现的镜像。 每个组件都固定了显式的镜像标签,因此 渲染出的 manifest 引用稳定的镜像。