Thanos 栈——基于对象存储的指标读取层,以模块形式组合
本示例将一个小型的真实栈——Thanos
指标系统的读取/查询层——从一个由 Developer 编写的 Aggregate
编译为合成的 Kubernetes manifest。
读取层不是单个组件。它是一个模块:一个可复用的 子聚合,组合了三个单 workload 组件——
- 一个兼容 S3 的对象存储,在卷上保存历史指标块,并通过 S3 API 提供这些块,
- 一个 Store Gateway,从对象存储读取这些块,并通过其 StoreAPI 将它们提供给查询器,仅持有临时的本地缓存,以及
- 一个 Query 前端,响应 PromQL,并通过 Store Gateway 的 StoreAPI 扇出请求,自身不持有任何状态。
该模块连接自己的内部边——Store Gateway 到对象存储,
以及 Query 到 Store Gateway——并将 Query 导出为其公共端点
query。顶层 Aggregate 按名称导入该模块并渲染
组合后的栈;运维人员在 Release 中为该模块的内部组件
设定规格。
文件
| 文件 | 角色 |
|---|---|
aggregate.yaml | Developer 意图:导入 Thanos 读取层模块(core/thanos)。 |
manifest-helm-synth.yaml | 将对象存储、Store Gateway 和 Query 类型映射到各自的 synth helm Recipes,并将模块附加的凭据 Feature 映射到一个从模块的两个密钥参数各生成一个 Secret 的实现。 |
release-helm-synth.yaml | Kubernetes 目标的运维记录。按模块作用域 ID 为该模块的内部组件设定规格;留给 schema 默认值的部分以自包含方式渲染。 |
运行时前提条件
本模块仅是读取/查询层。对象存储会在开始服务之前创建 Store Gateway 读取的 thanos 存储桶,因此在渲染出的清单之外、运行时唯一需要提供的是一个生成指标块的写入方。读取层提供块,但不创建块。写入方——Thanos Receive 层或带有 Thanos sidecar 的 Prometheus 实例——必须将指标块传送到同一个存储桶。在写入方上传块之前,Store Gateway 返回空结果集。
生成示例
你可以用下面的命令构建这个示例,也可以让你的 AI 助手替你构建。
将示例写入一个以其命名的新文件夹:
aggrega scaffold --example thanos-stack然后它会打印接下来要运行的命令。第一条命令进入新文件夹:
cd thanos-stack构建
此工作区不带 .aggrega-config.yaml,因此标准库实体从 hub 注册表 hub.aggrega.ai 解析,无需目录标志;--auto-pull 会在构建期间写入新克隆所缺少的锁文件:
aggrega build --release release-helm-synth.yaml --auto-pull渲染产物输出到 dist/ 下。Kubernetes 目标离线渲染普通
manifest——无需拉取 chart。
借助 AI 助手
已配置 Aggrega 工具的 AI 助手也能完成同样的操作:把下面这条提示粘贴给它。
仅使用 Aggrega 工具,不要自行创建任何文件夹。如果工作区文件夹中还没有 `thanos-stack` 文件夹,请调用一次 `scaffold` 工具,将 `example` 设为 `thanos-stack`,且不设 `dir`:它会把示例写入新的 `thanos-stack` 文件夹。然后调用 `build` 工具,将 `workspace_root` 设为 `thanos-stack`,`release` 设为 `release-helm-synth.yaml`,`auto_pull` 设为 true,`write` 设为 true。告诉我构建写入了哪些文件;它们位于 `thanos-stack/dist/` 下。组合后的栈是什么样子
Store Gateway 渲染为一个无状态 Deployment 加一个 ClusterIP Service,暴露其 StoreAPI gRPC 端口和 HTTP 端口。其容器以 thanos store 和单个内联 --objstore.config 标志启动,该标志的值是根据对象存储发布的端点构建的 S3 配置段——即其集群内 Service 名称和端口,并带有 insecure: true,因为该端点通过普通 HTTP 提供服务。该配置选用 AWS SDK 凭据链,因此不包含任何密钥;访问密钥的两部分都以从 Secret 读取的环境变量形式传入:
args: - store - --grpc-address - 0.0.0.0:10901 - --http-address - 0.0.0.0:10902 - --data-dir - /var/thanos/store - |- --objstore.config=type: S3 config: bucket: thanos endpoint: metrics-zdobjstore-default:8333 insecure: true aws_sdk_auth: true[… omitted: the container ports for the two addresses named in the args]env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential-id key: s3-access-key - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential key: s3-secret-key[… omitted: the container's resources and its liveness and readiness probes]Query 渲染为一个无状态 Deployment 加一个位于其 HTTP
端口上的 ClusterIP Service。其容器以 thanos query 启动,并通过由 store 边组合出的端点
连接 Store Gateway 的 StoreAPI:
args: - query - --http-address - 0.0.0.0:10902 - --grpc-address - 0.0.0.0:10901 - --endpoint - metrics-zdstore-default:10901对象存储渲染为一个单副本的 SeaweedFS StatefulSet,其卷声明挂载在 /data,一个位于 S3 端口 8333 上的 ClusterIP Service,以及该 StatefulSet 所指定的 headless Service。一个 init 容器在服务器开始服务之前创建 thanos 存储桶。服务器的账户就是同一对密钥,从它自己的两个 Secret metrics-zdobjstore-access-key-id 和 metrics-zdobjstore-secret-access-key 读取。四个 Secret 与 workload 一同生成,两个用于对象存储的密钥槽位,两个用于 Store Gateway 的 s3 连接所携带的密钥对,每个都携带模块的开发默认值。
演示内容
- 以模块方式组合。 多 workload 能力——实际上由对象存储、Store Gateway 和查询前端 组成的指标读取层——被打包为组合三个单 workload 组件的子聚合, 而不是一个单体组件。该模块按名称导入,并在任何需要 Thanos 读取层的地方复用。
- 复用现成的后端。 对象存储是标准库中的
core/storage/s3-object-store组件,原样复用;读取层不添加任何自己的存储逻辑。Manifest 选择其 SeaweedFS 实现,因此该存储在集群中与读取层并列运行。 - 模块内部的边。 Store Gateway 声明对
对象存储的使用,Query 声明对 Store Gateway 的使用;对象存储
发布的
endpoint以及 Store Gateway 发布的主机和端口 通过每条边传入消费方,每个消费方的 Recipe 据此构建其 地址。编译器只路由这些字符串,不解释它们。 - 公共端点。 该模块将 Query 导出为
query,即消费方连接所用的稳定公共 名称——与模块的内部组件 名称解耦。 - 无密钥配置。 对象存储配置选用 AWS SDK 凭据链,因此渲染出的配置不包含任何密钥; 凭据仅以环境变量形式传递。
- 通过引用获取的共享密钥对。 Store Gateway 使用对象存储自身的账户向其认证,因此二者共享同一对密钥。该模块将每一半作为参数接收,即
s3_access_key和s3_secret_key,并用每个参数两次附加core/referenced-secret凭据 Feature:一次附加到对象存储的access_key_id和secret_access_key槽位,一次作为 Store Gateway 到对象存储连接的credential_id和credential,即网关在该连接上出示它们。每个 workload 都从 Secret 读取二者,而不是内联携带。由于模块附加了该 Feature,Manifest 需要映射它。本示例将参数保留为模块的开发默认值,并将该 Feature 映射到k8s-secret-from-parameter,它会生成携带每个值的 Secret,从而使栈自包含运行。对于承载真实流量的 Release,Aggregate 声明自己的参数,并通过aggregates.metrics.parameters向下传递,由 Release 提供这些参数,Manifest 则将该 Feature 映射到k8s-existing-secret,它将每个参数读取为命名空间中已存在的某个 Secret 的名称。 - 可复现的镜像。 每个组件都固定了显式的镜像标签,因此 渲染出的 manifest 引用稳定的镜像。