Fluent Bit 到 Fluentd——两层日志管道,两个目标
本示例编译一条真实的日志管道——一个 Fluent Bit 转发器通过 forward 协议将记录发送给一个 Fluentd 聚合器——从一个由开发者编写的 Aggregate 生成两种实现:
- 用于本地开发的 Docker Compose,以及
- 合成的 helm Recipes,直接在 Kubernetes 上运行官方上游
fluent/fluent-bit和fluent/fluentd镜像(不使用 外部 chart)。
合成的 helm Recipes 在构建时不获取任何内容;helm/fluent-bit-chart
和 helm/fluentd-chart 则渲染 Fluent 项目自己的 chart,适用于
能够访问 chart 仓库的构建。
同一个 aggregate.yaml 驱动两者。每种实现之间只有
Manifest 所选的 Recipe 层不同。
管道
两个组件构成一条从转发器到聚合器的管道:
forwarder(core/observability/fluent-bit)收集日志记录,并通过forward输出发送。它的类型是无状态服务器。aggregator(core/observability/fluentd)在forward输入 协议上监听,接收记录,并将其路由到自己的输出。它的类型是 有状态服务器;合成的 helm Recipe 默认在内存中缓冲, 因此渲染为单副本 Deployment。
转发器声明了对聚合器的 forward_target 使用。
聚合器的 provides.host 和 provides.port——其 forward 端点的主机和端口
(按约定的 Fluentd forward 端口 24224)——通过管道传入
转发器,并渲染到其 forward 输出的 Host 和 Port 中。
因此转发器发送到聚合器的 forward 端点,这一连接由单条边
提前完成。
文件
| 文件 | 角色 |
|---|---|
aggregate.yaml | 开发者意图:一个 aggregator 接收端(core/observability/fluentd)和一个 forwarder(core/observability/fluent-bit),后者声明了对聚合器的 forward_target 使用。 |
manifest-compose.yaml | 将 Fluent Bit 类型映射到 Compose Recipe(compose/fluent-bit),并将 Fluentd 类型映射到 Compose Recipe(compose/fluentd)。 |
manifest-helm-synth.yaml | 将 Fluent Bit 类型映射到合成的 helm Recipe(helm/fluent-bit),并将 Fluentd 类型映射到合成的 helm Recipe(helm/fluentd)。 |
release-compose.yaml / release-helm-synth.yaml | 两种实现的运维记录。 |
由于 Compose Recipe 和合成的 helm Recipe 都使用名称
fluent-bit 和 fluentd,Manifests 以 provider 限定的方式引用它们
(compose/… 和 helm/…)。
演示内容
- 一个编写界面,多个目标。 单个 Aggregate 是管道是什么的 唯一事实来源。每个 Manifest 说明如何实现它。
- 通过 String Pipe 进行 forward 连接。 转发器声明了
对聚合器的
forward_target使用;聚合器 Recipe 的provides.host和provides.port通过管道传入转发器,并渲染 到forward输出的Host和Port中。编译器路由这些 字符串而不解释它们——因此从同一条边出发,Compose 构建连接的是 compose 服务名,Kubernetes 构建连接的是 Service 名。 - 无状态转发器套接字上的有状态接收端。 转发器的
forward_target套接字选择server或stateful-server。Fluentd 的 类型是有状态服务器,它能顺利绑定该套接字——套接字 依据运行时的服务器角色进行选择,而不是依据接收端是否持有状态。 接收端使用的协议另行检查:forward 输出使用 Fluentd forward 协议,因此除非接收端像 Fluentd 那样发布protocol: forward,否则构建会中止。 - Workload 合成(Kubernetes)。 每个合成的 helm Recipe 声明一个 Workload——一个 Deployment 加一个运行官方镜像的 ClusterIP Service—— helm provider 将其转换为 Kubernetes manifest,无需外部 chart。渲染出的资源集与 Workloads 的声明完全一致。
- 可复现的镜像。
infra.engine_version固定每个镜像标签,因此 渲染出的工作负载引用固定的镜像,合成的 Recipes 不会渲染 浮动标签。
生成示例
你可以用下面的命令构建这个示例,也可以让你的 AI 助手替你构建。
将示例写入一个以其命名的新文件夹:
aggrega scaffold --example fluent-bit-to-fluentd然后它会打印接下来要运行的命令。第一条命令进入新文件夹:
cd fluent-bit-to-fluentd构建
此工作区不带 .aggrega-config.yaml,因此标准库实体从 hub 注册表 hub.aggrega.ai 解析,无需目录标志;--auto-pull 会在构建期间写入新克隆所缺少的锁文件:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pull渲染产物位于 dist/ 下。
借助 AI 助手
已配置 Aggrega 工具的 AI 助手也能完成同样的操作:把下面这条提示粘贴给它。
只使用 Aggrega 工具,不要自行创建任何文件夹。如果工作区文件夹中还没有 `fluent-bit-to-fluentd` 文件夹,调用一次 `scaffold` 工具,将 `example` 设为 `fluent-bit-to-fluentd`,且不设置 `dir`:它会把示例写入新的 `fluent-bit-to-fluentd` 文件夹。然后按以下顺序为每个 Release 各调用一次 `build` 工具 — `release-compose.yaml`、`release-helm-synth.yaml` — 每次都将 `workspace_root` 设为 `fluent-bit-to-fluentd`,`release` 设为该文件,`auto_pull` 设为 true,`write` 设为 true。告诉我每次构建写入了哪些文件;它们位于 `fluent-bit-to-fluentd/dist/` 下。注入的 forward 目标是什么样子
在 Compose 上,转发器写出一个 fluent-bit.conf,其 forward 输出
指向聚合器的 compose 服务名和 forward 端口:
[OUTPUT] Name forward Match * Host aggregator Port 24224在 Kubernetes 上,同一输出指向聚合器的集群内 Service 名:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224两者都由同一条 Aggregate 边解析——聚合器的主机和端口
经由 forward_target 使用传递,每个目标以各自的惯用方式渲染它们。
24224 端口是聚合器的 forward 端点,通过其
provides 导出,并提前通过管道传入转发器。
运行(Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -d转发器的监控端点仅发布在主机的回环地址上,
位于 http://localhost:2020——其 /api/v1/metrics 端点报告
已处理和已转发的记录。该端点不校验调用方,因此除非 Release 在转发器上设置
infra.publish_on_all_interfaces: true,否则不会发布在主机的其他接口上。使用
docker compose -f dist/app/compose/docker-compose.yaml down 拆除。