跳转到内容
AggregaAggrega
选择语言: 简体中文
本页面由机器翻译。阅读英文原文。

Fluent Bit 到 Fluentd——两层日志管道,两个目标

本示例编译一条真实的日志管道——一个 Fluent Bit 转发器通过 forward 协议将记录发送给一个 Fluentd 聚合器——从一个由开发者编写的 Aggregate 生成两种实现:

  • 用于本地开发的 Docker Compose,以及
  • 合成的 helm Recipes,直接在 Kubernetes 上运行官方上游 fluent/fluent-bit 和 fluent/fluentd 镜像(不使用 外部 chart)。

合成的 helm Recipes 在构建时不获取任何内容;helm/fluent-bit-chart 和 helm/fluentd-chart 则渲染 Fluent 项目自己的 chart,适用于 能够访问 chart 仓库的构建。

同一个 aggregate.yaml 驱动两者。每种实现之间只有 Manifest 所选的 Recipe 层不同。

管道

两个组件构成一条从转发器到聚合器的管道:

  • forwarder(core/observability/fluent-bit)收集日志记录,并通过 forward 输出发送。它的类型是无状态服务器。
  • aggregator(core/observability/fluentd)在 forward 输入 协议上监听,接收记录,并将其路由到自己的输出。它的类型是 有状态服务器;合成的 helm Recipe 默认在内存中缓冲, 因此渲染为单副本 Deployment。

转发器声明了对聚合器的 forward_target 使用。 聚合器的 provides.host 和 provides.port——其 forward 端点的主机和端口 (按约定的 Fluentd forward 端口 24224)——通过管道传入 转发器,并渲染到其 forward 输出的 Host 和 Port 中。 因此转发器发送到聚合器的 forward 端点,这一连接由单条边 提前完成。

文件

文件角色
aggregate.yaml开发者意图:一个 aggregator 接收端(core/observability/fluentd)和一个 forwarder(core/observability/fluent-bit),后者声明了对聚合器的 forward_target 使用。
manifest-compose.yaml将 Fluent Bit 类型映射到 Compose Recipe(compose/fluent-bit),并将 Fluentd 类型映射到 Compose Recipe(compose/fluentd)。
manifest-helm-synth.yaml将 Fluent Bit 类型映射到合成的 helm Recipe(helm/fluent-bit),并将 Fluentd 类型映射到合成的 helm Recipe(helm/fluentd)。
release-compose.yaml / release-helm-synth.yaml两种实现的运维记录。

由于 Compose Recipe 和合成的 helm Recipe 都使用名称 fluent-bit 和 fluentd,Manifests 以 provider 限定的方式引用它们 (compose/… 和 helm/…)。

演示内容

  • 一个编写界面,多个目标。 单个 Aggregate 是管道是什么的 唯一事实来源。每个 Manifest 说明如何实现它。
  • 通过 String Pipe 进行 forward 连接。 转发器声明了 对聚合器的 forward_target 使用;聚合器 Recipe 的 provides.host 和 provides.port 通过管道传入转发器,并渲染 到 forward 输出的 Host 和 Port 中。编译器路由这些 字符串而不解释它们——因此从同一条边出发,Compose 构建连接的是 compose 服务名,Kubernetes 构建连接的是 Service 名。
  • 无状态转发器套接字上的有状态接收端。 转发器的 forward_target 套接字选择 server 或 stateful-server。Fluentd 的 类型是有状态服务器,它能顺利绑定该套接字——套接字 依据运行时的服务器角色进行选择,而不是依据接收端是否持有状态。 接收端使用的协议另行检查:forward 输出使用 Fluentd forward 协议,因此除非接收端像 Fluentd 那样发布 protocol: forward,否则构建会中止。
  • Workload 合成(Kubernetes)。 每个合成的 helm Recipe 声明一个 Workload——一个 Deployment 加一个运行官方镜像的 ClusterIP Service—— helm provider 将其转换为 Kubernetes manifest,无需外部 chart。渲染出的资源集与 Workloads 的声明完全一致。
  • 可复现的镜像。 infra.engine_version 固定每个镜像标签,因此 渲染出的工作负载引用固定的镜像,合成的 Recipes 不会渲染 浮动标签。

生成示例

你可以用下面的命令构建这个示例,也可以让你的 AI 助手替你构建。

将示例写入一个以其命名的新文件夹:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

然后它会打印接下来要运行的命令。第一条命令进入新文件夹:

Terminal window
cd fluent-bit-to-fluentd

构建

此工作区不带 .aggrega-config.yaml,因此标准库实体从 hub 注册表 hub.aggrega.ai 解析,无需目录标志;--auto-pull 会在构建期间写入新克隆所缺少的锁文件:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

渲染产物位于 dist/ 下。

借助 AI 助手

已配置 Aggrega 工具的 AI 助手也能完成同样的操作:把下面这条提示粘贴给它。

只使用 Aggrega 工具,不要自行创建任何文件夹。如果工作区文件夹中还没有 `fluent-bit-to-fluentd` 文件夹,调用一次 `scaffold` 工具,将 `example` 设为 `fluent-bit-to-fluentd`,且不设置 `dir`:它会把示例写入新的 `fluent-bit-to-fluentd` 文件夹。然后按以下顺序为每个 Release 各调用一次 `build` 工具 — `release-compose.yaml`、`release-helm-synth.yaml` — 每次都将 `workspace_root` 设为 `fluent-bit-to-fluentd`,`release` 设为该文件,`auto_pull` 设为 true,`write` 设为 true。告诉我每次构建写入了哪些文件;它们位于 `fluent-bit-to-fluentd/dist/` 下。

注入的 forward 目标是什么样子

在 Compose 上,转发器写出一个 fluent-bit.conf,其 forward 输出 指向聚合器的 compose 服务名和 forward 端口:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

在 Kubernetes 上,同一输出指向聚合器的集群内 Service 名:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

两者都由同一条 Aggregate 边解析——聚合器的主机和端口 经由 forward_target 使用传递,每个目标以各自的惯用方式渲染它们。 24224 端口是聚合器的 forward 端点,通过其 provides 导出,并提前通过管道传入转发器。

运行(Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

转发器的监控端点仅发布在主机的回环地址上, 位于 http://localhost:2020——其 /api/v1/metrics 端点报告 已处理和已转发的记录。该端点不校验调用方,因此除非 Release 在转发器上设置 infra.publish_on_all_interfaces: true,否则不会发布在主机的其他接口上。使用 docker compose -f dist/app/compose/docker-compose.yaml down 拆除。