跳转到内容
AggregaAggrega
选择语言: 简体中文
本页面由机器翻译。阅读英文原文。

Kafka — Kubernetes 单节点事件流代理

本示例编译一个小型的真实技术栈——一个采用单节点 KRaft 形态的 Apache Kafka 事件流 代理——从一个由 Developer 编写的 Aggregate 编译到 Kubernetes,直接基于官方 Apache Kafka 镜像合成, 不依赖上游 chart。

Kafka 是一个事件流代理:生产者将记录追加到主题, 消费者按顺序读回这些记录。在单节点 KRaft 形态下,broker 和 controller 角色运行在同一个进程中——没有 ZooKeeper,也没有第二个捆绑 服务——因此整个服务器是一个有状态工作负载。提交日志持久化 到本地数据卷。生产者或消费者连接到客户端引导 端点,并在那里交换记录。

文件

文件角色
aggregate.yamlDeveloper 意图:单个 broker 组件(core/messaging/kafka)。
manifest.yaml将组件类型映射到 Kafka 合成 Recipe(kafka)。
release.yamlKubernetes 目标的运维记录:服务器计算资源和提交日志卷大小。

演示内容

  • 单一编写入口。 单个 Aggregate 是 Kafka 是什么的事实来源; Manifest 说明如何实现它。
  • 单节点 KRaft broker。 合成 Recipe 将 Kafka 渲染为一个 带数据卷的 StatefulSet 和两个 Service 对象——一个暴露客户端引导端口的 ClusterIP, 以及一个作为该 StatefulSet 管理服务的 headless Service。
  • KRaft,无 ZooKeeper。 该节点在一个进程中同时运行 broker 和 controller 角色, 完全通过环境变量配置。
  • 固定的集群标识。 集群标识是一个固定的开发者值, 原样传给镜像,镜像按原样读取,不随机生成, 因此渲染出的 manifest 在各次构建间逐字节一致。
  • 稳定的通告地址。 broker 通告集群内的 Service 名称,因此客户端通过该稳定地址重新连接,而不是通过 pod 自身的主机名。
  • 持久化日志。 提交日志写入位于 /var/lib/kafka/data 的持久卷,因此记录数据在重启后仍然保留。
  • 导出的引导契约。 该组件通过 uses 拓扑导出其引导主机 和客户端端口,因此生产者或消费者可以接入它并在那里连接。
  • 可复现的镜像。 Recipe 将 Kafka 服务器镜像固定到一个可解析的标签,使渲染出的工作负载引用固定的版本。

生成示例

你可以用下面的命令构建这个示例,也可以让你的 AI 助手替你构建。

将示例写入一个以其命名的新文件夹:

Terminal window
aggrega scaffold --example kafka-broker

然后它会打印接下来要运行的命令。第一条命令进入新文件夹:

Terminal window
cd kafka-broker

构建

此工作区不带 .aggrega-config.yaml,因此标准库实体从 hub 注册表 hub.aggrega.ai 解析,无需目录标志:

Terminal window
aggrega pull --release release.yaml
aggrega build --release release.yaml

渲染产物输出到 dist/ 下。Kubernetes 目标离线渲染普通 manifest——无需拉取 chart。

借助 AI 助手

已配置 Aggrega 工具的 AI 助手也能完成同样的操作:把下面这条提示粘贴给它。

只使用 Aggrega 工具,不要自己创建任何文件夹。如果工作区文件夹中还没有 `kafka-broker` 文件夹,调用一次 `scaffold` 工具,将 `example` 设为 `kafka-broker`,不设 `dir`:它会把示例写入一个新的 `kafka-broker` 文件夹。然后调用 `build` 工具,将 `workspace_root` 设为 `kafka-broker`、`release` 设为 `release.yaml`、`auto_pull` 设为 true、`write` 设为 true。告诉我构建写入了哪些文件;它们位于 `kafka-broker/dist/` 下。

渲染结果

构建将 Kafka 服务器输出为三个 Kubernetes 对象:

  • 一个 StatefulSet——单节点 Kafka 进程,其提交日志位于 挂载在 /var/lib/kafka/data 的持久卷上,完整的 KRaft 配置通过环境变量提供,
  • 一个 ClusterIP Service——在 9092 端口暴露客户端引导端口,
  • 一个 headless Service——StatefulSet 为获得稳定的逐副本标识 所需的管理服务。

Kafka 镜像固定到其发布标签,因此工作负载引用的是固定的镜像标签。