Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

Kafka — одноузловой брокер потоковой передачи событий в Kubernetes

Этот пример компилирует небольшой реальный стек — брокер потоковой передачи событий Apache Kafka в одноузловой конфигурации KRaft — из одного Aggregate, написанного разработчиком, в Kubernetes, синтезируя его непосредственно из официального образа Apache Kafka без вышестоящего чарта.

Kafka — это брокер потоковой передачи событий: производители добавляют записи в топики, а потребители читают их обратно по порядку. В одноузловой конфигурации KRaft роли брокера и контроллера выполняются в одном процессе — без ZooKeeper и без второго встроенного сервиса, — поэтому весь сервер представляет собой одну рабочую нагрузку с состоянием. Журнал фиксаций сохраняется на локальном томе данных. Производитель или потребитель подключается к клиентской конечной точке начальной загрузки и обменивается там записями.

Файлы

ФайлРоль
aggregate.yamlНамерение разработчика: единственный компонент broker (core/messaging/kafka).
manifest.yamlСопоставляет тип компонента с синтезирующим Recipe для Kafka (kafka).
release.yamlЗапись оператора для целевой платформы Kubernetes: вычислительные ресурсы сервера и размер тома журнала фиксаций.

Что демонстрирует пример

  • Единая поверхность описания. Один Aggregate является источником истины о том, что такое Kafka; Manifest определяет, как это реализовать.
  • Одноузловой брокер KRaft. Синтезирующий Recipe отрисовывает Kafka как один StatefulSet с томом данных и двумя объектами Service — ClusterIP, открывающий клиентский порт начальной загрузки, и headless-сервис, управляющий StatefulSet.
  • KRaft без ZooKeeper. Узел выполняет роли брокера и контроллера в одном процессе и настраивается исключительно через переменные окружения.
  • Закреплённый идентификатор кластера. Идентификатор кластера — фиксированное значение разработчика, которое передаётся образу дословно; образ читает его как есть, без случайной генерации, поэтому отрисованный манифест побайтно идентичен от сборки к сборке.
  • Стабильный объявляемый адрес. Брокер объявляет имя внутрикластерного сервиса, поэтому клиенты переподключаются по стабильному адресу, а не по собственному имени хоста пода.
  • Постоянный журнал. Журнал фиксаций записывается на постоянный том в /var/lib/kafka/data, поэтому данные записей сохраняются при перезапусках.
  • Экспортируемый контракт начальной загрузки. Компонент экспортирует свой хост начальной загрузки и клиентский порт через топологию uses, поэтому производитель или потребитель связывается с ним и подключается туда.
  • Воспроизводимые образы. Recipe закрепляет образ сервера Kafka за разрешимым тегом, поэтому отрисованная рабочая нагрузка ссылается на закреплённую версию.

Создание примера

Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.

Запишите пример в новую папку, названную по его имени:

Terminal window
aggrega scaffold --example kafka-broker

Затем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:

Terminal window
cd kafka-broker

Сборка

В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен:

Terminal window
aggrega pull --release release.yaml
aggrega build --release release.yaml

Отрисованные артефакты помещаются в dist/. Целевая платформа Kubernetes отрисовывает обычные манифесты офлайн — загрузка чарта не требуется.

С ИИ-ассистентом

ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.

Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если в папке рабочего пространства ещё нет папки `kafka-broker`, вызовите инструмент `scaffold` один раз, задав для `example` значение `kafka-broker`, без `dir`: он запишет пример в новую папку `kafka-broker`. Затем вызовите инструмент `build`, задав для `workspace_root` значение `kafka-broker`, для `release` — `release.yaml`, для `auto_pull` — true и для `write` — true. Сообщите, какие файлы записала сборка; они находятся в `kafka-broker/dist/`.

Что формируется

Сборка выдаёт сервер Kafka в виде трёх объектов Kubernetes:

  • StatefulSet — одноузловой процесс Kafka с журналом фиксаций на постоянном томе, смонтированном в /var/lib/kafka/data, и полной конфигурацией KRaft, передаваемой через переменные окружения,
  • ClusterIP Service — открывает клиентский порт начальной загрузки 9092,
  • headless Service — управляющий сервис, который требуется StatefulSet для стабильной идентичности каждой реплики.

Образ Kafka закреплён за тегом своего релиза, поэтому рабочая нагрузка ссылается на закреплённый тег образа.