Fluent Bit в Fluentd — двухуровневый конвейер логов, две цели
Этот пример компилирует реальный конвейер логов — пересыльщик Fluent Bit, отправляющий записи агрегатору Fluentd по протоколу forward, — из одной сущности Aggregate, написанной разработчиком, в две реализации:
- Docker Compose для локальной разработки и
- синтезированные helm-сущности Recipes, запускающие официальные upstream-образы
fluent/fluent-bitиfluent/fluentdнепосредственно в Kubernetes (без внешних чартов).
Синтезированные helm-сущности Recipes ничего не загружают во время сборки; helm/fluent-bit-chart
и helm/fluentd-chart вместо этого рендерят собственные чарты проекта Fluent — для
сборки, у которой есть доступ к репозиторию чартов.
Один и тот же aggregate.yaml управляет обеими. От реализации к реализации меняется только слой Recipe, выбранный
сущностью Manifest.
Конвейер
Два компонента образуют конвейер от пересыльщика к агрегатору:
forwarder(core/observability/fluent-bit) собирает записи логов и отправляет их через выводforward. Он типизирован как сервер без состояния.aggregator(core/observability/fluentd) принимает соединения по входному протоколуforward, получает записи и направляет их в свой вывод. Он типизирован как сервер с состоянием; синтезированная helm-сущность Recipe по умолчанию буферизует в памяти, поэтому он рендерится как Deployment с одной репликой.
Пересыльщик объявляет использование агрегатора forward_target. Значения
агрегатора provides.host и provides.port — хост и порт его
конечной точки forward (порт forward Fluentd по соглашению, 24224), — передаются
в пересыльщик и рендерятся в Host и Port его вывода forward.
Таким образом, пересыльщик отправляет данные на конечную точку forward агрегатора, связанную
заранее одним ребром.
Файлы
| Файл | Роль |
|---|---|
aggregate.yaml | Намерение разработчика: приёмник aggregator (core/observability/fluentd) и forwarder (core/observability/fluent-bit), который объявляет использование агрегатора forward_target. |
manifest-compose.yaml | Сопоставляет тип Fluent Bit с Compose-сущностью Recipe (compose/fluent-bit), а тип Fluentd — с Compose-сущностью Recipe (compose/fluentd). |
manifest-helm-synth.yaml | Сопоставляет тип Fluent Bit с синтезированной helm-сущностью Recipe (helm/fluent-bit), а тип Fluentd — с синтезированной helm-сущностью Recipe (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Записи оператора для двух реализаций. |
Поскольку и Compose-сущность, и синтезированная helm-сущность Recipe носят имена
fluent-bit и fluentd, сущности Manifests ссылаются на них с указанием провайдера
(compose/… и helm/…).
Что демонстрирует пример
- Одна поверхность описания, много целей. Единственная сущность Aggregate — источник истины о том, что представляет собой конвейер. Каждая сущность Manifest говорит, как его реализовать.
- Связывание forward через String Pipe. Пересыльщик объявляет
использование агрегатора
forward_target; значенияprovides.hostиprovides.portсущности Recipe агрегатора передаются в пересыльщик и рендерятся вHostиPortвыводаforward. Компилятор передаёт строки, не интерпретируя их, — поэтому сборка Compose подставляет имя сервиса compose, а сборка Kubernetes — имя Service, из одного и того же ребра. - Приёмник с состоянием на сокете пересыльщика без состояния. Сокет пересыльщика
forward_targetвыбираетserverилиstateful-server. Fluentd типизирован как сервер с состоянием и чисто привязывается к сокету — сокет выбирает по операционной роли сервера, а не по тому, хранит ли приёмник состояние. Протокол приёмника проверяется отдельно: вывод forward использует протокол forward Fluentd, поэтому сборка останавливается, если приёмник не публикуетprotocol: forward, как это делает Fluentd. - Синтез Workload (Kubernetes). Каждая синтезированная helm-сущность Recipe объявляет Workload — Deployment и ClusterIP Service с официальным образом, — который провайдер helm транслирует в манифесты Kubernetes без внешнего чарта. Отрендеренный набор ресурсов в точности соответствует тому, что объявляют сущности Workloads.
- Воспроизводимые образы.
infra.engine_versionфиксирует тег каждого образа, поэтому отрендеренные рабочие нагрузки ссылаются на фиксированные образы, а синтезированные сущности Recipes не рендерят плавающих тегов.
Создание примера
Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.
Запишите пример в новую папку, названную по его имени:
aggrega scaffold --example fluent-bit-to-fluentdЗатем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:
cd fluent-bit-to-fluentdСборка
В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен; --auto-pull во время сборки записывает lock-файл, которого нет в свежем клоне:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullОтрендеренные артефакты помещаются в dist/.
С ИИ-ассистентом
ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.
Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если в папке рабочей области ещё нет папки `fluent-bit-to-fluentd`, вызовите инструмент `scaffold` один раз, задав `example` равным `fluent-bit-to-fluentd` и не указывая `dir`: он запишет пример в новую папку `fluent-bit-to-fluentd`. Затем вызовите инструмент `build` один раз для каждой сущности Release в следующем порядке — `release-compose.yaml`, `release-helm-synth.yaml` — каждый раз задавая `workspace_root` равным `fluent-bit-to-fluentd`, `release` равным этому файлу, `auto_pull` равным true и `write` равным true. Сообщите мне, какие файлы записала каждая сборка; они находятся в `fluent-bit-to-fluentd/dist/`.Как выглядит внедрённая цель forward
В Compose пересыльщик записывает fluent-bit.conf, вывод forward которого
направлен на имя сервиса compose агрегатора и порт forward:
[OUTPUT] Name forward Match * Host aggregator Port 24224В Kubernetes тот же вывод направлен на внутрикластерное имя Service агрегатора:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Оба разрешаются из одного ребра Aggregate — хост и порт агрегатора передаются
через использование forward_target, и каждая цель рендерит их в своей идиоме.
Порт 24224 — конечная точка forward агрегатора, экспортированная через его
provides и заранее переданная в пересыльщик.
Запуск (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dКонечная точка мониторинга пересыльщика публикуется только на loopback-адресе хоста,
по адресу http://localhost:2020, — её конечная точка /api/v1/metrics сообщает о
обработанных и пересланных записях. Конечная точка не проверяет вызывающего, поэтому она не
публикуется на других интерфейсах хоста, если сущность Release не задаёт для пересыльщика
infra.publish_on_all_interfaces: true. Для остановки выполните
docker compose -f dist/app/compose/docker-compose.yaml down.