Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

Fluent Bit в Fluentd — двухуровневый конвейер логов, две цели

Этот пример компилирует реальный конвейер логов — пересыльщик Fluent Bit, отправляющий записи агрегатору Fluentd по протоколу forward, — из одной сущности Aggregate, написанной разработчиком, в две реализации:

  • Docker Compose для локальной разработки и
  • синтезированные helm-сущности Recipes, запускающие официальные upstream-образы fluent/fluent-bit и fluent/fluentd непосредственно в Kubernetes (без внешних чартов).

Синтезированные helm-сущности Recipes ничего не загружают во время сборки; helm/fluent-bit-chart и helm/fluentd-chart вместо этого рендерят собственные чарты проекта Fluent — для сборки, у которой есть доступ к репозиторию чартов.

Один и тот же aggregate.yaml управляет обеими. От реализации к реализации меняется только слой Recipe, выбранный сущностью Manifest.

Конвейер

Два компонента образуют конвейер от пересыльщика к агрегатору:

  • forwarder (core/observability/fluent-bit) собирает записи логов и отправляет их через вывод forward. Он типизирован как сервер без состояния.
  • aggregator (core/observability/fluentd) принимает соединения по входному протоколу forward, получает записи и направляет их в свой вывод. Он типизирован как сервер с состоянием; синтезированная helm-сущность Recipe по умолчанию буферизует в памяти, поэтому он рендерится как Deployment с одной репликой.

Пересыльщик объявляет использование агрегатора forward_target. Значения агрегатора provides.host и provides.port — хост и порт его конечной точки forward (порт forward Fluentd по соглашению, 24224), — передаются в пересыльщик и рендерятся в Host и Port его вывода forward. Таким образом, пересыльщик отправляет данные на конечную точку forward агрегатора, связанную заранее одним ребром.

Файлы

ФайлРоль
aggregate.yamlНамерение разработчика: приёмник aggregator (core/observability/fluentd) и forwarder (core/observability/fluent-bit), который объявляет использование агрегатора forward_target.
manifest-compose.yamlСопоставляет тип Fluent Bit с Compose-сущностью Recipe (compose/fluent-bit), а тип Fluentd — с Compose-сущностью Recipe (compose/fluentd).
manifest-helm-synth.yamlСопоставляет тип Fluent Bit с синтезированной helm-сущностью Recipe (helm/fluent-bit), а тип Fluentd — с синтезированной helm-сущностью Recipe (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlЗаписи оператора для двух реализаций.

Поскольку и Compose-сущность, и синтезированная helm-сущность Recipe носят имена fluent-bit и fluentd, сущности Manifests ссылаются на них с указанием провайдера (compose/… и helm/…).

Что демонстрирует пример

  • Одна поверхность описания, много целей. Единственная сущность Aggregate — источник истины о том, что представляет собой конвейер. Каждая сущность Manifest говорит, как его реализовать.
  • Связывание forward через String Pipe. Пересыльщик объявляет использование агрегатора forward_target; значения provides.host и provides.port сущности Recipe агрегатора передаются в пересыльщик и рендерятся в Host и Port вывода forward. Компилятор передаёт строки, не интерпретируя их, — поэтому сборка Compose подставляет имя сервиса compose, а сборка Kubernetes — имя Service, из одного и того же ребра.
  • Приёмник с состоянием на сокете пересыльщика без состояния. Сокет пересыльщика forward_target выбирает server или stateful-server. Fluentd типизирован как сервер с состоянием и чисто привязывается к сокету — сокет выбирает по операционной роли сервера, а не по тому, хранит ли приёмник состояние. Протокол приёмника проверяется отдельно: вывод forward использует протокол forward Fluentd, поэтому сборка останавливается, если приёмник не публикует protocol: forward, как это делает Fluentd.
  • Синтез Workload (Kubernetes). Каждая синтезированная helm-сущность Recipe объявляет Workload — Deployment и ClusterIP Service с официальным образом, — который провайдер helm транслирует в манифесты Kubernetes без внешнего чарта. Отрендеренный набор ресурсов в точности соответствует тому, что объявляют сущности Workloads.
  • Воспроизводимые образы. infra.engine_version фиксирует тег каждого образа, поэтому отрендеренные рабочие нагрузки ссылаются на фиксированные образы, а синтезированные сущности Recipes не рендерят плавающих тегов.

Создание примера

Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.

Запишите пример в новую папку, названную по его имени:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

Затем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:

Terminal window
cd fluent-bit-to-fluentd

Сборка

В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен; --auto-pull во время сборки записывает lock-файл, которого нет в свежем клоне:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

Отрендеренные артефакты помещаются в dist/.

С ИИ-ассистентом

ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.

Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если в папке рабочей области ещё нет папки `fluent-bit-to-fluentd`, вызовите инструмент `scaffold` один раз, задав `example` равным `fluent-bit-to-fluentd` и не указывая `dir`: он запишет пример в новую папку `fluent-bit-to-fluentd`. Затем вызовите инструмент `build` один раз для каждой сущности Release в следующем порядке — `release-compose.yaml`, `release-helm-synth.yaml` — каждый раз задавая `workspace_root` равным `fluent-bit-to-fluentd`, `release` равным этому файлу, `auto_pull` равным true и `write` равным true. Сообщите мне, какие файлы записала каждая сборка; они находятся в `fluent-bit-to-fluentd/dist/`.

Как выглядит внедрённая цель forward

В Compose пересыльщик записывает fluent-bit.conf, вывод forward которого направлен на имя сервиса compose агрегатора и порт forward:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

В Kubernetes тот же вывод направлен на внутрикластерное имя Service агрегатора:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

Оба разрешаются из одного ребра Aggregate — хост и порт агрегатора передаются через использование forward_target, и каждая цель рендерит их в своей идиоме. Порт 24224 — конечная точка forward агрегатора, экспортированная через его provides и заранее переданная в пересыльщик.

Запуск (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Конечная точка мониторинга пересыльщика публикуется только на loopback-адресе хоста, по адресу http://localhost:2020, — её конечная точка /api/v1/metrics сообщает о обработанных и пересланных записях. Конечная точка не проверяет вызывающего, поэтому она не публикуется на других интерфейсах хоста, если сущность Release не задаёт для пересыльщика infra.publish_on_all_interfaces: true. Для остановки выполните docker compose -f dist/app/compose/docker-compose.yaml down.