Fluent Bit до Fluentd — дворівневий конвеєр журналів, дві цілі
Цей приклад компілює реальний конвеєр журналів — пересилач Fluent Bit, що надсилає записи агрегатору Fluentd протоколом forward, — з одного написаного розробником Aggregate у дві реалізації:
- Docker Compose для локальної розробки та
- синтезовані helm Recipes, що запускають офіційні upstream-образи
fluent/fluent-bitіfluent/fluentdбезпосередньо в Kubernetes (без зовнішніх чартів).
Синтезовані helm Recipes нічого не завантажують під час збирання; helm/fluent-bit-chart
і helm/fluentd-chart натомість рендерять власні чарти проєкту Fluent — для
збирання, яке має доступ до репозиторію чартів.
Той самий aggregate.yaml керує обома. Для кожної реалізації змінюється лише шар сутностей Recipe, який вибирає
Manifest.
Конвеєр
Два компоненти утворюють конвеєр від пересилача до агрегатора:
forwarder(core/observability/fluent-bit) збирає записи журналу й надсилає їх через вихідforward. Його типізовано як сервер без стану.aggregator(core/observability/fluentd) слухає за протоколом входуforward, отримує записи й маршрутизує їх на свій вихід. Його типізовано як сервер зі станом; синтезований helm Recipe за замовчуванням буферизує в пам’яті, тож він рендериться як Deployment з однією реплікою.
Пересилач оголошує використання агрегатора forward_target. Значення
provides.host і provides.port агрегатора — хост і порт його
кінцевої точки forward (типовий порт forward у Fluentd, 24224) — передаються
в пересилач і рендеряться в Host і Port його виходу forward.
Отже, пересилач надсилає дані на кінцеву точку forward агрегатора, з’єднану
заздалегідь з одного ребра.
Файли
| Файл | Роль |
|---|---|
aggregate.yaml | Намір розробника: приймач aggregator (core/observability/fluentd) і forwarder (core/observability/fluent-bit), що оголошує використання агрегатора forward_target. |
manifest-compose.yaml | Зіставляє тип Fluent Bit із Compose Recipe (compose/fluent-bit), а тип Fluentd — із Compose Recipe (compose/fluentd). |
manifest-helm-synth.yaml | Зіставляє тип Fluent Bit із синтезованим helm Recipe (helm/fluent-bit), а тип Fluentd — із синтезованим helm Recipe (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Записи оператора для двох реалізацій. |
Оскільки і Compose, і синтезований helm Recipe мають імена
fluent-bit і fluentd, Manifests посилаються на них з областю провайдера
(compose/… і helm/…).
Що демонструє приклад
- Одна поверхня написання, багато цілей. Єдиний Aggregate є джерелом істини щодо того, що являє собою конвеєр. Кожен Manifest визначає, як його реалізувати.
- З’єднання forward через String Pipe. Пересилач оголошує
використання агрегатора
forward_target; значенняprovides.hostіprovides.portз Recipe агрегатора передаються в пересилач і рендеряться вHostіPortвиходуforward. Компілятор маршрутизує рядки, не інтерпретуючи їх, — тож збирання Compose під’єднує ім’я сервісу compose, а збирання Kubernetes — ім’я Service, з того самого ребра. - Приймач зі станом на сокеті пересилача без стану. Сокет
forward_targetпересилача вибираєserverабоstateful-server. Fluentd типізовано як сервер зі станом, і він коректно прив’язується до сокета — сокет вибирає за операційною роллю сервера, а не за тим, чи зберігає приймач стан. Те, яким протоколом говорить приймач, перевіряється окремо: вихід forward говорить протоколом forward Fluentd, тож збирання зупиняється, якщо приймач не публікуєprotocol: forward, як це робить Fluentd. - Синтез Workload (Kubernetes). Кожен синтезований helm Recipe оголошує Workload — Deployment і ClusterIP Service з офіційним образом, — який helm-провайдер перетворює на маніфести Kubernetes без зовнішнього чарта. Відрендерений набір ресурсів точно відповідає тому, що оголошують Workloads.
- Відтворювані образи.
infra.engine_versionфіксує тег кожного образу, тож відрендерені робочі навантаження посилаються на фіксовані образи, а синтезовані Recipes не рендерять жодного плаваючого тегу.
Створення прикладу
Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.
Запишіть приклад у нову теку, названу за ним:
aggrega scaffold --example fluent-bit-to-fluentdПотім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:
cd fluent-bit-to-fluentdЗбирання
Цей робочий простір не містить .aggrega-config.yaml, тож сутності стандартної бібліотеки розв’язуються з реєстру hub, hub.aggrega.ai, і прапорець каталогу не потрібен; --auto-pull під час збирання записує lock-файл, якого бракує свіжому клону:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullВідрендерені артефакти потрапляють у dist/.
З ШІ-асистентом
ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.
Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо в папці робочої області ще немає папки `fluent-bit-to-fluentd`, один раз викличте інструмент `scaffold` зі значенням `example`, встановленим у `fluent-bit-to-fluentd`, і без `dir`: він записує приклад у нову папку `fluent-bit-to-fluentd`. Потім викличте інструмент `build` один раз для кожної сутності Release у такому порядку — `release-compose.yaml`, `release-helm-synth.yaml` — щоразу з `workspace_root`, встановленим у `fluent-bit-to-fluentd`, `release`, встановленим у цей файл, `auto_pull`, встановленим у true, і `write`, встановленим у true. Скажіть мені, які файли записала кожна збірка; вони розташовані в `fluent-bit-to-fluentd/dist/`.Як виглядає впроваджена ціль forward
У Compose пересилач записує fluent-bit.conf, вихід forward якого
спрямовано на ім’я сервісу compose агрегатора та порт forward:
[OUTPUT] Name forward Match * Host aggregator Port 24224У Kubernetes той самий вихід спрямовано на внутрішньокластерне ім’я Service агрегатора:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Обидва визначаються з того самого ребра Aggregate — хост і порт агрегатора передаються
через використання forward_target, і кожна ціль рендерить їх у власній ідіомі.
Порт 24224 — це кінцева точка forward агрегатора, експортована через його
provides і заздалегідь передана в пересилач.
Запуск (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dКінцеву точку моніторингу пересилача опубліковано лише на loopback-адресі хоста,
за адресою http://localhost:2020 — її кінцева точка /api/v1/metrics повідомляє
про оброблені та переслані записи. Кінцева точка не перевіряє того, хто викликає, тож її не
публіковано на інших інтерфейсах хоста, якщо Release не задає
infra.publish_on_all_interfaces: true для пересилача. Щоб зупинити все, виконайте
docker compose -f dist/app/compose/docker-compose.yaml down.