Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

Fluent Bit до Fluentd — дворівневий конвеєр журналів, дві цілі

Цей приклад компілює реальний конвеєр журналів — пересилач Fluent Bit, що надсилає записи агрегатору Fluentd протоколом forward, — з одного написаного розробником Aggregate у дві реалізації:

  • Docker Compose для локальної розробки та
  • синтезовані helm Recipes, що запускають офіційні upstream-образи fluent/fluent-bit і fluent/fluentd безпосередньо в Kubernetes (без зовнішніх чартів).

Синтезовані helm Recipes нічого не завантажують під час збирання; helm/fluent-bit-chart і helm/fluentd-chart натомість рендерять власні чарти проєкту Fluent — для збирання, яке має доступ до репозиторію чартів.

Той самий aggregate.yaml керує обома. Для кожної реалізації змінюється лише шар сутностей Recipe, який вибирає Manifest.

Конвеєр

Два компоненти утворюють конвеєр від пересилача до агрегатора:

  • forwarder (core/observability/fluent-bit) збирає записи журналу й надсилає їх через вихід forward. Його типізовано як сервер без стану.
  • aggregator (core/observability/fluentd) слухає за протоколом входу forward, отримує записи й маршрутизує їх на свій вихід. Його типізовано як сервер зі станом; синтезований helm Recipe за замовчуванням буферизує в пам’яті, тож він рендериться як Deployment з однією реплікою.

Пересилач оголошує використання агрегатора forward_target. Значення provides.host і provides.port агрегатора — хост і порт його кінцевої точки forward (типовий порт forward у Fluentd, 24224) — передаються в пересилач і рендеряться в Host і Port його виходу forward. Отже, пересилач надсилає дані на кінцеву точку forward агрегатора, з’єднану заздалегідь з одного ребра.

Файли

ФайлРоль
aggregate.yamlНамір розробника: приймач aggregator (core/observability/fluentd) і forwarder (core/observability/fluent-bit), що оголошує використання агрегатора forward_target.
manifest-compose.yamlЗіставляє тип Fluent Bit із Compose Recipe (compose/fluent-bit), а тип Fluentd — із Compose Recipe (compose/fluentd).
manifest-helm-synth.yamlЗіставляє тип Fluent Bit із синтезованим helm Recipe (helm/fluent-bit), а тип Fluentd — із синтезованим helm Recipe (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlЗаписи оператора для двох реалізацій.

Оскільки і Compose, і синтезований helm Recipe мають імена fluent-bit і fluentd, Manifests посилаються на них з областю провайдера (compose/… і helm/…).

Що демонструє приклад

  • Одна поверхня написання, багато цілей. Єдиний Aggregate є джерелом істини щодо того, що являє собою конвеєр. Кожен Manifest визначає, як його реалізувати.
  • З’єднання forward через String Pipe. Пересилач оголошує використання агрегатора forward_target; значення provides.host і provides.port з Recipe агрегатора передаються в пересилач і рендеряться в Host і Port виходу forward. Компілятор маршрутизує рядки, не інтерпретуючи їх, — тож збирання Compose під’єднує ім’я сервісу compose, а збирання Kubernetes — ім’я Service, з того самого ребра.
  • Приймач зі станом на сокеті пересилача без стану. Сокет forward_target пересилача вибирає server або stateful-server. Fluentd типізовано як сервер зі станом, і він коректно прив’язується до сокета — сокет вибирає за операційною роллю сервера, а не за тим, чи зберігає приймач стан. Те, яким протоколом говорить приймач, перевіряється окремо: вихід forward говорить протоколом forward Fluentd, тож збирання зупиняється, якщо приймач не публікує protocol: forward, як це робить Fluentd.
  • Синтез Workload (Kubernetes). Кожен синтезований helm Recipe оголошує Workload — Deployment і ClusterIP Service з офіційним образом, — який helm-провайдер перетворює на маніфести Kubernetes без зовнішнього чарта. Відрендерений набір ресурсів точно відповідає тому, що оголошують Workloads.
  • Відтворювані образи. infra.engine_version фіксує тег кожного образу, тож відрендерені робочі навантаження посилаються на фіксовані образи, а синтезовані Recipes не рендерять жодного плаваючого тегу.

Створення прикладу

Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.

Запишіть приклад у нову теку, названу за ним:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

Потім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:

Terminal window
cd fluent-bit-to-fluentd

Збирання

Цей робочий простір не містить .aggrega-config.yaml, тож сутності стандартної бібліотеки розв’язуються з реєстру hub, hub.aggrega.ai, і прапорець каталогу не потрібен; --auto-pull під час збирання записує lock-файл, якого бракує свіжому клону:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

Відрендерені артефакти потрапляють у dist/.

З ШІ-асистентом

ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.

Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо в папці робочої області ще немає папки `fluent-bit-to-fluentd`, один раз викличте інструмент `scaffold` зі значенням `example`, встановленим у `fluent-bit-to-fluentd`, і без `dir`: він записує приклад у нову папку `fluent-bit-to-fluentd`. Потім викличте інструмент `build` один раз для кожної сутності Release у такому порядку — `release-compose.yaml`, `release-helm-synth.yaml` — щоразу з `workspace_root`, встановленим у `fluent-bit-to-fluentd`, `release`, встановленим у цей файл, `auto_pull`, встановленим у true, і `write`, встановленим у true. Скажіть мені, які файли записала кожна збірка; вони розташовані в `fluent-bit-to-fluentd/dist/`.

Як виглядає впроваджена ціль forward

У Compose пересилач записує fluent-bit.conf, вихід forward якого спрямовано на ім’я сервісу compose агрегатора та порт forward:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

У Kubernetes той самий вихід спрямовано на внутрішньокластерне ім’я Service агрегатора:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

Обидва визначаються з того самого ребра Aggregate — хост і порт агрегатора передаються через використання forward_target, і кожна ціль рендерить їх у власній ідіомі. Порт 24224 — це кінцева точка forward агрегатора, експортована через його provides і заздалегідь передана в пересилач.

Запуск (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Кінцеву точку моніторингу пересилача опубліковано лише на loopback-адресі хоста, за адресою http://localhost:2020 — її кінцева точка /api/v1/metrics повідомляє про оброблені та переслані записи. Кінцева точка не перевіряє того, хто викликає, тож її не публіковано на інших інтерфейсах хоста, якщо Release не задає infra.publish_on_all_interfaces: true для пересилача. Щоб зупинити все, виконайте docker compose -f dist/app/compose/docker-compose.yaml down.