Fluentd — агрегатор журналів, дві цілі
Цей приклад компілює агрегатор журналів Fluentd — приймальний кінець конвеєра журналів — з одного Aggregate, написаного розробником, у дві реалізації:
- Docker Compose для локальної розробки та
- синтезований helm Recipe, що запускає офіційний образ
fluent/fluentdбезпосередньо в Kubernetes (без зовнішнього чарта).
Синтезований helm Recipe нічого не завантажує під час збирання; helm/fluentd-chart
рендерить власний чарт проєкту Fluent як той самий агрегатор — для збирання, яке
має доступ до репозиторію чартів.
Той самий aggregate.yaml керує обома. Для кожної реалізації змінюється лише шар сутностей Recipe, який вибирає
Manifest.
Роль агрегатора
Конвеєр журналів має два кінці. Форвардер (наприклад, Fluent Bit) збирає записи журналу й передає їх далі. Агрегатор — це приймач на іншому кінці: він слухає за вхідним протоколом forward, отримує записи, які надсилають йому форвардери, і спрямовує їх на свій вихід. Тут Fluentd виконує роль агрегатора.
Оскільки агрегатор приймає, а не пересилає записи, він не оголошує вихідного сокета
uses. Натомість він експортує хост і порт своєї кінцевої точки forward через provides, щоб форвардер міг прив’язати її до сокета forward і надсилати їй записи. Кінцева точка forward слухає на порту 24224 — стандартному за домовленістю порту forward у Fluentd.
Файли
| Файл | Роль |
|---|---|
aggregate.yaml | Намір розробника: компонент aggregator (core/observability/fluentd), що слухає на вході forward. |
manifest-compose.yaml | Зіставляє тип Fluentd із Compose Recipe (compose/fluentd). |
manifest-helm-synth.yaml | Зіставляє тип Fluentd із синтезованим helm Recipe (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Записи оператора для двох реалізацій. |
release-helm-synth-buffer.yaml | Синтезована helm-реалізація з увімкненою стійкою буферизацією (задано infra.storage.size). |
Оскільки і Compose, і синтезований helm Recipe мають назву fluentd,
сутності Manifests посилаються на них з областю провайдера як compose/fluentd і
helm/fluentd.
Що демонструє приклад
- Одна поверхня написання, багато цілей. Єдиний Aggregate є джерелом істини щодо того, що являє собою стек. Кожен Manifest визначає, як його реалізувати.
- Приймальний кінець String Pipe. Агрегатор експортує свою кінцеву точку forward
через
provides—host(сервіс агрегатора) іport(24224) за протоколомforward. Форвардер, що прив’язує цей компонент, передає ці рядки у свій власний вихід forward; компілятор маршрутизує їх, не інтерпретуючи. - Синтез Workload (Kubernetes). Синтезований helm Recipe оголошує
Workload — Deployment і ClusterIP Service, що запускають офіційний образ
fluent/fluentd, — який helm-провайдер перетворює на маніфести Kubernetes без зовнішнього чарта. Відрендерений набір ресурсів точно відповідає тому, що оголошує Workload. - Маршрутизація під контролем розробника. Вихідний match розробника визначає,
які отримані записи спрямовуються на вихід агрегатора. Типове значення —
**, що спрямовує кожен отриманий запис. - Типово тимчасовий буфер, стійкий — на запит. Агрегатор буферизує в
пам’яті, тому типовий рендер не містить постійного тому. Якщо задати
infra.storage.size(див.release-helm-synth-buffer.yaml), буфер зберігатиметься на стійкому томі, змонтованому в/fluentd/log; робоче навантаження лишається Deployment з однією реплікою. - Відтворювані образи.
infra.engine_versionфіксує тег образу Fluentd, тому відрендерене робоче навантаження посилається на фіксований образ, а синтезований Recipe не рендерить плаваючого тегу.
Створення прикладу
Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.
Запишіть приклад у нову теку, названу за ним:
aggrega scaffold --example fluentd-aggregatorПотім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:
cd fluentd-aggregatorЗбирання
Цей робочий простір не містить .aggrega-config.yaml, тож сутності стандартної бібліотеки розв’язуються з реєстру hub, hub.aggrega.ai, і прапорець каталогу не потрібен; --auto-pull під час збирання записує lock-файл, якого бракує свіжому клону:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullВідрендерені артефакти потрапляють у dist/.
З ШІ-асистентом
ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.
Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо в папці робочої області ще немає папки `fluentd-aggregator`, один раз викличте інструмент `scaffold` зі значенням `example`, встановленим у `fluentd-aggregator`, і без `dir`: він записує приклад у нову папку `fluentd-aggregator`. Потім викличте інструмент `build` один раз для кожної сутності Release у такому порядку — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — щоразу з `workspace_root`, встановленим у `fluentd-aggregator`, `release`, встановленим у цей файл, `auto_pull`, встановленим у true, і `write`, встановленим у true. Скажіть мені, які файли записала кожна збірка; вони розташовані в `fluentd-aggregator/dist/`.Як виглядає кінцева точка forward
У Compose агрегатор записує fluent.conf із вхідним джерелом forward,
прив’язаним до порту forward, і спрямовує відповідні записи в стандартний вивід:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>У Kubernetes синтезований helm Recipe записує той самий fluent.conf під час
запуску, а ClusterIP Service відкриває порт forward:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardDeployment посилається на зафіксований образ і відкриває порт forward у контейнері:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224Коли задано infra.storage.size, Recipe додатково рендерить
PersistentVolumeClaim і монтує його в /fluentd/log як основу файлового буфера, тож
буферизовані записи переживають перезапуски.
Запуск (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dАгрегатор очікує переслані записи на localhost:24224. Надішліть йому
тестовий запис будь-яким форвардером Fluentd або Fluent Bit, спрямованим на цей порт, і
отримані записи з’являться в стандартному виводі агрегатора. Щоб зупинити, виконайте
docker compose -f dist/app/compose/docker-compose.yaml down.