Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

Fluentd — агрегатор журналів, дві цілі

Цей приклад компілює агрегатор журналів Fluentd — приймальний кінець конвеєра журналів — з одного Aggregate, написаного розробником, у дві реалізації:

  • Docker Compose для локальної розробки та
  • синтезований helm Recipe, що запускає офіційний образ fluent/fluentd безпосередньо в Kubernetes (без зовнішнього чарта).

Синтезований helm Recipe нічого не завантажує під час збирання; helm/fluentd-chart рендерить власний чарт проєкту Fluent як той самий агрегатор — для збирання, яке має доступ до репозиторію чартів.

Той самий aggregate.yaml керує обома. Для кожної реалізації змінюється лише шар сутностей Recipe, який вибирає Manifest.

Роль агрегатора

Конвеєр журналів має два кінці. Форвардер (наприклад, Fluent Bit) збирає записи журналу й передає їх далі. Агрегатор — це приймач на іншому кінці: він слухає за вхідним протоколом forward, отримує записи, які надсилають йому форвардери, і спрямовує їх на свій вихід. Тут Fluentd виконує роль агрегатора.

Оскільки агрегатор приймає, а не пересилає записи, він не оголошує вихідного сокета uses. Натомість він експортує хост і порт своєї кінцевої точки forward через provides, щоб форвардер міг прив’язати її до сокета forward і надсилати їй записи. Кінцева точка forward слухає на порту 24224 — стандартному за домовленістю порту forward у Fluentd.

Файли

ФайлРоль
aggregate.yamlНамір розробника: компонент aggregator (core/observability/fluentd), що слухає на вході forward.
manifest-compose.yamlЗіставляє тип Fluentd із Compose Recipe (compose/fluentd).
manifest-helm-synth.yamlЗіставляє тип Fluentd із синтезованим helm Recipe (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlЗаписи оператора для двох реалізацій.
release-helm-synth-buffer.yamlСинтезована helm-реалізація з увімкненою стійкою буферизацією (задано infra.storage.size).

Оскільки і Compose, і синтезований helm Recipe мають назву fluentd, сутності Manifests посилаються на них з областю провайдера як compose/fluentd і helm/fluentd.

Що демонструє приклад

  • Одна поверхня написання, багато цілей. Єдиний Aggregate є джерелом істини щодо того, що являє собою стек. Кожен Manifest визначає, як його реалізувати.
  • Приймальний кінець String Pipe. Агрегатор експортує свою кінцеву точку forward через provides — host (сервіс агрегатора) і port (24224) за протоколом forward. Форвардер, що прив’язує цей компонент, передає ці рядки у свій власний вихід forward; компілятор маршрутизує їх, не інтерпретуючи.
  • Синтез Workload (Kubernetes). Синтезований helm Recipe оголошує Workload — Deployment і ClusterIP Service, що запускають офіційний образ fluent/fluentd, — який helm-провайдер перетворює на маніфести Kubernetes без зовнішнього чарта. Відрендерений набір ресурсів точно відповідає тому, що оголошує Workload.
  • Маршрутизація під контролем розробника. Вихідний match розробника визначає, які отримані записи спрямовуються на вихід агрегатора. Типове значення — **, що спрямовує кожен отриманий запис.
  • Типово тимчасовий буфер, стійкий — на запит. Агрегатор буферизує в пам’яті, тому типовий рендер не містить постійного тому. Якщо задати infra.storage.size (див. release-helm-synth-buffer.yaml), буфер зберігатиметься на стійкому томі, змонтованому в /fluentd/log; робоче навантаження лишається Deployment з однією реплікою.
  • Відтворювані образи. infra.engine_version фіксує тег образу Fluentd, тому відрендерене робоче навантаження посилається на фіксований образ, а синтезований Recipe не рендерить плаваючого тегу.

Створення прикладу

Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.

Запишіть приклад у нову теку, названу за ним:

Terminal window
aggrega scaffold --example fluentd-aggregator

Потім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:

Terminal window
cd fluentd-aggregator

Збирання

Цей робочий простір не містить .aggrega-config.yaml, тож сутності стандартної бібліотеки розв’язуються з реєстру hub, hub.aggrega.ai, і прапорець каталогу не потрібен; --auto-pull під час збирання записує lock-файл, якого бракує свіжому клону:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)
aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volume
aggrega build --release release-helm-synth-buffer.yaml --auto-pull

Відрендерені артефакти потрапляють у dist/.

З ШІ-асистентом

ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.

Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо в папці робочої області ще немає папки `fluentd-aggregator`, один раз викличте інструмент `scaffold` зі значенням `example`, встановленим у `fluentd-aggregator`, і без `dir`: він записує приклад у нову папку `fluentd-aggregator`. Потім викличте інструмент `build` один раз для кожної сутності Release у такому порядку — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — щоразу з `workspace_root`, встановленим у `fluentd-aggregator`, `release`, встановленим у цей файл, `auto_pull`, встановленим у true, і `write`, встановленим у true. Скажіть мені, які файли записала кожна збірка; вони розташовані в `fluentd-aggregator/dist/`.

Як виглядає кінцева точка forward

У Compose агрегатор записує fluent.conf із вхідним джерелом forward, прив’язаним до порту forward, і спрямовує відповідні записи в стандартний вивід:

<source>
@type forward
bind 0.0.0.0
port 24224
</source>
<match **>
@type stdout
</match>

У Kubernetes синтезований helm Recipe записує той самий fluent.conf під час запуску, а ClusterIP Service відкриває порт forward:

spec:
type: ClusterIP
[… omitted: the selector matching the aggregator's Pods]
ports:
- name: forward
port: 24224
targetPort: forward

Deployment посилається на зафіксований образ і відкриває порт forward у контейнері:

image: fluent/fluentd:v1.19.3-debian-2.1
[… omitted: the start-up command that writes the fluent.conf shown above]
ports:
- name: forward
containerPort: 24224

Коли задано infra.storage.size, Recipe додатково рендерить PersistentVolumeClaim і монтує його в /fluentd/log як основу файлового буфера, тож буферизовані записи переживають перезапуски.

Запуск (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Агрегатор очікує переслані записи на localhost:24224. Надішліть йому тестовий запис будь-яким форвардером Fluentd або Fluent Bit, спрямованим на цей порт, і отримані записи з’являться в стандартному виводі агрегатора. Щоб зупинити, виконайте docker compose -f dist/app/compose/docker-compose.yaml down.