Fluent Bit から Fluentd へ — 2 層のログパイプライン、2 つのターゲット
この例では、実際のログパイプライン — Fluent Bit フォワーダーが forward プロトコルで Fluentd アグリゲーターにレコードを送るもの — を、Developer が作成した 1 つの Aggregate から 2 つの実現形態へコンパイルします:
- ローカル開発向けの Docker Compose、そして
- 公式アップストリームの
fluent/fluent-bitおよびfluent/fluentdイメージを Kubernetes 上で直接実行する 合成された helm Recipes(外部チャートは 使用しません)。
合成された helm Recipes はビルド時に何も取得しません。チャートリポジトリに到達できるビルド向けには、helm/fluent-bit-chart
と helm/fluentd-chart が代わりに Fluent プロジェクト自身のチャートをレンダリングします。
同じ aggregate.yaml が両方を駆動します。実現形態ごとに変わるのは、
Manifest が選択する Recipe 層だけです。
パイプライン
2 つのコンポーネントがフォワーダーからアグリゲーターへのパイプラインを構成します:
forwarder(core/observability/fluent-bit)はログレコードを収集し、forward出力で送信します。ステートレスサーバーとして型付けされています。aggregator(core/observability/fluentd)はforward入力プロトコルで 待ち受け、レコードを受信して出力へルーティングします。ステートフルサーバーとして 型付けされています。合成された helm Recipe はデフォルトでメモリ上にバッファするため、 単一レプリカの Deployment としてレンダリングされます。
フォワーダーはアグリゲーターの forward_target 利用を宣言します。
アグリゲーターの provides.host と provides.port — その forward エンドポイントの
ホストとポート(慣例的な Fluentd の forward ポート 24224)— はフォワーダーへパイプされ、
その forward 出力の Host と Port にレンダリングされます。こうしてフォワーダーは、
単一のエッジから事前に配線されたアグリゲーターの forward エンドポイントへ送信します。
ファイル
| ファイル | 役割 |
|---|---|
aggregate.yaml | Developer の意図:aggregator シンク(core/observability/fluentd)と、アグリゲーターの forward_target 利用を宣言する forwarder(core/observability/fluent-bit)。 |
manifest-compose.yaml | Fluent Bit 型を Compose Recipe(compose/fluent-bit)に、Fluentd 型を Compose Recipe(compose/fluentd)にマッピングします。 |
manifest-helm-synth.yaml | Fluent Bit 型を合成された helm Recipe(helm/fluent-bit)に、Fluentd 型を合成された helm Recipe(helm/fluentd)にマッピングします。 |
release-compose.yaml / release-helm-synth.yaml | 2 つの実現形態のためのオペレーターレコード。 |
Compose と合成された helm Recipe の両方が fluent-bit と fluentd という
名前を持つため、Manifests はそれらをプロバイダースコープ付き
(compose/… と helm/…)で参照します。
示す内容
- 1 つのオーサリング面、多数のターゲット。 単一の Aggregate が、パイプラインが 何であるかの信頼できる情報源です。各 Manifest は、それをどのように実現するかを示します。
- String Pipe による forward の配線。 フォワーダーはアグリゲーターの
forward_target利用を宣言し、アグリゲーター Recipe のprovides.hostとprovides.portがフォワーダーへパイプされ、forward出力のHostとPortにレンダリングされます。コンパイラは 文字列を解釈せずにルーティングします。そのため、同じエッジから、Compose ビルドは compose サービス名を、Kubernetes ビルドは Service 名を配線します。 - ステートレスなフォワーダーのソケット上のステートフルなシンク。 フォワーダーの
forward_targetソケットはserverまたはstateful-serverを選択します。Fluentd は ステートフルサーバーとして型付けされており、ソケットに問題なくバインドされます — ソケットは シンクが状態を保持するかどうかではなく、運用上のサーバーロールで選択します。 シンクが話すプロトコルはそれとは別に検査されます。forward 出力は Fluentd の forward プロトコルを話すため、Fluentd のようにシンクがprotocol: forwardを公開しない限り、ビルドは停止します。 - Workload の合成(Kubernetes)。 合成された各 helm Recipe は Workload — 公式イメージを実行する Deployment と ClusterIP Service — を宣言し、 helm プロバイダーがそれを外部チャートなしで Kubernetes マニフェストに変換します。 レンダリングされるリソースセットは、Workloads が宣言するものと正確に一致します。
- 再現可能なイメージ。
infra.engine_versionが各イメージタグを固定するため、 レンダリングされたワークロードは固定イメージを参照し、合成された Recipes は 浮動タグをレンダリングしません。
サンプルを生成する
このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。
例の名前を付けた新しいフォルダーに例を書き出します。
aggrega scaffold --example fluent-bit-to-fluentdその後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。
cd fluent-bit-to-fluentdビルド
このワークスペースには .aggrega-config.yaml がないため、標準ライブラリのエンティティはハブレジストリ hub.aggrega.ai から解決され、カタログフラグは不要です。--auto-pull は、新しいクローンに欠けているロックファイルをビルド中に書き込みます。
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullレンダリングされた成果物は dist/ 配下に出力されます。
AI アシスタントを使う
Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。
Aggrega のツールだけを使い、フォルダーは自分で作成しないでください。ワークスペースフォルダーにまだ `fluent-bit-to-fluentd` フォルダーがない場合は、`example` を `fluent-bit-to-fluentd` に設定し、`dir` を指定せずに `scaffold` ツールを 1 回呼び出してください。これにより、例が新しい `fluent-bit-to-fluentd` フォルダーに書き込まれます。次に、各 Release について `build` ツールを 1 回ずつ、`release-compose.yaml`、`release-helm-synth.yaml` の順に呼び出してください。毎回、`workspace_root` を `fluent-bit-to-fluentd`、`release` をそのファイル、`auto_pull` を true、`write` を true に設定します。各ビルドが書き込んだファイルを教えてください。ファイルは `fluent-bit-to-fluentd/dist/` の下にあります。注入された forward ターゲットの内容
Compose では、フォワーダーは fluent-bit.conf を書き出し、その forward 出力は
アグリゲーターの compose サービス名と forward ポートをターゲットにします:
[OUTPUT] Name forward Match * Host aggregator Port 24224Kubernetes では、同じ出力がアグリゲーターのクラスター内 Service 名をターゲットにします:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224どちらも同じ Aggregate のエッジから解決されます — アグリゲーターのホストとポートは
forward_target 利用を通じて伝わり、各ターゲットがそれぞれの流儀でレンダリングします。
24224 ポートはアグリゲーターの forward エンドポイントで、その
provides を通じてエクスポートされ、事前にフォワーダーへパイプされます。
実行する(Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dフォワーダーのモニタリングエンドポイントは、ホストのループバックアドレスでのみ
http://localhost:2020 に公開されます — その /api/v1/metrics エンドポイントは、
処理および転送されたレコードを報告します。このエンドポイントは呼び出し元を検査しないため、
Release がフォワーダーに infra.publish_on_all_interfaces: true を設定しない限り、
ホストの他のインターフェースには公開されません。停止するには
docker compose -f dist/app/compose/docker-compose.yaml down を実行します。