コンテンツにスキップ
AggregaAggrega
言語の選択: 日本語
このページは機械翻訳されています。英語の原文を読む。

Fluent Bit から Fluentd へ — 2 層のログパイプライン、2 つのターゲット

この例では、実際のログパイプライン — Fluent Bit フォワーダーが forward プロトコルで Fluentd アグリゲーターにレコードを送るもの — を、Developer が作成した 1 つの Aggregate から 2 つの実現形態へコンパイルします:

  • ローカル開発向けの Docker Compose、そして
  • 公式アップストリームの fluent/fluent-bit および fluent/fluentd イメージを Kubernetes 上で直接実行する 合成された helm Recipes(外部チャートは 使用しません)。

合成された helm Recipes はビルド時に何も取得しません。チャートリポジトリに到達できるビルド向けには、helm/fluent-bit-chart と helm/fluentd-chart が代わりに Fluent プロジェクト自身のチャートをレンダリングします。

同じ aggregate.yaml が両方を駆動します。実現形態ごとに変わるのは、 Manifest が選択する Recipe 層だけです。

パイプライン

2 つのコンポーネントがフォワーダーからアグリゲーターへのパイプラインを構成します:

  • forwarder(core/observability/fluent-bit)はログレコードを収集し、 forward 出力で送信します。ステートレスサーバーとして型付けされています。
  • aggregator(core/observability/fluentd)は forward 入力プロトコルで 待ち受け、レコードを受信して出力へルーティングします。ステートフルサーバーとして 型付けされています。合成された helm Recipe はデフォルトでメモリ上にバッファするため、 単一レプリカの Deployment としてレンダリングされます。

フォワーダーはアグリゲーターの forward_target 利用を宣言します。 アグリゲーターの provides.host と provides.port — その forward エンドポイントの ホストとポート(慣例的な Fluentd の forward ポート 24224)— はフォワーダーへパイプされ、 その forward 出力の Host と Port にレンダリングされます。こうしてフォワーダーは、 単一のエッジから事前に配線されたアグリゲーターの forward エンドポイントへ送信します。

ファイル

ファイル役割
aggregate.yamlDeveloper の意図:aggregator シンク(core/observability/fluentd)と、アグリゲーターの forward_target 利用を宣言する forwarder(core/observability/fluent-bit)。
manifest-compose.yamlFluent Bit 型を Compose Recipe(compose/fluent-bit)に、Fluentd 型を Compose Recipe(compose/fluentd)にマッピングします。
manifest-helm-synth.yamlFluent Bit 型を合成された helm Recipe(helm/fluent-bit)に、Fluentd 型を合成された helm Recipe(helm/fluentd)にマッピングします。
release-compose.yaml / release-helm-synth.yaml2 つの実現形態のためのオペレーターレコード。

Compose と合成された helm Recipe の両方が fluent-bit と fluentd という 名前を持つため、Manifests はそれらをプロバイダースコープ付き (compose/… と helm/…)で参照します。

示す内容

  • 1 つのオーサリング面、多数のターゲット。 単一の Aggregate が、パイプラインが 何であるかの信頼できる情報源です。各 Manifest は、それをどのように実現するかを示します。
  • String Pipe による forward の配線。 フォワーダーはアグリゲーターの forward_target 利用を宣言し、アグリゲーター Recipe の provides.host と provides.port がフォワーダーへパイプされ、 forward 出力の Host と Port にレンダリングされます。コンパイラは 文字列を解釈せずにルーティングします。そのため、同じエッジから、Compose ビルドは compose サービス名を、Kubernetes ビルドは Service 名を配線します。
  • ステートレスなフォワーダーのソケット上のステートフルなシンク。 フォワーダーの forward_target ソケットは server または stateful-server を選択します。Fluentd は ステートフルサーバーとして型付けされており、ソケットに問題なくバインドされます — ソケットは シンクが状態を保持するかどうかではなく、運用上のサーバーロールで選択します。 シンクが話すプロトコルはそれとは別に検査されます。forward 出力は Fluentd の forward プロトコルを話すため、Fluentd のようにシンクが protocol: forward を公開しない限り、ビルドは停止します。
  • Workload の合成(Kubernetes)。 合成された各 helm Recipe は Workload — 公式イメージを実行する Deployment と ClusterIP Service — を宣言し、 helm プロバイダーがそれを外部チャートなしで Kubernetes マニフェストに変換します。 レンダリングされるリソースセットは、Workloads が宣言するものと正確に一致します。
  • 再現可能なイメージ。 infra.engine_version が各イメージタグを固定するため、 レンダリングされたワークロードは固定イメージを参照し、合成された Recipes は 浮動タグをレンダリングしません。

サンプルを生成する

このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。

例の名前を付けた新しいフォルダーに例を書き出します。

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

その後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。

Terminal window
cd fluent-bit-to-fluentd

ビルド

このワークスペースには .aggrega-config.yaml がないため、標準ライブラリのエンティティはハブレジストリ hub.aggrega.ai から解決され、カタログフラグは不要です。--auto-pull は、新しいクローンに欠けているロックファイルをビルド中に書き込みます。

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

レンダリングされた成果物は dist/ 配下に出力されます。

AI アシスタントを使う

Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。

Aggrega のツールだけを使い、フォルダーは自分で作成しないでください。ワークスペースフォルダーにまだ `fluent-bit-to-fluentd` フォルダーがない場合は、`example` を `fluent-bit-to-fluentd` に設定し、`dir` を指定せずに `scaffold` ツールを 1 回呼び出してください。これにより、例が新しい `fluent-bit-to-fluentd` フォルダーに書き込まれます。次に、各 Release について `build` ツールを 1 回ずつ、`release-compose.yaml`、`release-helm-synth.yaml` の順に呼び出してください。毎回、`workspace_root` を `fluent-bit-to-fluentd`、`release` をそのファイル、`auto_pull` を true、`write` を true に設定します。各ビルドが書き込んだファイルを教えてください。ファイルは `fluent-bit-to-fluentd/dist/` の下にあります。

注入された forward ターゲットの内容

Compose では、フォワーダーは fluent-bit.conf を書き出し、その forward 出力は アグリゲーターの compose サービス名と forward ポートをターゲットにします:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

Kubernetes では、同じ出力がアグリゲーターのクラスター内 Service 名をターゲットにします:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

どちらも同じ Aggregate のエッジから解決されます — アグリゲーターのホストとポートは forward_target 利用を通じて伝わり、各ターゲットがそれぞれの流儀でレンダリングします。 24224 ポートはアグリゲーターの forward エンドポイントで、その provides を通じてエクスポートされ、事前にフォワーダーへパイプされます。

実行する(Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

フォワーダーのモニタリングエンドポイントは、ホストのループバックアドレスでのみ http://localhost:2020 に公開されます — その /api/v1/metrics エンドポイントは、 処理および転送されたレコードを報告します。このエンドポイントは呼び出し元を検査しないため、 Release がフォワーダーに infra.publish_on_all_interfaces: true を設定しない限り、 ホストの他のインターフェースには公開されません。停止するには docker compose -f dist/app/compose/docker-compose.yaml down を実行します。