Kafka — Kubernetes シングルノードのイベントストリーミングブローカー
この例では、小規模ながら実用的なスタック、すなわちシングルノード KRaft 構成の Apache Kafka イベントストリーミング
ブローカーを、Developer が記述した 1 つの Aggregate
から Kubernetes 向けにコンパイルします。上流のチャートは使わず、公式 Apache Kafka イメージ
から直接合成します。
Kafka はイベントストリーミングブローカーです。プロデューサーはトピックにレコードを追記し、 コンシューマーはそれを順番に読み出します。シングルノード KRaft 構成では、ブローカーと コントローラーの役割が 1 つのプロセス内で動作し、ZooKeeper も同梱の 2 つ目の サービスもないため、サーバー全体が 1 つのステートフルなワークロードになります。コミットログは ローカルのデータボリュームに永続化されます。プロデューサーやコンシューマーはクライアントのブートストラップ エンドポイントに接続し、そこでレコードをやり取りします。
ファイル
| ファイル | 役割 |
|---|---|
aggregate.yaml | Developer の意図:単一の broker コンポーネント(core/messaging/kafka)。 |
manifest.yaml | コンポーネントタイプを Kafka 合成 Recipe(kafka)にマッピングします。 |
release.yaml | Kubernetes ターゲット向けのオペレーターレコード:サーバーのコンピュートとコミットログボリュームのサイズ。 |
示す内容
- 単一の記述面。 1 つの Aggregate が Kafka が何であるかの信頼できる情報源であり、 Manifest はそれをどのように実現するかを示します。
- シングルノード KRaft ブローカー。 合成 Recipe は Kafka を、データボリュームを持つ 1 つの
StatefulSetと 2 つのServiceオブジェクトとしてレンダリングします。クライアントのブートストラップポートを公開するClusterIPと、StatefulSet のためのヘッドレスな governing Service です。 - KRaft、ZooKeeper なし。 ノードはブローカーとコントローラーの両方の役割を 1 つのプロセスで実行し、設定はすべて環境変数で行います。
- 固定されたクラスター ID。 クラスター ID は固定の開発者値で、そのまま イメージに渡されます。イメージはランダム生成を行わずにその値をそのまま読み取るため、 レンダリングされるマニフェストはビルド間でバイト単位で同一になります。
- 安定したアドバタイズアドレス。 ブローカーはクラスター内の Service 名をアドバタイズするため、クライアントは Pod 自身のホスト名ではなく安定したアドレスを通じて 再接続します。
- 永続的なログ。 コミットログは
/var/lib/kafka/dataの永続ボリュームに書き込まれるため、レコードデータは再起動後も保持されます。 - エクスポートされるブートストラップ契約。 コンポーネントは
usesトポロジーを通じて ブートストラップホストとクライアントポートをエクスポートするため、プロデューサーやコンシューマーは それに接続を配線し、そこに接続します。 - 再現可能なイメージ。 Recipe は Kafka サーバーイメージを解決可能なタグに固定するため、レンダリングされたワークロードは固定されたバージョンを参照します。
サンプルを生成する
このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。
例の名前を付けた新しいフォルダーに例を書き出します。
aggrega scaffold --example kafka-brokerその後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。
cd kafka-brokerビルド
このワークスペースには .aggrega-config.yaml がないため、標準ライブラリのエンティティはハブレジストリ hub.aggrega.ai から解決され、カタログフラグは不要です。
aggrega pull --release release.yamlaggrega build --release release.yamlレンダリングされた成果物は dist/ 以下に出力されます。Kubernetes ターゲットはオフラインで
プレーンなマニフェストをレンダリングするため、チャートのプルは不要です。
AI アシスタントを使う
Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。
Aggrega のツールだけを使い、フォルダーは自分で作成しないでください。ワークスペースフォルダーにまだ `kafka-broker` フォルダーがない場合は、`example` を `kafka-broker` に設定し、`dir` を指定せずに `scaffold` ツールを一度呼び出してください。これにより、例が新しい `kafka-broker` フォルダーに書き込まれます。次に、`workspace_root` を `kafka-broker`、`release` を `release.yaml`、`auto_pull` を true、`write` を true に設定して `build` ツールを呼び出してください。ビルドが書き込んだファイルを教えてください。ファイルは `kafka-broker/dist/` の下にあります。レンダリングされるもの
ビルドは Kafka サーバーを 3 つの Kubernetes オブジェクトとして出力します:
StatefulSet— シングルノードの Kafka プロセス。コミットログは/var/lib/kafka/dataにマウントされた永続ボリューム上に置かれ、KRaft の 設定はすべて環境変数で提供されます。ClusterIPのService— クライアントのブートストラップポート 9092 を公開します。- ヘッドレスな
Service:StatefulSet がレプリカごとの安定した ID のために 必要とする管理 Service です。
Kafka イメージはリリースタグに固定されているため、ワークロードは固定されたイメージタグを参照します。