Prometheus — 1 台のサーバー、2 つのスクレイプターゲット
この例では、小規模ながら実用的なスタック(2 台の Grafana ダッシュボードサーバーをスクレイプする Prometheus メトリクスサーバー)を、Developer が作成した 1 つの
Aggregate から 2 つのターゲットへコンパイルします。
- ローカル開発向けの Docker Compose、そして
- 公式の
prom/prometheusイメージ上での Workload 合成による Kubernetes。
同じ aggregate.yaml が両方を駆動します。ターゲットごとに変わるのは、
Manifest が選択する Recipe レイヤーだけです。
Grafana は自身のメトリクスを Prometheus テキスト形式で、Web ポートの /metrics で
提供します。これはデフォルトの動作であるため、各 Grafana は実際のスクレイプ
ターゲットになります。両者は同じ Component タイプを 2 回配線したものなので、2 つのスクレイプジョブの間で
異なる点はすべて、各接続に記述された内容と、各 Grafana がメトリクスを提供すると示す場所から生じます。
ファイル
| ファイル | 役割 |
|---|---|
aggregate.yaml | Developer の意図:2 つの Grafana である team-dashboards と ops-dashboards(いずれも core/observability/grafana)、およびそれぞれに対する scrape_target の利用を宣言する metrics サーバー(core/observability/prometheus)。 |
manifest-compose.yaml | Prometheus 型を Compose Recipe(compose/prometheus)に、Grafana 型を Grafana Compose Recipe(compose/grafana)にマッピングします。 |
manifest-helm-synth.yaml | Prometheus 型を合成された helm Recipe(helm/prometheus)に、Grafana 型を合成された Grafana helm Recipe(helm/grafana)にマッピングします。どちらもチャートを取得しません。 |
release-compose.yaml / release-helm-synth.yaml | 2 つのターゲット向けの Operator レコード。 |
1 つのソケットに 2 つのターゲットを接続する
scrape_target は 2 つの接続を持つ 1 つのソケットであり、各接続が
1 つのスクレイプジョブになります。
metrics: type: core/observability/prometheus uses: scrape_target: team-dashboards: target: team-dashboards ops-dashboards: target: ops-dashboards values: job_name: ops-grafana scrape_interval: 30steam-dashboards の接続は values を記述しないため、そのジョブはソケットが宣言する内容を
そのまま受け取ります。ops-dashboards の接続は 2 つのキーを設定し、設定した各キーは
そのジョブだけを形作ります。team-dashboards のジョブはそれらの影響を受けません。
ターゲットはメトリクスの提供場所を自ら示す
connection は Prometheus がどの頻度で、どのジョブ名でスクレイプするかを示しますが、どこをスクレイプするかは示しません。それはターゲット自身の事実であり、ターゲットがそれを公開します。各 Grafana Recipe は metrics_endpoint を公開します。これはメトリクスの完全なアドレスで、スキーム、ホスト、ポート、パスからなり、Compose では http://team-dashboards:3000/metrics のようになります。Prometheus はこのアドレスからスクレイプジョブを構築します。スキーム、パス、そしてジョブのターゲットとしてのホストとポートです。
したがって、メトリクスを提供しないターゲットはアドレスを公開せず、そのようなターゲットを scrape_target に接続すると、何もスクレイプしないジョブをコンパイルするのではなく、そのターゲットを名指ししてビルドが停止します。値によって有効にされるまでメトリクスが無効になっている製品(カタログ内の多くは metrics_enabled を受け取ります)は、メトリクスが有効な間アドレスを公開します。Kubernetes では、単一のアドレスですべてに到達できない場合、ターゲットは代わりに Prometheus がメトリクスを検出するための手がかりである Service または pod セレクターを公開できます。Compose での実現には検出元となるクラスターがないため、そのようなターゲットでは停止します。
このソケットはサーバー、ステートフルサーバー、ワーカーのいずれも受け入れるため、データベース、ログストア、オペレーターも同じ方法で接続されます。スクレイプできるかどうかは、それが何を公開するかによって決まります。
示す内容
- 1 つの作成インターフェース、多数のターゲット。 1 つの Aggregate が、スタックが 何 であるかの信頼できる唯一の情報源です。各 Manifest は、それを どのように 実現するかを記述します。
- 1 つのソケット、多数の接続。 Prometheus は、Aggregate が
scrape_targetに接続した数だけターゲットをスクレイプします。Recipe は接続ごとに 1 つのスクレイプジョブを出力するため、ジョブの数は Recipe ではなくトポロジーに従います。 - 接続ごとの設定。
job_nameとscrape_intervalはソケットのvalueSchemaで宣言されるため、サーバーではなく 接続 のプロパティになります。複数のターゲットをスクレイプする 1 つの Prometheus では、Component 全体に共通する単一の値で複数の間隔を表現できません。 - 宣言されたデフォルトが、接続で省略されたキーを補います。
scrape_intervalはソケットのvalueSchemaにデフォルトを持ちます。これを省略した接続(ここではteam-dashboards)はデフォルトを受け取り、これを設定した接続(ops-dashboards)は設定した部分だけを上書きします。 - String Pipe によるスクレイプの接続。 各 Grafana Recipe の
metrics_endpointは Prometheus にパイプされ、その Grafana のジョブ(スキーム、パス、targetsエントリ)にレンダリングされます。コンパイラは文字列を解釈せずにルーティングします。各 Recipe が自身のターゲットが公開するアドレスを決め、コンパイラはそれを変更せずにパイプします。 - Provider に適した設定。 どちらのターゲットでも、サーバーは起動時に、接続された Grafana をスクレイプジョブの宛先とする最小限の
prometheus.ymlを書き出し、それを使って Prometheus を exec します。Compose ではこれがサービスとして実行され、Kubernetes では同じコンテナが StatefulSet にレンダリングされます。 - 永続的な状態。 Prometheus は、再起動後もサンプルが残るようにデータボリュームに保存します。ローカルでは名前付きの Compose ボリューム、Kubernetes では
infra.storageからサイズが決まるレプリカごとの PersistentVolumeClaim です。各 Grafana は、ユーザーとダッシュボードをそれぞれ専用のボリュームに保持します。 - 再現可能なイメージ。 ここでのすべての Recipe は
infra.engine_versionからイメージタグを固定するため、レンダリングされたワークロードは固定されたイメージを参照します。 - 単一目的の簡潔な構成。 Kubernetes では、Prometheus コンポーネントは StatefulSet、ClusterIP と Headless の Service、データボリュームのクレームとしてレンダリングされ、それ以外は生成されません。各 Grafana は、それぞれ専用の Deployment、Service、データボリュームのクレームとしてレンダリングされます。
サンプルを生成する
このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。
例の名前を付けた新しいフォルダーに例を書き出します。
aggrega scaffold --example prometheus-scrapeその後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。
cd prometheus-scrapeビルド
このワークスペースには .aggrega-config.yaml がないため、標準ライブラリのエンティティはハブレジストリ hub.aggrega.ai から解決され、カタログフラグは不要です。
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (Workload synthesis on prom/prometheus)aggrega build --release release-helm-synth.yaml --auto-pullレンダリングされた成果物は dist/ 配下に出力されます。--auto-pull は、ビルド中に各 Release の依存関係をそのロックファイルへ解決します。事前に一度 aggrega pull --release release-compose.yaml を実行しても同じ処理が行われ、以降のビルドはこのフラグなしで実行できます。合成されたターゲットでは外部チャートの取得は不要です。両方の Recipes が公式イメージを直接 Kubernetes リソースへレンダリングするためです。
AI アシスタントを使う
Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。
Aggrega のツールのみを使用し、フォルダーは自分で作成しないでください。Workspace フォルダーにまだ `prometheus-scrape` フォルダーがない場合は、`example` を `prometheus-scrape` に設定し、`dir` を指定せずに `scaffold` ツールを 1 回呼び出してください。これにより、新しい `prometheus-scrape` フォルダーに例が書き込まれます。次に、各 Release について 1 回ずつ、`release-compose.yaml`、`release-helm-synth.yaml` の順に `build` ツールを呼び出してください。毎回、`workspace_root` を `prometheus-scrape`、`release` をそのファイル、`auto_pull` を true、`write` を true に設定します。各ビルドが書き込んだファイルを教えてください。それらは `prometheus-scrape/dist/` の下にあります。コンパイルされたスクレイプ設定の内容
Compose では、サーバーは接続された
Grafana ごとに 1 つのジョブを持つ prometheus.yml を書き出し、各ジョブはその Grafana が公開する metrics_endpoint、つまり
compose サービス名とポートを宛先とします:
scrape_configs: - job_name: ops-grafana scrape_interval: 30s scheme: http metrics_path: "/metrics" static_configs: - targets: - "ops-dashboards:3001" - job_name: team-dashboards scrape_interval: 15s scheme: http metrics_path: "/metrics" static_configs: - targets: - "team-dashboards:3000"Kubernetes では、同じ 2 つのジョブが合成された StatefulSet の
起動コマンドによって書き出され、各ジョブはその Grafana の Service を宛先とします。この Service は helm
プロバイダーが component とその default サービスキーにちなんで命名したものです:
scrape_configs: - job_name: ops-grafana scrape_interval: 30s scheme: http metrics_path: "/metrics" static_configs: - targets: - "ops-dashboards-default:3001" - job_name: team-dashboards scrape_interval: 15s scheme: http metrics_path: "/metrics" static_configs: - targets: - "team-dashboards-default:3000"どちらのターゲットも、同じ 2 本の Aggregate のエッジから同じ 2 つのジョブをコンパイルします。各
Grafana の metrics_endpoint はそれぞれ独自の scrape_target
接続を通って運ばれ、コンパイラはその文字列を
解釈せずにジョブへ渡します。ターゲット間で異なるのは、各 Grafana
が公開するアドレス(一方では compose サービス名、もう一方では Service 名)と、
設定が書き込まれるワークロード(一方では Compose サービス、もう一方では
StatefulSet)です。ここでは両方の Grafana が
Prometheus と同じスコープにあります。Kubernetes では、Release が別の namespace に配置した Grafana
は、その namespace で修飾された Service 名で宛先指定されます。
team-dashboards ジョブと ops-grafana ジョブを見比べると、各
値の出どころがわかります。ops-grafana ジョブが ops-grafana と 30s を持つのは、
その接続が両方を記述しているためです。team-dashboards ジョブが
job_name として team-dashboards を持つのは、Aggregate が何も宣言しておらず、
Recipe が接続エイリアス(この Aggregate が接続に付けた名前)にフォールバックするためです。
また 15s を持つのは、それが Component の
scrape_target ソケットが、その接続が省略したキーに対して宣言しているデフォルトだからです。
両ジョブのスキーム、metrics_path、ターゲットは、各 Grafana が公開するアドレス、
つまり Grafana がメトリクスを提供する場所から来るため、どちらの
接続もそれらについて何も記述しません。接続でキーを設定すると、
そのジョブについてだけ上書きされ、もう一方のジョブには影響しません。
これらはすべて消費側で起こります。接続ごとの設定は、 その接続を記述したノードのレンダーコンテキストにのみ現れ、ターゲットのコンテキストには 決して現れません。そのため、Grafana への接続を配線したり調整したりしても、 その Grafana 自体がレンダーするものが乱されることはありません。その Deployment と Service は どちらの場合もバイト単位で同一です。
Grafana はどの呼び出し元にもメトリクスを返すため、どちらの接続も
資格情報を持ちません。メトリクスに資格情報が必要なターゲットでは、接続がそれを
credential スロットに持ち、Prometheus はそれをファイルから読み込んだ
ベアラートークンとして提示します。metrics_credential_required を true として公開するターゲットは、
その接続が資格情報を持たない場合にビルドを停止させます。
実行する(Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dRelease は各 Grafana に専用のポートを割り当てます(team-dashboards には 3000、
ops-dashboards には 3001)。そのため、両方をローカルで並べて実行できます。各 Grafana
は Release が割り当てたポートで待ち受け、各ポートはその Grafana が公開するアドレスに含まれて、
その Grafana 自身の scrape ジョブのターゲットに渡されます。
http://127.0.0.1:9090 を開きます。これは Prometheus の式ブラウザで、
Compose の Recipe はホストのループバックアドレスにのみ公開します。
Status → Targets には、2 つのジョブがコンパイル済みの設定が付けた名前
ops-grafana と team-dashboards で一覧表示され、それぞれが自身の Grafana の /metrics を指しています。grafana_build_info(すべての
Grafana が 1 に設定し、自身のバージョンをラベルとして付けるゲージ)をクエリすると、ジョブごとに 1 つの系列が返ります。終了するには
docker compose -f dist/app/compose/docker-compose.yaml down を実行します。