コンテンツにスキップ
AggregaAggrega
言語の選択: 日本語
このページは機械翻訳されています。英語の原文を読む。

Prometheus — 1 台のサーバー、2 つのスクレイプターゲット

この例では、小規模ながら実用的なスタック(2 台の Grafana ダッシュボードサーバーをスクレイプする Prometheus メトリクスサーバー)を、Developer が作成した 1 つの Aggregate から 2 つのターゲットへコンパイルします。

  • ローカル開発向けの Docker Compose、そして
  • 公式の prom/prometheus イメージ上での Workload 合成による Kubernetes。

同じ aggregate.yaml が両方を駆動します。ターゲットごとに変わるのは、 Manifest が選択する Recipe レイヤーだけです。

Grafana は自身のメトリクスを Prometheus テキスト形式で、Web ポートの /metrics で 提供します。これはデフォルトの動作であるため、各 Grafana は実際のスクレイプ ターゲットになります。両者は同じ Component タイプを 2 回配線したものなので、2 つのスクレイプジョブの間で 異なる点はすべて、各接続に記述された内容と、各 Grafana がメトリクスを提供すると示す場所から生じます。

ファイル

ファイル役割
aggregate.yamlDeveloper の意図:2 つの Grafana である team-dashboards と ops-dashboards(いずれも core/observability/grafana)、およびそれぞれに対する scrape_target の利用を宣言する metrics サーバー(core/observability/prometheus)。
manifest-compose.yamlPrometheus 型を Compose Recipe(compose/prometheus)に、Grafana 型を Grafana Compose Recipe(compose/grafana)にマッピングします。
manifest-helm-synth.yamlPrometheus 型を合成された helm Recipe(helm/prometheus)に、Grafana 型を合成された Grafana helm Recipe(helm/grafana)にマッピングします。どちらもチャートを取得しません。
release-compose.yaml / release-helm-synth.yaml2 つのターゲット向けの Operator レコード。

1 つのソケットに 2 つのターゲットを接続する

scrape_target は 2 つの接続を持つ 1 つのソケットであり、各接続が 1 つのスクレイプジョブになります。

metrics:
type: core/observability/prometheus
uses:
scrape_target:
team-dashboards:
target: team-dashboards
ops-dashboards:
target: ops-dashboards
values:
job_name: ops-grafana
scrape_interval: 30s

team-dashboards の接続は values を記述しないため、そのジョブはソケットが宣言する内容を そのまま受け取ります。ops-dashboards の接続は 2 つのキーを設定し、設定した各キーは そのジョブだけを形作ります。team-dashboards のジョブはそれらの影響を受けません。

ターゲットはメトリクスの提供場所を自ら示す

connection は Prometheus がどの頻度で、どのジョブ名でスクレイプするかを示しますが、どこをスクレイプするかは示しません。それはターゲット自身の事実であり、ターゲットがそれを公開します。各 Grafana Recipe は metrics_endpoint を公開します。これはメトリクスの完全なアドレスで、スキーム、ホスト、ポート、パスからなり、Compose では http://team-dashboards:3000/metrics のようになります。Prometheus はこのアドレスからスクレイプジョブを構築します。スキーム、パス、そしてジョブのターゲットとしてのホストとポートです。

したがって、メトリクスを提供しないターゲットはアドレスを公開せず、そのようなターゲットを scrape_target に接続すると、何もスクレイプしないジョブをコンパイルするのではなく、そのターゲットを名指ししてビルドが停止します。値によって有効にされるまでメトリクスが無効になっている製品(カタログ内の多くは metrics_enabled を受け取ります)は、メトリクスが有効な間アドレスを公開します。Kubernetes では、単一のアドレスですべてに到達できない場合、ターゲットは代わりに Prometheus がメトリクスを検出するための手がかりである Service または pod セレクターを公開できます。Compose での実現には検出元となるクラスターがないため、そのようなターゲットでは停止します。

このソケットはサーバー、ステートフルサーバー、ワーカーのいずれも受け入れるため、データベース、ログストア、オペレーターも同じ方法で接続されます。スクレイプできるかどうかは、それが何を公開するかによって決まります。

示す内容

  • 1 つの作成インターフェース、多数のターゲット。 1 つの Aggregate が、スタックが 何 であるかの信頼できる唯一の情報源です。各 Manifest は、それを どのように 実現するかを記述します。
  • 1 つのソケット、多数の接続。 Prometheus は、Aggregate が scrape_target に接続した数だけターゲットをスクレイプします。Recipe は接続ごとに 1 つのスクレイプジョブを出力するため、ジョブの数は Recipe ではなくトポロジーに従います。
  • 接続ごとの設定。 job_name と scrape_interval はソケットの valueSchema で宣言されるため、サーバーではなく 接続 のプロパティになります。複数のターゲットをスクレイプする 1 つの Prometheus では、Component 全体に共通する単一の値で複数の間隔を表現できません。
  • 宣言されたデフォルトが、接続で省略されたキーを補います。 scrape_interval はソケットの valueSchema にデフォルトを持ちます。これを省略した接続(ここでは team-dashboards)はデフォルトを受け取り、これを設定した接続(ops-dashboards)は設定した部分だけを上書きします。
  • String Pipe によるスクレイプの接続。 各 Grafana Recipe の metrics_endpoint は Prometheus にパイプされ、その Grafana のジョブ(スキーム、パス、targets エントリ)にレンダリングされます。コンパイラは文字列を解釈せずにルーティングします。各 Recipe が自身のターゲットが公開するアドレスを決め、コンパイラはそれを変更せずにパイプします。
  • Provider に適した設定。 どちらのターゲットでも、サーバーは起動時に、接続された Grafana をスクレイプジョブの宛先とする最小限の prometheus.yml を書き出し、それを使って Prometheus を exec します。Compose ではこれがサービスとして実行され、Kubernetes では同じコンテナが StatefulSet にレンダリングされます。
  • 永続的な状態。 Prometheus は、再起動後もサンプルが残るようにデータボリュームに保存します。ローカルでは名前付きの Compose ボリューム、Kubernetes では infra.storage からサイズが決まるレプリカごとの PersistentVolumeClaim です。各 Grafana は、ユーザーとダッシュボードをそれぞれ専用のボリュームに保持します。
  • 再現可能なイメージ。 ここでのすべての Recipe は infra.engine_version からイメージタグを固定するため、レンダリングされたワークロードは固定されたイメージを参照します。
  • 単一目的の簡潔な構成。 Kubernetes では、Prometheus コンポーネントは StatefulSet、ClusterIP と Headless の Service、データボリュームのクレームとしてレンダリングされ、それ以外は生成されません。各 Grafana は、それぞれ専用の Deployment、Service、データボリュームのクレームとしてレンダリングされます。

サンプルを生成する

このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。

例の名前を付けた新しいフォルダーに例を書き出します。

Terminal window
aggrega scaffold --example prometheus-scrape

その後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。

Terminal window
cd prometheus-scrape

ビルド

このワークスペースには .aggrega-config.yaml がないため、標準ライブラリのエンティティはハブレジストリ hub.aggrega.ai から解決され、カタログフラグは不要です。

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (Workload synthesis on prom/prometheus)
aggrega build --release release-helm-synth.yaml --auto-pull

レンダリングされた成果物は dist/ 配下に出力されます。--auto-pull は、ビルド中に各 Release の依存関係をそのロックファイルへ解決します。事前に一度 aggrega pull --release release-compose.yaml を実行しても同じ処理が行われ、以降のビルドはこのフラグなしで実行できます。合成されたターゲットでは外部チャートの取得は不要です。両方の Recipes が公式イメージを直接 Kubernetes リソースへレンダリングするためです。

AI アシスタントを使う

Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。

Aggrega のツールのみを使用し、フォルダーは自分で作成しないでください。Workspace フォルダーにまだ `prometheus-scrape` フォルダーがない場合は、`example` を `prometheus-scrape` に設定し、`dir` を指定せずに `scaffold` ツールを 1 回呼び出してください。これにより、新しい `prometheus-scrape` フォルダーに例が書き込まれます。次に、各 Release について 1 回ずつ、`release-compose.yaml`、`release-helm-synth.yaml` の順に `build` ツールを呼び出してください。毎回、`workspace_root` を `prometheus-scrape`、`release` をそのファイル、`auto_pull` を true、`write` を true に設定します。各ビルドが書き込んだファイルを教えてください。それらは `prometheus-scrape/dist/` の下にあります。

コンパイルされたスクレイプ設定の内容

Compose では、サーバーは接続された Grafana ごとに 1 つのジョブを持つ prometheus.yml を書き出し、各ジョブはその Grafana が公開する metrics_endpoint、つまり compose サービス名とポートを宛先とします:

scrape_configs:
- job_name: ops-grafana
scrape_interval: 30s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "ops-dashboards:3001"
- job_name: team-dashboards
scrape_interval: 15s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "team-dashboards:3000"

Kubernetes では、同じ 2 つのジョブが合成された StatefulSet の 起動コマンドによって書き出され、各ジョブはその Grafana の Service を宛先とします。この Service は helm プロバイダーが component とその default サービスキーにちなんで命名したものです:

scrape_configs:
- job_name: ops-grafana
scrape_interval: 30s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "ops-dashboards-default:3001"
- job_name: team-dashboards
scrape_interval: 15s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "team-dashboards-default:3000"

どちらのターゲットも、同じ 2 本の Aggregate のエッジから同じ 2 つのジョブをコンパイルします。各 Grafana の metrics_endpoint はそれぞれ独自の scrape_target 接続を通って運ばれ、コンパイラはその文字列を 解釈せずにジョブへ渡します。ターゲット間で異なるのは、各 Grafana が公開するアドレス(一方では compose サービス名、もう一方では Service 名)と、 設定が書き込まれるワークロード(一方では Compose サービス、もう一方では StatefulSet)です。ここでは両方の Grafana が Prometheus と同じスコープにあります。Kubernetes では、Release が別の namespace に配置した Grafana は、その namespace で修飾された Service 名で宛先指定されます。

team-dashboards ジョブと ops-grafana ジョブを見比べると、各 値の出どころがわかります。ops-grafana ジョブが ops-grafana と 30s を持つのは、 その接続が両方を記述しているためです。team-dashboards ジョブが job_name として team-dashboards を持つのは、Aggregate が何も宣言しておらず、 Recipe が接続エイリアス(この Aggregate が接続に付けた名前)にフォールバックするためです。 また 15s を持つのは、それが Component の scrape_target ソケットが、その接続が省略したキーに対して宣言しているデフォルトだからです。 両ジョブのスキーム、metrics_path、ターゲットは、各 Grafana が公開するアドレス、 つまり Grafana がメトリクスを提供する場所から来るため、どちらの 接続もそれらについて何も記述しません。接続でキーを設定すると、 そのジョブについてだけ上書きされ、もう一方のジョブには影響しません。

これらはすべて消費側で起こります。接続ごとの設定は、 その接続を記述したノードのレンダーコンテキストにのみ現れ、ターゲットのコンテキストには 決して現れません。そのため、Grafana への接続を配線したり調整したりしても、 その Grafana 自体がレンダーするものが乱されることはありません。その Deployment と Service は どちらの場合もバイト単位で同一です。

Grafana はどの呼び出し元にもメトリクスを返すため、どちらの接続も 資格情報を持ちません。メトリクスに資格情報が必要なターゲットでは、接続がそれを credential スロットに持ち、Prometheus はそれをファイルから読み込んだ ベアラートークンとして提示します。metrics_credential_required を true として公開するターゲットは、 その接続が資格情報を持たない場合にビルドを停止させます。

実行する(Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Release は各 Grafana に専用のポートを割り当てます(team-dashboards には 3000、 ops-dashboards には 3001)。そのため、両方をローカルで並べて実行できます。各 Grafana は Release が割り当てたポートで待ち受け、各ポートはその Grafana が公開するアドレスに含まれて、 その Grafana 自身の scrape ジョブのターゲットに渡されます。

http://127.0.0.1:9090 を開きます。これは Prometheus の式ブラウザで、 Compose の Recipe はホストのループバックアドレスにのみ公開します。 Status → Targets には、2 つのジョブがコンパイル済みの設定が付けた名前 ops-grafana と team-dashboards で一覧表示され、それぞれが自身の Grafana の /metrics を指しています。grafana_build_info(すべての Grafana が 1 に設定し、自身のバージョンをラベルとして付けるゲージ)をクエリすると、ジョブごとに 1 つの系列が返ります。終了するには docker compose -f dist/app/compose/docker-compose.yaml down を実行します。