Prometheus — bir sunucu, iki scrape hedefi
Bu örnek, küçük ama gerçek bir yığını — iki Grafana pano sunucusunu scrape eden bir Prometheus metrik sunucusunu — Developer tarafından yazılmış tek bir
Aggregate’ten iki hedefe derler:
- yerel geliştirme için Docker Compose ve
- resmi
prom/prometheusimajı üzerinde Workload sentezi aracılığıyla Kubernetes.
İkisini de aynı aggregate.yaml yönlendirir. Hedefe göre yalnızca
Manifest’in seçtiği Recipe katmanı değişir.
Grafana kendi metriklerini Prometheus metin biçiminde, web bağlantı noktasındaki
/metrics adresinde sunar ve bunu varsayılan olarak yapar; bu nedenle her Grafana gerçek bir scrape
hedefidir. İkisi de iki kez bağlanmış aynı Component türüdür; dolayısıyla iki scrape işi
arasında farklı olan her şey, her bağlantıda yazılanlardan ve her Grafana’nın
metriklerini nerede sunduğunu belirttiği yerden gelir.
Dosyalar
| Dosya | Rol |
|---|---|
aggregate.yaml | Geliştirici amacı: iki Grafana, team-dashboards ve ops-dashboards (ikisi de core/observability/grafana), ve her birinin scrape_target kullanımını bildiren bir metrics sunucusu (core/observability/prometheus). |
manifest-compose.yaml | Prometheus türünü Compose Recipe’ine (compose/prometheus), Grafana türünü de Grafana Compose Recipe’ine (compose/grafana) eşler. |
manifest-helm-synth.yaml | Prometheus türünü sentezlenmiş helm Recipe’ine (helm/prometheus), Grafana türünü de sentezlenmiş Grafana helm Recipe’ine (helm/grafana) eşler. Hiçbiri bir chart indirmez. |
release-compose.yaml / release-helm-synth.yaml | İki hedef için operatör kayıtları. |
İki hedefi tek bir sokete bağlamak
scrape_target, iki bağlantı taşıyan tek bir sokettir ve her bağlantı
bir scrape job’una dönüşür:
metrics: type: core/observability/prometheus uses: scrape_target: team-dashboards: target: team-dashboards ops-dashboards: target: ops-dashboards values: job_name: ops-grafana scrape_interval: 30steam-dashboards bağlantısı hiç values yazmaz, bu nedenle onun job’u soketin
bildirdiklerini alır. ops-dashboards bağlantısı iki anahtar ayarlar ve ayarladığı her
anahtar yalnızca o job’u şekillendirir; team-dashboards job’u bunlardan etkilenmez.
Hedef, metrikleri nerede sunduğunu söyler
Bir bağlantı, Prometheus’un ne sıklıkla ve hangi iş adıyla kazıma yapacağını söyler;
nerede yapacağını asla söylemez. Bu, hedefin kendine ait bir bilgisidir ve hedef bunu yayımlar:
her Grafana Recipe’i, metriklerinin tam adresi olan metrics_endpoint değerini yayımlar:
şema, ana bilgisayar, port ve yol; örneğin Compose üzerinde
http://team-dashboards:3000/metrics. Prometheus kazıma işini
bu adresten oluşturur: şemasından, yolundan ve işin hedefi olarak
ana bilgisayarından ve portundan.
Dolayısıyla metrik sunmayan bir hedef adres yayımlamaz ve böyle bir hedefi
scrape_target’a bağlamak, hiçbir şey kazımayacak bir iş derlemek yerine
hedefin adını vererek derlemeyi durdurur. Metrikleri bir değer onları açana kadar
kapalı olan bir ürün (katalogdaki pek çok ürün metrics_enabled alır) metrikler
açıkken adresini yayımlar. Kubernetes üzerinde, tek bir adres metriklerin hepsine
ulaşamadığında bir hedef bunun yerine Prometheus’un metriklerini keşfetmek için
kullandığı şeyi, bir Service’i ya da bir pod seçicisini yayımlayabilir; Compose
gerçekleştirmesinde keşif yapılacak bir küme yoktur ve böyle bir hedefte durur.
Soket, sunucuları, durum bilgili sunucuları ve worker’ları aynı şekilde kabul eder; bu nedenle bir veritabanı, bir log deposu ya da bir operatör de aynı şekilde bağlanır; kazınıp kazınamayacağına ise yayımladığı şey karar verir.
Neyi gösteriyor
- Tek yazım yüzeyi, birçok hedef. Tek bir Aggregate, yığının ne olduğu konusunda doğruluğun kaynağıdır. Her Manifest onun nasıl gerçekleştirileceğini söyler.
- Tek soket, birçok bağlantı. Prometheus, Aggregate’in
scrape_target’a bağladığı kadar hedefi kazır. Recipe her bağlantı için bir kazıma işi üretir; bu nedenle iş sayısı Recipe’yi değil topolojiyi izler. - Bağlantı başına yapılandırma.
job_namevescrape_interval, soketinvalueSchema’sında bildirilir; bu da onları sunucunun değil bir bağlantının özellikleri yapar. Birkaç hedefi kazıyan tek bir Prometheus, birkaç kazıma sıklığını Component genelindeki tek bir değerle ifade edemez. - Bildirilen varsayılanlar, bir bağlantının atladığı anahtarları doldurur.
scrape_interval, soketinvalueSchema’sında bir varsayılan taşır. Onu atlayan bir bağlantı — buradateam-dashboards— bu varsayılanı alır; onu ayarlayan bir bağlantı ise —ops-dashboards— yalnızca ayarladığı şeyi geçersiz kılar. - String Pipe üzerinden kazıma bağlantısı. Her Grafana Recipe’sinin
metrics_endpoint’i Prometheus’a aktarılır ve o Grafana’nın işine işlenir: şeması, yolu vetargetsgirdisi. Derleyici dizeyi yorumlamadan yönlendirir: kendi hedefinin hangi adresi yayımladığına her Recipe kendisi karar verir ve derleyici bunu değiştirmeden aktarır. - Provider’a özgü yapılandırma. Her iki hedefte de sunucu, başlangıçta kazıma
işleri bağlanan Grafana’ları adresleyen minimal bir
prometheus.ymlyazar, ardından Prometheus’u bununla çalıştırır (exec). Compose’da bu bir servis olarak çalışır; Kubernetes’te aynı konteyner bir StatefulSet olarak işlenir. - Kalıcı durum. Prometheus örneklerini yeniden başlatmalardan sonra da
korunmaları için bir veri biriminde saklar — yerelde adlandırılmış bir Compose
birimi, Kubernetes’te ise boyutu
infra.storage’dan alınan replika başına bir PersistentVolumeClaim. Her Grafana kullanıcılarını ve panolarını kendine ait bir birimde tutar. - Yeniden üretilebilir imajlar. Buradaki her Recipe imaj etiketini
infra.engine_version’dan sabitler; böylece işlenen iş yükleri sabit imajlara başvurur. - Yalın, tek amaçlı yapı. Kubernetes’te Prometheus bileşeni StatefulSet’i, ClusterIP ve Headless Service’leri ve veri birimi talebi olarak işlenir — başka hiçbir şey değil. Her Grafana kendi Deployment’ı, Service’i ve veri birimi talebi olarak işlenir.
Örneği oluşturun
Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.
Örneği, adını taşıyan yeni bir klasöre yazın:
aggrega scaffold --example prometheus-scrapeArdından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:
cd prometheus-scrapeDerleme
Bu çalışma alanında .aggrega-config.yaml bulunmaz; bu nedenle standart kütüphane varlıkları hub kayıt defteri hub.aggrega.ai üzerinden çözümlenir ve katalog bayrağına gerek yoktur:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (Workload synthesis on prom/prometheus)aggrega build --release release-helm-synth.yaml --auto-pullOluşturulan yapıtlar dist/ altına yerleşir. --auto-pull, derleme sırasında her Release’in bağımlılıklarını kendi kilit dosyasına çözümler; başta bir kez çalıştırılan aggrega pull --release release-compose.yaml aynı işi yapar ve sonraki derlemelerin bu bayrak olmadan çalışmasını sağlar. Sentezlenen hedef harici bir chart indirmesine ihtiyaç duymaz; her iki Recipe de resmî imajları doğrudan Kubernetes kaynaklarına dönüştürür.
Bir yapay zekâ asistanıyla
Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.
Yalnızca Aggrega araçlarını kullanın ve kendiniz hiçbir klasör oluşturmayın. Workspace klasöründe henüz `prometheus-scrape` klasörü yoksa, `scaffold` aracını `example` değeri `prometheus-scrape` olacak şekilde ve `dir` olmadan bir kez çağırın: örneği yeni bir `prometheus-scrape` klasörüne yazar. Ardından `build` aracını her Release için birer kez, şu sırayla çağırın — `release-compose.yaml` ve `release-helm-synth.yaml` — her seferinde `workspace_root` değeri `prometheus-scrape`, `release` değeri o dosya, `auto_pull` değeri true ve `write` değeri true olacak şekilde. Her derlemenin hangi dosyaları yazdığını bana söyleyin; bunlar `prometheus-scrape/dist/` altındadır.Derlenmiş scrape yapılandırması nasıl görünür
Compose üzerinde sunucu, bağlanan her Grafana için bir iş içeren bir prometheus.yml yazar; her iş o Grafana’nın yayımladığı metrics_endpoint değerini, yani compose hizmet adını ve bağlantı noktasını adresler:
scrape_configs: - job_name: ops-grafana scrape_interval: 30s scheme: http metrics_path: "/metrics" static_configs: - targets: - "ops-dashboards:3001" - job_name: team-dashboards scrape_interval: 15s scheme: http metrics_path: "/metrics" static_configs: - targets: - "team-dashboards:3000"Kubernetes üzerinde aynı iki iş, sentezlenen StatefulSet’in başlangıç komutu tarafından yazılır; her iş, helm sağlayıcısının bileşene ve onun default hizmet anahtarına göre adlandırdığı o Grafana’nın Service’ini adresler:
scrape_configs: - job_name: ops-grafana scrape_interval: 30s scheme: http metrics_path: "/metrics" static_configs: - targets: - "ops-dashboards-default:3001" - job_name: team-dashboards scrape_interval: 15s scheme: http metrics_path: "/metrics" static_configs: - targets: - "team-dashboards-default:3000"Her iki hedef de aynı iki işi aynı iki Aggregate kenarından derler: her Grafana’nın metrics_endpoint değeri kendi scrape_target bağlantısı üzerinden taşınır ve derleyici bu dizeyi yorumlamadan işe aktarır. Hedefler arasında farklı olan, her Grafana’nın yayımladığı adres (birinde bir compose hizmet adı, diğerinde bir Service adı) ve yapılandırmanın yazıldığı iş yüküdür (birinde bir Compose hizmeti, diğerinde bir StatefulSet). Burada her iki Grafana da Prometheus ile aynı kapsamdadır; Kubernetes üzerinde Release’in başka bir ad alanına yerleştirdiği bir Grafana, o ad alanıyla nitelenmiş Service adıyla adreslenir.
Her değerin nereden geldiğini görmek için team-dashboards işini ops-grafana işiyle karşılaştırarak okuyun. ops-grafana işi ops-grafana ve 30s değerlerini taşır, çünkü bağlantısı ikisini de belirtir. team-dashboards işi job_name olarak team-dashboards değerini taşır, çünkü Aggregate hiçbir ad bildirmez ve Recipe bağlantı takma adına, yani bu Aggregate’in bağlantıya verdiği ada geri döner; ayrıca 15s değerini taşır, çünkü bu, Component’in scrape_target soketinin o bağlantının atladığı anahtar için bildirdiği varsayılandır. Her iki işin şeması, metrics_path değeri ve hedefi, her Grafana’nın yayımladığı adresten gelir; bu adres Grafana’nın metriklerini sunduğu yerdir, bu nedenle hiçbir bağlantı bunlar hakkında bir şey söylemez. Bir bağlantı üzerinde bir anahtarı ayarlamak, onu o iş için geçersiz kılar ve diğer işe dokunmaz.
Bunların tümü tüketen tarafta gerçekleşir. Bağlantı başına yapılandırma yalnızca bağlantıyı yazan düğümün işleme bağlamında ortaya çıkar, hiçbir zaman hedefinkinde çıkmaz; bu nedenle bir bağlantıyı bir Grafana’ya bağlamak veya ayarlamak, o Grafana’nın kendisinin işlediği şeyi hiçbir zaman bozmaz: Deployment’ı ve Service’i her iki durumda da aynı baytlardır.
Grafana metriklerini her çağırana yanıtlar, bu nedenle hiçbir bağlantı kimlik bilgisi taşımaz. Metrikleri kimlik bilgisi gerektiren bir hedef için bağlantı bunu credential yuvasında taşır ve Prometheus onu bir dosyadan okunan bearer token olarak sunar; metrics_credential_required değerini true olarak yayımlayan bir hedef, bağlantısı hiç kimlik bilgisi taşımadığı sürece derlemeyi durdurur.
Çalıştırın (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dRelease, her Grafana’ya kendi portunu verir — team-dashboards için 3000 ve
ops-dashboards için 3001 — böylece ikisi yerelde yan yana çalışır. Her Grafana,
Release’inin ona verdiği portta dinler ve her port, o Grafana’nın kendi scrape
job’unun hedefine yayımladığı adresle taşınır.
http://127.0.0.1:9090 adresini açın — Compose Recipe’inin yalnızca ana makinenin
loopback adresinde yayımladığı Prometheus ifade tarayıcısı. Status → Targets
altında iki job, derlenen yapılandırmanın onlara verdiği adlarla, ops-grafana ve
team-dashboards olarak listelenir; her biri kendi Grafana’sının /metrics yolunu
adresler. Her Grafana’nın 1 olarak ayarladığı ve sürümüyle etiketlediği gauge olan
grafana_build_info için yapılan bir sorgu, job başına bir seri döndürür. Ortamı
docker compose -f dist/app/compose/docker-compose.yaml down ile kaldırın.