Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

Prometheus — один сервер, две цели сбора метрик

Этот пример компилирует небольшой реальный стек — сервер метрик Prometheus, собирающий метрики с двух серверов дашбордов Grafana, — из одного Aggregate, написанного разработчиком, в две целевые платформы:

  • Docker Compose для локальной разработки и
  • Kubernetes с помощью синтеза сущности Workload на основе официального образа prom/prometheus.

Один и тот же aggregate.yaml управляет обеими. Для каждой целевой платформы меняется только слой Recipe, выбранный сущностью Manifest.

Grafana отдаёт собственные метрики в текстовом формате Prometheus по пути /metrics на своём веб-порту, причём делает это по умолчанию, поэтому каждый экземпляр Grafana — реальная цель сбора метрик. Оба — один и тот же тип Component, подключённый дважды, поэтому всё, чем различаются два задания сбора, определяется тем, что задано на каждом соединении, и тем, где каждый экземпляр Grafana, по его собственному указанию, отдаёт свои метрики.

Файлы

ФайлРоль
aggregate.yamlНамерение разработчика: два экземпляра Grafana, team-dashboards и ops-dashboards (оба core/observability/grafana), и сервер metrics (core/observability/prometheus), который объявляет использование scrape_target для каждого из них.
manifest-compose.yamlСопоставляет тип Prometheus с Compose-сущностью Recipe (compose/prometheus), а тип Grafana — с Compose-сущностью Recipe для Grafana (compose/grafana).
manifest-helm-synth.yamlСопоставляет тип Prometheus с синтезированной helm-сущностью Recipe (helm/prometheus), а тип Grafana — с синтезированной helm-сущностью Recipe для Grafana (helm/grafana). Ни одна из них не загружает chart.
release-compose.yaml / release-helm-synth.yamlЗаписи оператора для двух целевых платформ.

Подключение двух целей к одному сокету

scrape_target — это один сокет с двумя подключениями, и каждое подключение становится одним заданием сбора метрик:

metrics:
type: core/observability/prometheus
uses:
scrape_target:
team-dashboards:
target: team-dashboards
ops-dashboards:
target: ops-dashboards
values:
job_name: ops-grafana
scrape_interval: 30s

Подключение team-dashboards не задаёт values, поэтому его задание получает то, что объявляет сокет. Подключение ops-dashboards задаёт два ключа, и каждый заданный им ключ влияет только на это задание — задание team-dashboards они не затрагивают.

Цель сама сообщает, где отдаёт метрики

Соединение указывает, как часто Prometheus собирает метрики и под каким именем задания, но никогда не указывает, где. Это собственный факт цели, и цель его публикует: каждый Grafana Recipe публикует metrics_endpoint — полный адрес своих метрик: схему, хост, порт и путь, например http://team-dashboards:3000/metrics в Compose. Prometheus строит задание сбора из этого адреса: его схему, его путь, а его хост и порт становятся целью задания.

Поэтому цель, которая не отдаёт метрики, не публикует адреса, и её подключение к scrape_target останавливает сборку с указанием этой цели, вместо того чтобы скомпилировать задание, которое ничего бы не собирало. Продукт, метрики которого выключены, пока их не включит значение, — многие в каталоге принимают metrics_enabled, — публикует свой адрес, пока метрики включены. В Kubernetes цель может вместо этого публиковать то, по чему Prometheus обнаруживает её метрики, — Service или селектор подов, когда ни один отдельный адрес не охватывает их все; реализация для Compose не имеет кластера, в котором можно вести обнаружение, и останавливается на такой цели.

Сокет одинаково принимает серверы, серверы с состоянием и рабочие процессы, поэтому база данных, хранилище логов или оператор подключаются так же; можно ли с них собирать метрики, определяется тем, что они публикуют.

Что демонстрирует пример

  • Одна поверхность описания, много целевых платформ. Единственный Aggregate — источник истины о том, что представляет собой стек. Каждый Manifest описывает, как его реализовать.
  • Один сокет, много соединений. Prometheus опрашивает столько целей, сколько Aggregate подключает к scrape_target. Recipe создаёт по одному заданию опроса на соединение, поэтому число заданий определяется топологией, а не Recipe.
  • Конфигурация на уровне соединения. job_name и scrape_interval объявлены в valueSchema сокета, что делает их свойствами соединения, а не сервера. Один Prometheus, опрашивающий несколько целей, не может выразить несколько частот опроса одним значением на весь Component.
  • Объявленные значения по умолчанию заполняют ключи, которые соединение опускает. scrape_interval имеет значение по умолчанию в valueSchema сокета. Соединение, которое его опускает, — здесь team-dashboards — получает это значение, а соединение, которое его задаёт, — ops-dashboards — переопределяет только то, что задало.
  • Подключение опроса через String Pipe. metrics_endpoint каждого Recipe Grafana передаётся в Prometheus и подставляется в задание этой Grafana: её схему, путь и запись targets. Компилятор передаёт строку, не интерпретируя её: каждый Recipe решает, какой адрес публикует его цель, а компилятор передаёт его без изменений.
  • Конфигурация в идиомах Provider. На обеих целевых платформах сервер при запуске записывает минимальный prometheus.yml, задания опроса в котором обращаются к подключённым экземплярам Grafana, а затем запускает Prometheus через exec с этим файлом. В Compose это работает как сервис; в Kubernetes тот же контейнер отрисовывается в StatefulSet.
  • Постоянное состояние. Prometheus хранит свои выборки на томе данных, чтобы они сохранялись после перезапусков, — локально это именованный том Compose, а в Kubernetes — PersistentVolumeClaim для каждой реплики с размером из infra.storage. Каждая Grafana хранит пользователей и дашборды на собственном томе.
  • Воспроизводимые образы. Каждый Recipe здесь фиксирует тег образа из infra.engine_version, поэтому отрисованные рабочие нагрузки ссылаются на фиксированные образы.
  • Компактная форма с единственным назначением. В Kubernetes компонент Prometheus отрисовывается в свой StatefulSet, сервисы ClusterIP и Headless и заявку на том данных — и ничего больше. Каждая Grafana отрисовывается в собственные Deployment, Service и заявку на том данных.

Создание примера

Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.

Запишите пример в новую папку, названную по его имени:

Terminal window
aggrega scaffold --example prometheus-scrape

Затем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:

Terminal window
cd prometheus-scrape

Сборка

В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (Workload synthesis on prom/prometheus)
aggrega build --release release-helm-synth.yaml --auto-pull

Отрендеренные артефакты сохраняются в dist/. --auto-pull во время сборки разрешает зависимости каждой сущности Release в её lock-файл; однократный запуск aggrega pull --release release-compose.yaml заранее делает то же самое и позволяет последующим сборкам выполняться без этого флага. Синтезированной целевой платформе не нужна загрузка внешних чартов — обе сущности Recipes рендерят официальные образы непосредственно в ресурсы Kubernetes.

С ИИ-ассистентом

ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.

Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если в папке Workspace ещё нет папки `prometheus-scrape`, вызовите один раз инструмент `scaffold`, задав для `example` значение `prometheus-scrape` и не задавая `dir`: он запишет пример в новую папку `prometheus-scrape`. Затем вызовите инструмент `build` по одному разу для каждой сущности Release в таком порядке — `release-compose.yaml` и `release-helm-synth.yaml` — каждый раз задавая для `workspace_root` значение `prometheus-scrape`, для `release` — этот файл, для `auto_pull` — true и для `write` — true. Сообщите мне, какие файлы записала каждая сборка; они находятся в `prometheus-scrape/dist/`.

Как выглядит скомпилированная конфигурация сбора метрик

В Compose сервер записывает файл prometheus.yml, содержащий по одному заданию на каждый подключённый экземпляр Grafana; каждое задание обращается к metrics_endpoint, который публикует этот Grafana, — к имени его сервиса compose и порту:

scrape_configs:
- job_name: ops-grafana
scrape_interval: 30s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "ops-dashboards:3001"
- job_name: team-dashboards
scrape_interval: 15s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "team-dashboards:3000"

В Kubernetes те же два задания записываются командой запуска синтезированного StatefulSet; каждое обращается к Service соответствующего Grafana, который провайдер helm именует по компоненту и его ключу сервиса default:

scrape_configs:
- job_name: ops-grafana
scrape_interval: 30s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "ops-dashboards-default:3001"
- job_name: team-dashboards
scrape_interval: 15s
scheme: http
metrics_path: "/metrics"
static_configs:
- targets:
- "team-dashboards-default:3000"

Обе целевые платформы компилируют одни и те же два задания из одних и тех же двух рёбер сущности Aggregate: значение metrics_endpoint каждого Grafana передаётся через собственное соединение scrape_target, и компилятор подставляет эту строку в задание, не интерпретируя её. Различаются платформы адресом, который публикует каждый Grafana , — имя сервиса compose на одной и имя Service на другой, — и рабочей нагрузкой, в которую записывается конфигурация, — сервис Compose на одной и StatefulSet на другой. Здесь оба экземпляра Grafana находятся в той же области видимости, что и Prometheus; в Kubernetes к Grafana, который сущность Release размещает в другом пространстве имён, обращаются по имени его Service, дополненному этим пространством имён.

Сравните задание team-dashboards с заданием ops-grafana, чтобы увидеть, откуда берётся каждое значение. Задание ops-grafana содержит ops-grafana и 30s, потому что оба значения задаёт его соединение. Задание team-dashboards содержит team-dashboards в качестве job_name, потому что сущность Aggregate его не объявляет, и сущность Recipe использует псевдоним соединения — имя, которое эта сущность Aggregate дала соединению, — а 15s оно содержит потому, что это значение по умолчанию, которое сокет scrape_target сущности Component объявляет для ключа, опущенного этим соединением. Схема, metrics_path и цель обоих заданий берутся из адреса, публикуемого каждым Grafana, то есть из места, где Grafana отдаёт свои метрики, поэтому ни одно соединение ничего о них не говорит. Ключ, заданный на соединении, переопределяет значение для этого задания и не затрагивает другое.

Всё это происходит на стороне потребителя. Конфигурация отдельного соединения появляется только в контексте рендеринга узла, который задал соединение, и никогда — в контексте цели, поэтому подключение или настройка соединения к Grafana никак не влияет на то, что рендерит сам этот Grafana: его Deployment и Service остаются теми же байтами в любом случае.

Grafana отдаёт метрики любому вызывающему, поэтому ни одно соединение не содержит учётных данных. Для цели, метрики которой их требуют, соединение передаёт их в своём слоте credential, и Prometheus предъявляет их как bearer-токен, считываемый из файла; цель, публикующая metrics_credential_required со значением true, останавливает сборку, пока её соединение не содержит учётных данных.

Запуск (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Сущность Release выделяет каждому экземпляру Grafana собственный порт — team-dashboards на 3000 и ops-dashboards на 3001, — поэтому оба работают локально бок о бок. Каждый экземпляр Grafana слушает порт, который ему выделяет его Release, и каждый порт передаётся в адресе, который этот Grafana публикует, в цель его собственного задания сбора метрик.

Откройте http://127.0.0.1:9090 — обозреватель выражений Prometheus, который Recipe для Compose публикует только на loopback-адресе хоста. В разделе Status → Targets оба задания перечислены под именами, которые им даёт скомпилированная конфигурация, ops-grafana и team-dashboards, и каждое обращается к /metrics своего экземпляра Grafana. Запрос grafana_build_info — метрики-датчика, которую каждый экземпляр Grafana устанавливает в 1 и помечает своей версией, — возвращает по одному ряду на задание. Чтобы остановить и удалить окружение, выполните docker compose -f dist/app/compose/docker-compose.yaml down.