Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

Стек Thanos — уровень чтения метрик поверх объектного хранилища, собранный как модуль

Этот пример компилирует небольшой реальный стек — уровень чтения и запросов системы метрик Thanos — в синтезированные манифесты Kubernetes из одного написанного разработчиком Aggregate.

Уровень чтения — это не один компонент. Это модуль: повторно используемый вложенный агрегат, который объединяет три компонента с одной рабочей нагрузкой каждый:

  • S3-совместимое объектное хранилище, которое хранит исторические блоки метрик на томе и отдаёт их через S3 API,
  • Store Gateway, который читает эти блоки из объектного хранилища и отдаёт их обработчикам запросов через свой StoreAPI, храня лишь эфемерный локальный кеш;
  • фронтенд Query, который отвечает на запросы PromQL и распределяет их через StoreAPI Store Gateway, не храня собственного состояния.

Модуль сам связывает свои внутренние рёбра — Store Gateway с объектным хранилищем и Query со Store Gateway — и экспортирует Query как свою публичную точку доступа query. Aggregate верхнего уровня импортирует модуль по имени и рендерит собранный стек; оператор задаёт размеры внутренних компонентов модуля в Release.

Файлы

ФайлРоль
aggregate.yamlНамерение разработчика: импортирует модуль уровня чтения Thanos (core/thanos).
manifest-helm-synth.yamlСопоставляет типы объектного хранилища, Store Gateway и Query с их синтезирующими Recipes для Helm, а также сопоставляет Feature учётных данных, которую прикрепляет модуль, с реализацией, создающей Secret из каждого из двух параметров ключей модуля.
release-helm-synth.yamlЗапись оператора для цели Kubernetes. Задаёт размеры внутренних компонентов модуля по их идентификаторам в области модуля; всё, что оставлено значениям по умолчанию из схемы, рендерится автономно.

Предварительное условие во время выполнения

Этот модуль — только уровень чтения/запросов. Объектное хранилище создаёт бакет thanos, из которого читает Store Gateway, до начала обслуживания, поэтому единственное, что нужно предоставить во время выполнения вне отрисованных манифестов, — это компонент записи, создающий блоки метрик. Уровень чтения отдаёт блоки, но не создаёт их. Компонент записи — уровень Thanos Receive или экземпляр Prometheus с sidecar Thanos — должен отправлять блоки метрик в тот же бакет. Пока компонент записи не загрузил блоки, Store Gateway возвращает пустой набор результатов.

Создание примера

Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.

Запишите пример в новую папку, названную по его имени:

Terminal window
aggrega scaffold --example thanos-stack

Затем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:

Terminal window
cd thanos-stack

Сборка

В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен; --auto-pull во время сборки записывает lock-файл, которого нет в свежем клоне:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull

Отрисованные артефакты помещаются в dist/. Целевая платформа Kubernetes отрисовывает обычные манифесты офлайн — загрузка чарта не требуется.

С ИИ-ассистентом

ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.

Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если папка рабочей области ещё не содержит папку `thanos-stack`, вызовите один раз инструмент `scaffold` с параметром `example` со значением `thanos-stack` и без `dir`: он запишет пример в новую папку `thanos-stack`. Затем вызовите инструмент `build` с параметрами `workspace_root` — `thanos-stack`, `release` — `release-helm-synth.yaml`, `auto_pull` — true и `write` — true. Сообщите мне, какие файлы записала сборка; они находятся в `thanos-stack/dist/`.

Как выглядит собранный стек

Store Gateway рендерится как Deployment без состояния плюс Service типа ClusterIP, открывающий его порт gRPC для StoreAPI и порт HTTP. Его контейнер запускается с thanos store и одним встроенным флагом --objstore.config, значение которого — раздел S3, построенный из точки доступа, публикуемой объектным хранилищем, — имени его внутрикластерного Service и порта, с insecure: true, поскольку эта точка доступа обслуживается по обычному HTTP. Эта конфигурация выбирает цепочку учётных данных AWS SDK, поэтому не содержит секрета; обе половины ключа доступа поступают как переменные окружения, читаемые из Secrets:

args:
- store
- --grpc-address
- 0.0.0.0:10901
- --http-address
- 0.0.0.0:10902
- --data-dir
- /var/thanos/store
- |-
--objstore.config=type: S3
config:
bucket: thanos
endpoint: metrics-zdobjstore-default:8333
insecure: true
aws_sdk_auth: true
[… omitted: the container ports for the two addresses named in the args]
env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential-id
key: s3-access-key
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential
key: s3-secret-key
[… omitted: the container's resources and its liveness and readiness probes]

Query рендерится как Deployment без состояния плюс Service типа ClusterIP на его HTTP- порту. Его контейнер запускается с thanos query и подключается к StoreAPI Store Gateway по точке доступа, составленной из ребра к хранилищу:

args:
- query
- --http-address
- 0.0.0.0:10902
- --grpc-address
- 0.0.0.0:10901
- --endpoint
- metrics-zdstore-default:10901

Объектное хранилище рендерится как StatefulSet SeaweedFS из одной реплики с запросом тома, смонтированным в /data, Service типа ClusterIP на порту S3, 8333, и headless Service, который называет StatefulSet. Init-контейнер создаёт бакет thanos до того, как сервер начинает обслуживать запросы. Учётная запись сервера — та же пара ключей, читаемая из двух собственных Secrets, metrics-zdobjstore-access-key-id и metrics-zdobjstore-secret-access-key. Четыре Secrets создаются рядом с рабочими нагрузками: два для слотов ключей объектного хранилища и два для пары ключей, которую несёт подключение s3 Store Gateway, и каждый содержит значение модуля по умолчанию для разработки.

Что демонстрирует пример

  • Композиция в виде модуля. Возможность из нескольких рабочих нагрузок — уровень чтения метрик, который на деле состоит из объектного хранилища, Store Gateway и фронтенда запросов, — упакована как вложенный агрегат из трёх компонентов с одной рабочей нагрузкой, а не как один монолитный компонент. Модуль импортируется по имени и повторно используется везде, где нужен уровень чтения Thanos.
  • Повторное использование поставляемого бэкенда. Объектное хранилище — это компонент стандартной библиотеки core/storage/s3-object-store, используемый как есть; уровень чтения не добавляет собственной логики хранения. Manifest выбирает его реализацию на SeaweedFS, поэтому хранилище работает в кластере рядом с уровнем чтения.
  • Внутренние рёбра внутри модуля. Store Gateway объявляет использование объектного хранилища, а Query — использование Store Gateway; публикуемый объектным хранилищем endpoint и публикуемые Store Gateway хост и порт передаются потребителю на каждом ребре, и Recipe каждого потребителя строит из них свой адрес. Компилятор передаёт строки, не интерпретируя их.
  • Публичная точка доступа. Модуль экспортирует Query как query — стабильное публичное имя, к которому подключается потребитель, не зависящее от внутренних имён компонентов модуля.
  • Конфигурация без секретов. Конфигурация объектного хранилища выбирает цепочку учётных данных AWS SDK, поэтому отрендеренная конфигурация не содержит секрета; учётные данные передаются только как переменные окружения.
  • Общая пара ключей, передаваемая по ссылке. Store Gateway аутентифицируется в объектном хранилище с собственной учётной записью хранилища, поэтому оба используют одну пару ключей. Модуль принимает каждую половину как параметр, s3_access_key и s3_secret_key, и дважды прикрепляет с каждым Feature учётных данных core/referenced-secret: к слотам access_key_id и secret_access_key объектного хранилища и как credential_id и credential подключения Store Gateway к объектному хранилищу — подключения, через которое шлюз их предъявляет. Каждая рабочая нагрузка читает оба значения из Secrets, а не содержит их встроенными. Поскольку модуль прикрепляет эту Feature, Manifest должен её сопоставить. В этом примере параметры оставлены со значениями модуля по умолчанию для разработки, а Feature сопоставлена с k8s-secret-from-parameter, которая создаёт Secret с каждым значением, так что стек работает автономно. Для сущности Release с реальным трафиком Aggregate объявляет собственные параметры и передаёт их вниз через aggregates.metrics.parameters, Release задаёт их значения, а Manifest сопоставляет Feature с k8s-existing-secret, которая читает каждый параметр как имя Secret, уже существующего в пространстве имён.
  • Воспроизводимые образы. Каждый компонент фиксирует явный тег образа, поэтому отрендеренные манифесты ссылаются на стабильные образы.