Стек Thanos — уровень чтения метрик поверх объектного хранилища, собранный как модуль
Этот пример компилирует небольшой реальный стек — уровень чтения и запросов системы
метрик Thanos — в синтезированные манифесты Kubernetes из одного
написанного разработчиком Aggregate.
Уровень чтения — это не один компонент. Это модуль: повторно используемый вложенный агрегат, который объединяет три компонента с одной рабочей нагрузкой каждый:
- S3-совместимое объектное хранилище, которое хранит исторические блоки метрик на томе и отдаёт их через S3 API,
- Store Gateway, который читает эти блоки из объектного хранилища и отдаёт их обработчикам запросов через свой StoreAPI, храня лишь эфемерный локальный кеш;
- фронтенд Query, который отвечает на запросы PromQL и распределяет их через StoreAPI Store Gateway, не храня собственного состояния.
Модуль сам связывает свои внутренние рёбра — Store Gateway с объектным хранилищем
и Query со Store Gateway — и экспортирует Query как свою публичную точку доступа
query. Aggregate верхнего уровня импортирует модуль по имени и рендерит
собранный стек; оператор задаёт размеры внутренних компонентов модуля в
Release.
Файлы
| Файл | Роль |
|---|---|
aggregate.yaml | Намерение разработчика: импортирует модуль уровня чтения Thanos (core/thanos). |
manifest-helm-synth.yaml | Сопоставляет типы объектного хранилища, Store Gateway и Query с их синтезирующими Recipes для Helm, а также сопоставляет Feature учётных данных, которую прикрепляет модуль, с реализацией, создающей Secret из каждого из двух параметров ключей модуля. |
release-helm-synth.yaml | Запись оператора для цели Kubernetes. Задаёт размеры внутренних компонентов модуля по их идентификаторам в области модуля; всё, что оставлено значениям по умолчанию из схемы, рендерится автономно. |
Предварительное условие во время выполнения
Этот модуль — только уровень чтения/запросов. Объектное хранилище создаёт бакет thanos, из которого читает Store Gateway, до начала обслуживания, поэтому единственное, что нужно предоставить во время выполнения вне отрисованных манифестов, — это компонент записи, создающий блоки метрик. Уровень чтения отдаёт блоки, но не создаёт их. Компонент записи — уровень Thanos Receive или экземпляр Prometheus с sidecar Thanos — должен отправлять блоки метрик в тот же бакет. Пока компонент записи не загрузил блоки, Store Gateway возвращает пустой набор результатов.
Создание примера
Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.
Запишите пример в новую папку, названную по его имени:
aggrega scaffold --example thanos-stackЗатем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:
cd thanos-stackСборка
В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен; --auto-pull во время сборки записывает lock-файл, которого нет в свежем клоне:
aggrega build --release release-helm-synth.yaml --auto-pullОтрисованные артефакты помещаются в dist/. Целевая платформа Kubernetes отрисовывает обычные
манифесты офлайн — загрузка чарта не требуется.
С ИИ-ассистентом
ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.
Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если папка рабочей области ещё не содержит папку `thanos-stack`, вызовите один раз инструмент `scaffold` с параметром `example` со значением `thanos-stack` и без `dir`: он запишет пример в новую папку `thanos-stack`. Затем вызовите инструмент `build` с параметрами `workspace_root` — `thanos-stack`, `release` — `release-helm-synth.yaml`, `auto_pull` — true и `write` — true. Сообщите мне, какие файлы записала сборка; они находятся в `thanos-stack/dist/`.Как выглядит собранный стек
Store Gateway рендерится как Deployment без состояния плюс Service типа ClusterIP, открывающий его порт gRPC для StoreAPI и порт HTTP. Его контейнер запускается с thanos store и одним встроенным флагом --objstore.config, значение которого — раздел S3, построенный из точки доступа, публикуемой объектным хранилищем, — имени его внутрикластерного Service и порта, с insecure: true, поскольку эта точка доступа обслуживается по обычному HTTP. Эта конфигурация выбирает цепочку учётных данных AWS SDK, поэтому не содержит секрета; обе половины ключа доступа поступают как переменные окружения, читаемые из Secrets:
args: - store - --grpc-address - 0.0.0.0:10901 - --http-address - 0.0.0.0:10902 - --data-dir - /var/thanos/store - |- --objstore.config=type: S3 config: bucket: thanos endpoint: metrics-zdobjstore-default:8333 insecure: true aws_sdk_auth: true[… omitted: the container ports for the two addresses named in the args]env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential-id key: s3-access-key - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential key: s3-secret-key[… omitted: the container's resources and its liveness and readiness probes]Query рендерится как Deployment без состояния плюс Service типа ClusterIP на его HTTP-
порту. Его контейнер запускается с thanos query и подключается к StoreAPI Store Gateway
по точке доступа, составленной из ребра к хранилищу:
args: - query - --http-address - 0.0.0.0:10902 - --grpc-address - 0.0.0.0:10901 - --endpoint - metrics-zdstore-default:10901Объектное хранилище рендерится как StatefulSet SeaweedFS из одной реплики с запросом тома, смонтированным в /data, Service типа ClusterIP на порту S3, 8333, и headless Service, который называет StatefulSet. Init-контейнер создаёт бакет thanos до того, как сервер начинает обслуживать запросы. Учётная запись сервера — та же пара ключей, читаемая из двух собственных Secrets, metrics-zdobjstore-access-key-id и metrics-zdobjstore-secret-access-key. Четыре Secrets создаются рядом с рабочими нагрузками: два для слотов ключей объектного хранилища и два для пары ключей, которую несёт подключение s3 Store Gateway, и каждый содержит значение модуля по умолчанию для разработки.
Что демонстрирует пример
- Композиция в виде модуля. Возможность из нескольких рабочих нагрузок — уровень чтения метрик, который на деле состоит из объектного хранилища, Store Gateway и фронтенда запросов, — упакована как вложенный агрегат из трёх компонентов с одной рабочей нагрузкой, а не как один монолитный компонент. Модуль импортируется по имени и повторно используется везде, где нужен уровень чтения Thanos.
- Повторное использование поставляемого бэкенда. Объектное хранилище — это компонент стандартной библиотеки
core/storage/s3-object-store, используемый как есть; уровень чтения не добавляет собственной логики хранения. Manifest выбирает его реализацию на SeaweedFS, поэтому хранилище работает в кластере рядом с уровнем чтения. - Внутренние рёбра внутри модуля. Store Gateway объявляет использование
объектного хранилища, а Query — использование Store Gateway; публикуемый объектным хранилищем
endpointи публикуемые Store Gateway хост и порт передаются потребителю на каждом ребре, и Recipe каждого потребителя строит из них свой адрес. Компилятор передаёт строки, не интерпретируя их. - Публичная точка доступа. Модуль экспортирует Query как
query— стабильное публичное имя, к которому подключается потребитель, не зависящее от внутренних имён компонентов модуля. - Конфигурация без секретов. Конфигурация объектного хранилища выбирает цепочку учётных данных AWS SDK, поэтому отрендеренная конфигурация не содержит секрета; учётные данные передаются только как переменные окружения.
- Общая пара ключей, передаваемая по ссылке. Store Gateway аутентифицируется в объектном хранилище с собственной учётной записью хранилища, поэтому оба используют одну пару ключей. Модуль принимает каждую половину как параметр,
s3_access_keyиs3_secret_key, и дважды прикрепляет с каждым Feature учётных данныхcore/referenced-secret: к слотамaccess_key_idиsecret_access_keyобъектного хранилища и какcredential_idиcredentialподключения Store Gateway к объектному хранилищу — подключения, через которое шлюз их предъявляет. Каждая рабочая нагрузка читает оба значения из Secrets, а не содержит их встроенными. Поскольку модуль прикрепляет эту Feature, Manifest должен её сопоставить. В этом примере параметры оставлены со значениями модуля по умолчанию для разработки, а Feature сопоставлена сk8s-secret-from-parameter, которая создаёт Secret с каждым значением, так что стек работает автономно. Для сущности Release с реальным трафиком Aggregate объявляет собственные параметры и передаёт их вниз черезaggregates.metrics.parameters, Release задаёт их значения, а Manifest сопоставляет Feature сk8s-existing-secret, которая читает каждый параметр как имя Secret, уже существующего в пространстве имён. - Воспроизводимые образы. Каждый компонент фиксирует явный тег образа, поэтому отрендеренные манифесты ссылаются на стабильные образы.