Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

Стек Thanos — рівень читання метрик поверх об’єктного сховища, скомпонований як модуль

Цей приклад компілює невеликий реальний стек — рівень читання/запитів системи метрик Thanos — у синтезовані маніфести Kubernetes з одного Aggregate, написаного розробником.

Рівень читання — це не один компонент. Це модуль: багаторазовий підагрегат, що компонує три компоненти з одним робочим навантаженням кожен —

  • S3-сумісне об’єктне сховище, яке зберігає історичні блоки метрик на томі й надає їх через S3 API,
  • Store Gateway, який читає ці блоки з об’єктного сховища й надає їх обробникам запитів через свій StoreAPI, зберігаючи лише тимчасовий локальний кеш, і
  • фронтенд Query, який відповідає на запити PromQL і розподіляє їх через StoreAPI Store Gateway, не зберігаючи власного стану.

Модуль сам з’єднує свої внутрішні ребра — Store Gateway з об’єктним сховищем і Query зі Store Gateway — та експортує Query як свою публічну кінцеву точку query. Aggregate верхнього рівня імпортує модуль за назвою і рендерить скомпонований стек; оператор задає розміри внутрішніх компонентів модуля в Release.

Файли

ФайлРоль
aggregate.yamlНамір розробника: імпортує модуль рівня читання Thanos (core/thanos).
manifest-helm-synth.yamlЗіставляє типи об’єктного сховища, Store Gateway і Query з їхніми синтезованими helm Recipes, а також облікову Feature, яку приєднує модуль, з реалізацією, що створює Secret з кожного з двох параметрів ключів модуля.
release-helm-synth.yamlЗапис оператора для цілі Kubernetes. Задає розміри внутрішніх компонентів модуля за їхніми ідентифікаторами в межах модуля; усе, що залишено на значення за замовчуванням зі схеми, рендериться самодостатньо.

Передумова середовища виконання

Цей модуль — лише рівень читання/запитів. Об’єктне сховище створює бакет thanos, з якого читає Store Gateway, до початку обслуговування, тож єдине, що потрібно надати під час виконання поза відрендереними маніфестами, — це записувач, що створює блоки метрик. Рівень читання надає блоки, але не створює їх. Записувач — рівень Thanos Receive або екземпляр Prometheus із sidecar Thanos — має передавати блоки метрик у той самий бакет. Доки записувач не завантажить блоки, Store Gateway повертає порожній набір результатів.

Створення прикладу

Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.

Запишіть приклад у нову теку, названу за ним:

Terminal window
aggrega scaffold --example thanos-stack

Потім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:

Terminal window
cd thanos-stack

Збирання

Цей робочий простір не містить .aggrega-config.yaml, тож сутності стандартної бібліотеки розв’язуються з реєстру hub, hub.aggrega.ai, і прапорець каталогу не потрібен; --auto-pull під час збирання записує lock-файл, якого бракує свіжому клону:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull

Відрендерені артефакти потрапляють у dist/. Ціль Kubernetes рендерить звичайні маніфести офлайн — завантаження чарта не потрібне.

З ШІ-асистентом

ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.

Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо папка робочої області ще не містить папки `thanos-stack`, викличте один раз інструмент `scaffold` з параметром `example` зі значенням `thanos-stack` і без `dir`: він запише приклад у нову папку `thanos-stack`. Потім викличте інструмент `build` з параметрами `workspace_root` — `thanos-stack`, `release` — `release-helm-synth.yaml`, `auto_pull` — true і `write` — true. Скажіть мені, які файли записала збірка; вони розташовані в `thanos-stack/dist/`.

Як виглядає скомпонований стек

Store Gateway рендериться як Deployment без стану плюс Service типу ClusterIP, що відкриває його gRPC-порт StoreAPI і HTTP-порт. Його контейнер запускається з thanos store і одним вбудованим прапорцем --objstore.config, значенням якого є блок S3, побудований з кінцевої точки, яку публікує об’єктне сховище, — його внутрішньокластерної назви Service і порту, з insecure: true, бо ця кінцева точка обслуговується через звичайний HTTP. Ця конфігурація вибирає ланцюжок облікових даних AWS SDK, тож не містить секрету; обидві половини ключа доступу надходять як змінні середовища, що читаються із Secrets:

args:
- store
- --grpc-address
- 0.0.0.0:10901
- --http-address
- 0.0.0.0:10902
- --data-dir
- /var/thanos/store
- |-
--objstore.config=type: S3
config:
bucket: thanos
endpoint: metrics-zdobjstore-default:8333
insecure: true
aws_sdk_auth: true
[… omitted: the container ports for the two addresses named in the args]
env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential-id
key: s3-access-key
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential
key: s3-secret-key
[… omitted: the container's resources and its liveness and readiness probes]

Query рендериться як Deployment без стану плюс Service типу ClusterIP на його HTTP- порту. Його контейнер запускається з thanos query і підключається до StoreAPI Store Gateway на кінцевій точці, скомпонованій з ребра сховища:

args:
- query
- --http-address
- 0.0.0.0:10902
- --grpc-address
- 0.0.0.0:10901
- --endpoint
- metrics-zdstore-default:10901

Об’єктне сховище рендериться як StatefulSet SeaweedFS з однією реплікою та запитом тому, змонтованим у /data, Service типу ClusterIP на порту S3, 8333, і headless Service, який називає StatefulSet. Init-контейнер створює бакет thanos до того, як сервер почне обслуговувати запити. Обліковий запис сервера — та сама пара ключів, що читається з двох власних Secrets, metrics-zdobjstore-access-key-id і metrics-zdobjstore-secret-access-key. Чотири Secrets створюються поруч із робочими навантаженнями: два для слотів ключів об’єктного сховища і два для пари ключів, яку несе з’єднання s3 Store Gateway, кожен зі значенням модуля за замовчуванням для розробки.

Що демонструє приклад

  • Композиція як модуль. Можливість із кількома робочими навантаженнями — рівень читання метрик, який насправді є об’єктним сховищем плюс Store Gateway плюс фронтендом запитів, — упакована як підагрегат, що компонує три компоненти з одним робочим навантаженням, а не як один монолітний компонент. Модуль імпортується за назвою й повторно використовується всюди, де потрібен рівень читання Thanos.
  • Повторне використання готового бекенду. Об’єктне сховище — це компонент стандартної бібліотеки core/storage/s3-object-store, використаний без змін; рівень читання не додає власної логіки зберігання. Manifest вибирає його реалізацію на SeaweedFS, тож сховище працює в кластері поруч із рівнем читання.
  • Внутрішні ребра всередині модуля. Store Gateway оголошує використання об’єктного сховища, а Query — використання Store Gateway; опублікована endpoint об’єктного сховища та опубліковані хост і порт Store Gateway передаються споживачеві на кожному ребрі, і Recipe кожного споживача будує з них свою адресу. Компілятор маршрутизує рядки, не інтерпретуючи їх.
  • Публічна кінцева точка. Модуль експортує Query як query — стабільну публічну назву, до якої підключається споживач, — незалежну від назв внутрішніх компонентів модуля.
  • Конфігурація без секретів. Конфігурація об’єктного сховища вибирає ланцюжок облікових даних AWS SDK, тож відрендерена конфігурація не містить секрету; облікові дані передаються лише як змінні середовища.
  • Спільна пара ключів за посиланням. Store Gateway автентифікується в об’єктному сховищі власним обліковим записом сховища, тож обидва мають одну пару ключів. Модуль приймає кожну половину як параметр, s3_access_key і s3_secret_key, і з кожним двічі приєднує облікову Feature core/referenced-secret: до слотів access_key_id і secret_access_key об’єктного сховища і як credential_id та credential з’єднання Store Gateway з об’єктним сховищем — з’єднання, у якому шлюз їх пред’являє. Кожне робоче навантаження читає обидва значення із Secrets, а не містить їх вбудовано. Оскільки модуль приєднує цю Feature, Manifest зіставляє її. Цей приклад залишає параметри зі значеннями модуля за замовчуванням для розробки і зіставляє Feature з k8s-secret-from-parameter, що створює Secret з кожним значенням, тож стек працює самодостатньо. Для Release з реальним трафіком Aggregate оголошує власні параметри і передає їх вниз через aggregates.metrics.parameters, Release надає їхні значення, а Manifest зіставляє Feature з k8s-existing-secret, що читає кожен параметр як назву Secret, який уже існує в просторі імен.
  • Відтворювані образи. Кожен компонент фіксує явний тег образу, тож відрендерені маніфести посилаються на стабільні образи.