Pular para o conteúdo
AggregaAggrega
Selecionar língua: Português (Portugal)
Esta página foi traduzida automaticamente. Ler o original em inglês.

Stack Thanos — uma camada de leitura de métricas sobre armazenamento de objetos, composta como módulo

Este exemplo compila uma stack pequena e real — a camada de leitura/consulta de um sistema de métricas Thanos — em manifestos do Kubernetes sintetizados a partir de um único Aggregate escrito pelo programador.

A camada de leitura não é um componente único. É um módulo: um subagregado reutilizável que compõe três componentes de carga de trabalho única —

  • um armazenamento de objetos compatível com S3 que guarda blocos históricos de métricas num volume e os serve através da API S3,
  • um Store Gateway que lê esses blocos do armazenamento de objetos e os serve aos querier através da sua StoreAPI, mantendo apenas uma cache local efémera, e
  • um front-end Query que responde a PromQL e distribui os pedidos pela StoreAPI do Store Gateway, sem estado próprio.

O módulo liga as suas próprias arestas internas — o Store Gateway ao armazenamento de objetos, e Query ao Store Gateway — e exporta Query como o seu endpoint público query. O Aggregate de nível superior importa o módulo pelo nome e renderiza a stack composta; o operador dimensiona os componentes internos do módulo na Release.

Ficheiros

FicheiroPapel
aggregate.yamlIntenção do programador: importa o módulo da camada de leitura do Thanos (core/thanos).
manifest-helm-synth.yamlMapeia os tipos armazenamento de objetos, Store Gateway e Query para as suas Recipes helm synth, e a Feature de credencial que o módulo anexa para a realização que emite um Secret a partir de cada um dos dois parâmetros de chave do módulo.
release-helm-synth.yamlDocumento do operador para o destino Kubernetes. Dimensiona os componentes internos do módulo pelos seus IDs com âmbito de módulo; tudo o que fica com as predefinições do esquema é renderizado de forma autónoma.

Pré-requisito em tempo de execução

Este módulo é apenas a camada de leitura/consulta. O armazenamento de objetos cria o bucket thanos do qual o Store Gateway lê antes de começar a servir, pelo que a única coisa a fornecer em tempo de execução, fora dos manifestos renderizados, é um componente de escrita que produza blocos de métricas. A camada de leitura serve blocos; não os cria. Um componente de escrita — uma camada Thanos Receive ou uma instância do Prometheus com o sidecar do Thanos — tem de enviar blocos de métricas para o mesmo bucket. Até que um componente de escrita tenha carregado blocos, o Store Gateway serve um conjunto de resultados vazio.

Gerar o exemplo

É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.

Escreva o exemplo numa nova pasta com o nome dele:

Terminal window
aggrega scaffold --example thanos-stack

Depois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:

Terminal window
cd thanos-stack

Compilação

Este workspace não contém nenhum .aggrega-config.yaml, pelo que as entidades da biblioteca standard são resolvidas a partir do registo do hub, hub.aggrega.ai, e não é necessária nenhuma flag de catálogo; --auto-pull escreve durante a compilação o lockfile que falta a um clone acabado de criar:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull

Os artefactos renderizados ficam em dist/. O destino Kubernetes renderiza manifestos simples offline — não é necessário nenhum pull de chart.

Com um assistente de IA

Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.

Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por iniciativa própria. Se a pasta da área de trabalho ainda não contiver uma pasta `thanos-stack`, chame uma vez a ferramenta `scaffold` com `example` definido como `thanos-stack` e sem `dir`: esta escreve o exemplo numa nova pasta `thanos-stack`. Em seguida, chame a ferramenta `build` com `workspace_root` definido como `thanos-stack`, `release` definido como `release-helm-synth.yaml`, `auto_pull` definido como true e `write` definido como true. Indique-me que ficheiros a compilação escreveu; encontram-se em `thanos-stack/dist/`.

Como é a stack composta

O Store Gateway é renderizado como um Deployment sem estado mais um Service ClusterIP que expõe a sua porta gRPC da StoreAPI e a sua porta HTTP. O seu contentor é iniciado com thanos store e uma única flag inline --objstore.config cujo valor é a secção S3 construída a partir do endpoint que o armazenamento de objetos publica — o nome do seu Service interno ao cluster e a sua porta, com insecure: true porque esse endpoint é servido por HTTP simples. Essa configuração seleciona a cadeia de credenciais do SDK da AWS, pelo que não contém nenhum segredo; as duas metades da chave de acesso chegam como variáveis de ambiente lidas de Secrets:

args:
- store
- --grpc-address
- 0.0.0.0:10901
- --http-address
- 0.0.0.0:10902
- --data-dir
- /var/thanos/store
- |-
--objstore.config=type: S3
config:
bucket: thanos
endpoint: metrics-zdobjstore-default:8333
insecure: true
aws_sdk_auth: true
[… omitted: the container ports for the two addresses named in the args]
env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential-id
key: s3-access-key
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential
key: s3-secret-key
[… omitted: the container's resources and its liveness and readiness probes]

Query é renderizado como um Deployment sem estado mais um Service ClusterIP na sua porta HTTP. O seu contentor é iniciado com thanos query e liga-se à StoreAPI do Store Gateway no endpoint composto a partir da aresta store:

args:
- query
- --http-address
- 0.0.0.0:10902
- --grpc-address
- 0.0.0.0:10901
- --endpoint
- metrics-zdstore-default:10901

O armazenamento de objetos é renderizado como um StatefulSet do SeaweedFS de uma réplica com um pedido de volume montado em /data, um Service ClusterIP na porta S3, 8333, e o Service headless que o StatefulSet nomeia. Um contentor init cria o bucket thanos antes de o servidor começar a servir. A conta do servidor é o mesmo par de chaves, lido de dois Secrets próprios, metrics-zdobjstore-access-key-id e metrics-zdobjstore-secret-access-key. Os quatro Secrets são emitidos ao lado das cargas de trabalho, dois para as ranhuras de chave do armazenamento de objetos e dois para o par de chaves que a ligação s3 do Store Gateway contém, cada um com o valor predefinido de desenvolvimento do módulo.

O que demonstra

  • Composição como módulo. Uma capacidade com várias cargas de trabalho — uma camada de leitura de métricas que na verdade é um armazenamento de objetos mais um Store Gateway mais um front-end de consultas — é empacotada como um subagregado que compõe três componentes de carga de trabalho única, e não como um único componente monolítico. O módulo é importado pelo nome e reutilizado onde quer que seja necessária uma camada de leitura do Thanos.
  • Reutilização de um backend já incluído. O armazenamento de objetos é o componente core/storage/s3-object-store da biblioteca standard, reutilizado tal como está; a camada de leitura não acrescenta nenhuma lógica de armazenamento própria. O Manifest seleciona a sua realização SeaweedFS, pelo que o armazenamento é executado no cluster ao lado da camada de leitura.
  • Arestas internas dentro do módulo. O Store Gateway declara um uso do armazenamento de objetos e Query declara um uso do Store Gateway; o endpoint publicado pelo armazenamento de objetos e o anfitrião e a porta publicados pelo Store Gateway são encaminhados para o consumidor em cada aresta, e a Recipe de cada consumidor constrói o seu endereço a partir deles. O compilador encaminha as cadeias sem as interpretar.
  • Um endpoint público. O módulo exporta Query como query, o nome público estável ao qual um consumidor se liga — desacoplado dos nomes dos componentes internos do módulo.
  • Configuração sem segredos. A configuração do armazenamento de objetos seleciona a cadeia de credenciais do SDK da AWS, pelo que a configuração renderizada não contém nenhum segredo; as credenciais fluem apenas como variáveis de ambiente.
  • Um par de chaves partilhado, tomado por referência. O Store Gateway autentica-se no armazenamento de objetos com a própria conta do armazenamento, pelo que os dois partilham um único par de chaves. O módulo recebe cada metade como parâmetro, s3_access_key e s3_secret_key, e anexa a Feature de credencial core/referenced-secret com cada uma duas vezes: às ranhuras access_key_id e secret_access_key do armazenamento de objetos, e como credential_id e credential da ligação do Store Gateway ao armazenamento de objetos, a ligação na qual o gateway as apresenta. Cada carga de trabalho lê ambas de Secrets em vez de as conter inline. Como o módulo anexa essa Feature, o Manifest mapeia-a. Este exemplo deixa os parâmetros nos valores predefinidos de desenvolvimento do módulo e mapeia a Feature para k8s-secret-from-parameter, que emite um Secret que contém cada valor, pelo que a stack funciona de forma autónoma. Para uma Release com tráfego real, o Aggregate declara parâmetros próprios e passa-os para baixo através de aggregates.metrics.parameters, a Release satisfá-los, e o Manifest mapeia a Feature para k8s-existing-secret, que lê cada parâmetro como o nome de um Secret que já existe no namespace.
  • Imagens reproduzíveis. Cada componente fixa uma tag de imagem explícita, pelo que os manifestos renderizados referenciam imagens estáveis.