Stack Thanos — uma camada de leitura de métricas sobre armazenamento de objetos, composta como módulo
Este exemplo compila uma stack pequena e real — a camada de leitura/consulta de um sistema de métricas Thanos — em manifestos do Kubernetes sintetizados a partir de um único Aggregate escrito pelo programador.
A camada de leitura não é um componente único. É um módulo: um subagregado reutilizável que compõe três componentes de carga de trabalho única —
- um armazenamento de objetos compatível com S3 que guarda blocos históricos de métricas num volume e os serve através da API S3,
- um Store Gateway que lê esses blocos do armazenamento de objetos e os serve aos querier através da sua StoreAPI, mantendo apenas uma cache local efémera, e
- um front-end Query que responde a PromQL e distribui os pedidos pela StoreAPI do Store Gateway, sem estado próprio.
O módulo liga as suas próprias arestas internas — o Store Gateway ao armazenamento de objetos, e Query ao Store Gateway — e exporta Query como o seu endpoint público query. O Aggregate de nível superior importa o módulo pelo nome e renderiza a stack composta; o operador dimensiona os componentes internos do módulo na Release.
Ficheiros
| Ficheiro | Papel |
|---|---|
aggregate.yaml | Intenção do programador: importa o módulo da camada de leitura do Thanos (core/thanos). |
manifest-helm-synth.yaml | Mapeia os tipos armazenamento de objetos, Store Gateway e Query para as suas Recipes helm synth, e a Feature de credencial que o módulo anexa para a realização que emite um Secret a partir de cada um dos dois parâmetros de chave do módulo. |
release-helm-synth.yaml | Documento do operador para o destino Kubernetes. Dimensiona os componentes internos do módulo pelos seus IDs com âmbito de módulo; tudo o que fica com as predefinições do esquema é renderizado de forma autónoma. |
Pré-requisito em tempo de execução
Este módulo é apenas a camada de leitura/consulta. O armazenamento de objetos cria o bucket thanos do qual o Store Gateway lê antes de começar a servir, pelo que a única coisa a fornecer em tempo de execução, fora dos manifestos renderizados, é um componente de escrita que produza blocos de métricas. A camada de leitura serve blocos; não os cria. Um componente de escrita — uma camada Thanos Receive ou uma instância do Prometheus com o sidecar do Thanos — tem de enviar blocos de métricas para o mesmo bucket. Até que um componente de escrita tenha carregado blocos, o Store Gateway serve um conjunto de resultados vazio.
Gerar o exemplo
É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.
Escreva o exemplo numa nova pasta com o nome dele:
aggrega scaffold --example thanos-stackDepois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:
cd thanos-stackCompilação
Este workspace não contém nenhum .aggrega-config.yaml, pelo que as entidades da biblioteca standard são resolvidas a partir do registo do hub, hub.aggrega.ai, e não é necessária nenhuma flag de catálogo; --auto-pull escreve durante a compilação o lockfile que falta a um clone acabado de criar:
aggrega build --release release-helm-synth.yaml --auto-pullOs artefactos renderizados ficam em dist/. O destino Kubernetes renderiza manifestos simples offline — não é necessário nenhum pull de chart.
Com um assistente de IA
Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.
Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por iniciativa própria. Se a pasta da área de trabalho ainda não contiver uma pasta `thanos-stack`, chame uma vez a ferramenta `scaffold` com `example` definido como `thanos-stack` e sem `dir`: esta escreve o exemplo numa nova pasta `thanos-stack`. Em seguida, chame a ferramenta `build` com `workspace_root` definido como `thanos-stack`, `release` definido como `release-helm-synth.yaml`, `auto_pull` definido como true e `write` definido como true. Indique-me que ficheiros a compilação escreveu; encontram-se em `thanos-stack/dist/`.Como é a stack composta
O Store Gateway é renderizado como um Deployment sem estado mais um Service ClusterIP que expõe a sua porta gRPC da StoreAPI e a sua porta HTTP. O seu contentor é iniciado com thanos store e uma única flag inline --objstore.config cujo valor é a secção S3 construída a partir do endpoint que o armazenamento de objetos publica — o nome do seu Service interno ao cluster e a sua porta, com insecure: true porque esse endpoint é servido por HTTP simples. Essa configuração seleciona a cadeia de credenciais do SDK da AWS, pelo que não contém nenhum segredo; as duas metades da chave de acesso chegam como variáveis de ambiente lidas de Secrets:
args: - store - --grpc-address - 0.0.0.0:10901 - --http-address - 0.0.0.0:10902 - --data-dir - /var/thanos/store - |- --objstore.config=type: S3 config: bucket: thanos endpoint: metrics-zdobjstore-default:8333 insecure: true aws_sdk_auth: true[… omitted: the container ports for the two addresses named in the args]env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential-id key: s3-access-key - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential key: s3-secret-key[… omitted: the container's resources and its liveness and readiness probes]Query é renderizado como um Deployment sem estado mais um Service ClusterIP na sua porta HTTP. O seu contentor é iniciado com thanos query e liga-se à StoreAPI do Store Gateway no endpoint composto a partir da aresta store:
args: - query - --http-address - 0.0.0.0:10902 - --grpc-address - 0.0.0.0:10901 - --endpoint - metrics-zdstore-default:10901O armazenamento de objetos é renderizado como um StatefulSet do SeaweedFS de uma réplica com um pedido de volume montado em /data, um Service ClusterIP na porta S3, 8333, e o Service headless que o StatefulSet nomeia. Um contentor init cria o bucket thanos antes de o servidor começar a servir. A conta do servidor é o mesmo par de chaves, lido de dois Secrets próprios, metrics-zdobjstore-access-key-id e metrics-zdobjstore-secret-access-key. Os quatro Secrets são emitidos ao lado das cargas de trabalho, dois para as ranhuras de chave do armazenamento de objetos e dois para o par de chaves que a ligação s3 do Store Gateway contém, cada um com o valor predefinido de desenvolvimento do módulo.
O que demonstra
- Composição como módulo. Uma capacidade com várias cargas de trabalho — uma camada de leitura de métricas que na verdade é um armazenamento de objetos mais um Store Gateway mais um front-end de consultas — é empacotada como um subagregado que compõe três componentes de carga de trabalho única, e não como um único componente monolítico. O módulo é importado pelo nome e reutilizado onde quer que seja necessária uma camada de leitura do Thanos.
- Reutilização de um backend já incluído. O armazenamento de objetos é o componente
core/storage/s3-object-storeda biblioteca standard, reutilizado tal como está; a camada de leitura não acrescenta nenhuma lógica de armazenamento própria. O Manifest seleciona a sua realização SeaweedFS, pelo que o armazenamento é executado no cluster ao lado da camada de leitura. - Arestas internas dentro do módulo. O Store Gateway declara um uso do armazenamento de objetos e Query declara um uso do Store Gateway; o
endpointpublicado pelo armazenamento de objetos e o anfitrião e a porta publicados pelo Store Gateway são encaminhados para o consumidor em cada aresta, e a Recipe de cada consumidor constrói o seu endereço a partir deles. O compilador encaminha as cadeias sem as interpretar. - Um endpoint público. O módulo exporta Query como
query, o nome público estável ao qual um consumidor se liga — desacoplado dos nomes dos componentes internos do módulo. - Configuração sem segredos. A configuração do armazenamento de objetos seleciona a cadeia de credenciais do SDK da AWS, pelo que a configuração renderizada não contém nenhum segredo; as credenciais fluem apenas como variáveis de ambiente.
- Um par de chaves partilhado, tomado por referência. O Store Gateway autentica-se no armazenamento de objetos com a própria conta do armazenamento, pelo que os dois partilham um único par de chaves. O módulo recebe cada metade como parâmetro,
s3_access_keyes3_secret_key, e anexa a Feature de credencialcore/referenced-secretcom cada uma duas vezes: às ranhurasaccess_key_idesecret_access_keydo armazenamento de objetos, e comocredential_idecredentialda ligação do Store Gateway ao armazenamento de objetos, a ligação na qual o gateway as apresenta. Cada carga de trabalho lê ambas de Secrets em vez de as conter inline. Como o módulo anexa essa Feature, o Manifest mapeia-a. Este exemplo deixa os parâmetros nos valores predefinidos de desenvolvimento do módulo e mapeia a Feature parak8s-secret-from-parameter, que emite um Secret que contém cada valor, pelo que a stack funciona de forma autónoma. Para uma Release com tráfego real, o Aggregate declara parâmetros próprios e passa-os para baixo através deaggregates.metrics.parameters, a Release satisfá-los, e o Manifest mapeia a Feature parak8s-existing-secret, que lê cada parâmetro como o nome de um Secret que já existe no namespace. - Imagens reproduzíveis. Cada componente fixa uma tag de imagem explícita, pelo que os manifestos renderizados referenciam imagens estáveis.