Pular para o conteúdo
AggregaAggrega
Selecionar língua: Português (Brasil)
Esta página foi traduzida automaticamente. Leia o original em inglês.

Armazenamento de objetos compatível com S3 — um componente, dois destinos, um par de chaves obrigatório

Este exemplo compila um único armazenamento de objetos compatível com S3, o componente core/storage/s3-object-store, para as suas duas realizações auto-hospedadas:

  • Docker Compose para o desenvolvimento local, por meio de compose/s3-object-store, e
  • a Recipe helm sintetizada helm/s3-object-store no Kubernetes, sem chart externo.

Ambas executam o SeaweedFS (Apache-2.0) a partir da imagem chrislusf/seaweedfs publicada pelo seu projeto, como um único processo de servidor que contém um único bucket, criado antes de o servidor começar a atender. O mesmo componente é realizado no Amazon S3 e no Google Cloud Storage por outras Recipes; um consumidor lê o mesmo endpoint, o mesmo bucket e a mesma região publicados, qualquer que seja a realização que o Manifest selecione.

Os dois slots de chave do componente, access_key_id e secret_access_key, são opcionais, porque um serviço gerenciado não recebe nenhuma chave de um bucket. O SeaweedFS recebe o par como a conta S3 do próprio servidor e não tem nenhum valor padrão para ele, então ambas as suas realizações são interrompidas quando qualquer um dos slots está vazio. aggregate.yaml não preenche nada e mostra o build sendo interrompido; os outros dois Aggregates preenchem ambos os slots na forma em que cada destino os entrega: aggregate-auth.yaml para o caminho do Compose (credenciais inject-value expostas como variáveis de ambiente), e aggregate-helm-synth-auth.yaml para o caminho helm sintetizado (credenciais referenciáveis materializadas como Secrets do Kubernetes).

Arquivos

ArquivoPapel
aggregate.yamlIntenção do desenvolvedor: um componente store do tipo core/storage/s3-object-store que contém o bucket media, sem nenhuma chave vinculada — um build dele é interrompido, nomeando o slot vazio access_key_id.
aggregate-auth.yamlO mesmo armazenamento com ambas as chaves vinculadas como credenciais inject-value (caminho do Compose).
aggregate-helm-synth-auth.yamlO mesmo armazenamento com ambas as chaves vinculadas como credenciais referenciáveis para o caminho helm sintetizado — cada chave é materializada como um Secret do Kubernetes que o StatefulSet referencia.
manifest-compose.yamlMapeia o tipo de armazenamento para a Recipe do Compose (compose/s3-object-store) e a credencial para dotenv-secret.
manifest-helm-synth.yamlMapeia o tipo de armazenamento para a Recipe helm sintetizada (helm/s3-object-store) e a credencial para k8s-secret-from-parameter.
release-compose.yaml / release-helm-synth.yamlDocumentos do operador para as duas realizações de aggregate.yaml, que não vincula nenhuma chave, então cada build é interrompido.
release-compose-auth.yaml / release-helm-synth-auth.yamlDocumentos do operador para os dois Aggregates que preenchem ambos os slots.

O que ele demonstra

  • Um componente, muitas realizações. O Aggregate nomeia o bucket e nada sobre o servidor. Cada Manifest diz como realizar o armazenamento, e um Manifest que seleciona em vez disso uma realização gerenciada implanta o mesmo Aggregate no Amazon S3 ou no Cloud Storage.
  • O bucket vem com o armazenamento. O values.bucket do desenvolvedor é o bucket que o armazenamento contém e publica. Um contêiner init no Kubernetes, e um serviço init no Compose, o cria antes de o servidor começar a atender e deixa como está um já existente, então um consumidor nunca encontra um armazenamento sem o seu bucket. Um nome de bucket que o SeaweedFS não aceita interrompe o build, nomeando a regra.
  • Um servidor com estado em um único volume. No Kubernetes, a Recipe sintetizada renderiza um StatefulSet de uma réplica com uma solicitação de volume montada em /data, um Service ClusterIP e o Service headless que o StatefulSet nomeia; no Compose, o serviço monta um volume nomeado no mesmo caminho e publica a porta S3 no host.
  • Um par de chaves obrigatório sem valor padrão. Com uma conta presente, o SeaweedFS autentica toda requisição S3, então nenhuma chave que todo leitor do catálogo possui pode substituí-la. Cada Recipe é interrompida em um slot vazio antes que qualquer coisa seja renderizada, nomeando o slot e o que vincular. O par vinculado se torna a conta do servidor, e a chave secreta é também a chave de assinatura do filer do servidor, então a porta gRPC ao lado da porta S3 também não aceita nenhuma alteração não autenticada.
  • O que um consumidor lê. O armazenamento publica bucket, endpoint (http://store-default:8333 no Kubernetes, http://store:8333 no Compose), host, port 8333, protocol s3 e region us-east-1, a região que os clientes S3 leem de um servidor que não informa nenhuma. Um consumidor ligado a ele aponta o seu cliente S3 para o endpoint e apresenta um par de chaves na sua própria conexão.

Gerar o exemplo

Você pode fazer o build deste exemplo com os comandos abaixo, ou pedir ao seu assistente de IA que faça o build por você.

Escreva o exemplo em uma nova pasta com o nome dele:

Terminal window
aggrega scaffold --example s3-object-store

Em seguida ele imprime os próximos comandos a executar. O primeiro entra na pasta nova:

Terminal window
cd s3-object-store

Build

Este workspace não traz nenhum .aggrega-config.yaml, então as entidades da biblioteca padrão são resolvidas a partir do registro do hub, hub.aggrega.ai, e nenhuma flag de catálogo é necessária; --auto-pull escreve durante o build o lockfile que falta a um clone novo:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)
aggrega build --release release-helm-synth-auth.yaml --auto-pull

Os artefatos renderizados ficam em dist/.

O build de aggregate.yaml, que não vincula nenhuma chave, é interrompido em ambos os destinos antes que qualquer coisa seja renderizada:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull
[… omitted: the pull's lines, which report the same halt, and a lint notice]
[CATALOG_ERROR E0033]
Recipe/FeatureRecipe assertions
caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_id

release-compose.yaml é interrompido na mesma asserção, e a sua solução nomeia a forma que o caminho do Compose assume: “attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}” (vincule a access_key_id uma credencial que entregue AWS_ACCESS_KEY_ID, como core/secret-value com a chave AWS_ACCESS_KEY_ID e como origem uma referência a uma variável do Compose como ${AWS_ACCESS_KEY_ID}). A correção é o passo que os outros dois Aggregates dão: vincular uma credencial sob cada uma de features.access_key_id e features.secret_access_key no componente store.

Com um assistente de IA

Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole este prompt nele.

Use somente as ferramentas do Aggrega e não crie nenhuma pasta por conta própria. Se a pasta do espaço de trabalho ainda não contiver uma pasta `s3-object-store`, chame uma vez a ferramenta `scaffold` com `example` definido como `s3-object-store` e sem `dir`: ela grava o exemplo em uma nova pasta `s3-object-store`. Em seguida, chame a ferramenta `build` uma vez para cada Release, nesta ordem — `release-compose-auth.yaml` e `release-helm-synth-auth.yaml` —, cada vez com `workspace_root` definido como `s3-object-store`, `release` definido como esse arquivo, `auto_pull` definido como true e `write` definido como true. Depois, chame a ferramenta `build` da mesma forma com `release` definido como `release-helm-synth.yaml`: essa chamada deve ser recusada, então leia para mim a recusa. Diga-me quais arquivos os dois primeiros builds gravaram; eles ficam em `s3-object-store/dist/`.

Nota sobre a entrega da credencial

No caminho do Compose, cada chave é um segredo inject-value (aggregate-auth.yaml): o seu valor é entregue no pipe de ambiente do componente sob a variável que o seu values.key nomeia, AWS_ACCESS_KEY_ID ou AWS_SECRET_ACCESS_KEY, que são as variáveis que a Recipe dá ao servidor, e uma vinculação que entregue sob qualquer outro nome interrompe o build, nomeando o slot. Cada origin é uma referência a uma variável do Compose, então o arquivo renderizado traz a referência em vez da chave:

environment:
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}

O caminho helm sintetizado usa credenciais referenciáveis (aggregate-helm-synth-auth.yaml): cada chave é materializada como um Secret do Kubernetes com o nome do componente e do slot, e o StatefulSet o referencia por meio de um secretKeyRef de ambiente, então nenhuma das chaves aparece no manifesto do StatefulSet — apenas nos Secrets:

env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: store-access-key-id
key: access-key-id
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key
- name: WEED_JWT_FILER_SIGNING_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key

Os valores origin em aggregate-helm-synth-auth.yaml são espaços reservados de desenvolvimento, escritos tal como estão nos Secrets emitidos. Para uma Release que carrega tráfego real, mapeie em vez disso core/referenced-secret para k8s-existing-secret, com cada origin nomeando um Secret que já existe no namespace e contém a chave sob a key da vinculação.

Executá-lo (Compose)

Terminal window
aggrega build --release release-compose-auth.yaml --auto-pull
export S3_ACCESS_KEY_ID=<an access key identifier of your choosing>
export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>
docker compose -f dist/app/compose/docker-compose.yaml up -d

A API S3 responde em http://localhost:8333 assim que o serviço do bucket tiver criado media. Aponte qualquer cliente S3 para esse endereço com o par de chaves exportado e a região us-east-1. Para desmontar, use docker compose -f dist/app/compose/docker-compose.yaml down.