Armazenamento de objetos compatível com S3 — um componente, dois destinos, um par de chaves obrigatório
Este exemplo compila um único armazenamento de objetos compatível com S3, o componente core/storage/s3-object-store, nas suas duas realizações auto-alojadas:
- Docker Compose para o desenvolvimento local, através de
compose/s3-object-store, e - a Recipe helm sintetizada
helm/s3-object-storeno Kubernetes, sem chart externo.
Ambas executam o SeaweedFS (Apache-2.0) a partir da imagem chrislusf/seaweedfs publicada pelo seu projeto, como um único processo de servidor que contém um único bucket, criado antes de o servidor começar a servir. O mesmo componente é realizado no Amazon S3 e no Google Cloud Storage por outras Recipes; um consumidor lê o mesmo endpoint, o mesmo bucket e a mesma região publicados, seja qual for a realização que o Manifest selecione.
As duas ranhuras de chave do componente, access_key_id e secret_access_key, são opcionais, porque um serviço gerido não recebe nenhuma chave de um bucket. O SeaweedFS recebe o par como a conta S3 do próprio servidor e não tem nenhum valor predefinido para ele, pelo que ambas as suas realizações são interrompidas quando qualquer uma das ranhuras está vazia. aggregate.yaml não preenche nada e mostra a compilação a ser interrompida; os outros dois Aggregates preenchem ambas as ranhuras na forma em que cada destino as entrega: aggregate-auth.yaml para o caminho do Compose (credenciais inject-value expostas como variáveis de ambiente), e aggregate-helm-synth-auth.yaml para o caminho helm sintetizado (credenciais referenciáveis materializadas como Secrets do Kubernetes).
Ficheiros
| Ficheiro | Papel |
|---|---|
aggregate.yaml | Intenção do programador: um componente store do tipo core/storage/s3-object-store que contém o bucket media, sem nenhuma chave anexada — uma compilação dele é interrompida, nomeando a ranhura vazia access_key_id. |
aggregate-auth.yaml | O mesmo armazenamento com ambas as chaves anexadas como credenciais inject-value (caminho do Compose). |
aggregate-helm-synth-auth.yaml | O mesmo armazenamento com ambas as chaves anexadas como credenciais referenciáveis para o caminho helm sintetizado — cada chave é materializada como um Secret do Kubernetes que o StatefulSet referencia. |
manifest-compose.yaml | Mapeia o tipo de armazenamento para a Recipe do Compose (compose/s3-object-store) e a credencial para dotenv-secret. |
manifest-helm-synth.yaml | Mapeia o tipo de armazenamento para a Recipe helm sintetizada (helm/s3-object-store) e a credencial para k8s-secret-from-parameter. |
release-compose.yaml / release-helm-synth.yaml | Documentos do operador para as duas realizações de aggregate.yaml, que não anexa nenhuma chave, pelo que cada compilação é interrompida. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Documentos do operador para os dois Aggregates que preenchem ambas as ranhuras. |
O que demonstra
- Um componente, muitas realizações. O Aggregate nomeia o bucket e nada sobre o servidor. Cada Manifest diz como realizar o armazenamento, e um Manifest que selecione em vez disso uma realização gerida implementa o mesmo Aggregate no Amazon S3 ou no Cloud Storage.
- O bucket vem com o armazenamento. O
values.bucketdo programador é o bucket que o armazenamento contém e publica. Um contentor init no Kubernetes, e um serviço init no Compose, cria-o antes de o servidor começar a servir e deixa como está um já existente, pelo que um consumidor nunca encontra um armazenamento sem o seu bucket. Um nome de bucket que o SeaweedFS não aceite interrompe a compilação, nomeando a regra. - Um servidor com estado num único volume. No Kubernetes, a Recipe sintetizada renderiza um StatefulSet de uma réplica com um pedido de volume montado em
/data, um Service ClusterIP e o Service headless que o StatefulSet nomeia; no Compose, o serviço monta um volume com nome no mesmo caminho e publica a porta S3 no anfitrião. - Um par de chaves obrigatório sem valor predefinido. Com uma conta presente, o SeaweedFS autentica todos os pedidos S3, pelo que nenhuma chave que todos os leitores do catálogo possuam pode substituí-la. Cada Recipe é interrompida numa ranhura vazia antes de qualquer coisa ser renderizada, nomeando a ranhura e o que anexar. O par anexado torna-se a conta do servidor, e a chave secreta é também a chave de assinatura do filer do servidor, pelo que a porta gRPC ao lado da porta S3 também não aceita nenhuma alteração não autenticada.
- O que um consumidor lê. O armazenamento publica
bucket,endpoint(http://store-default:8333no Kubernetes,http://store:8333no Compose),host,port8333,protocols3eregionus-east-1, a região que os clientes S3 leem de um servidor que não indica nenhuma. Um consumidor ligado a ele aponta o seu cliente S3 para o endpoint e apresenta um par de chaves na sua própria ligação.
Gerar o exemplo
É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.
Escreva o exemplo numa nova pasta com o nome dele:
aggrega scaffold --example s3-object-storeDepois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:
cd s3-object-storeCompilação
Este workspace não contém nenhum .aggrega-config.yaml, pelo que as entidades da biblioteca standard são resolvidas a partir do registo do hub, hub.aggrega.ai, e não é necessária nenhuma flag de catálogo; --auto-pull escreve durante a compilação o lockfile que falta a um clone acabado de criar:
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullOs artefactos renderizados ficam em dist/.
A compilação de aggregate.yaml, que não anexa nenhuma chave, é interrompida em ambos os destinos antes de qualquer coisa ser renderizada:
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml é interrompido na mesma asserção, e a sua solução nomeia a forma que o caminho do Compose assume: «attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}» (anexe a access_key_id uma credencial que entregue AWS_ACCESS_KEY_ID, como core/secret-value com a chave AWS_ACCESS_KEY_ID e como origem uma referência a uma variável do Compose como ${AWS_ACCESS_KEY_ID}). A correção é o passo que os outros dois Aggregates dão: anexar uma credencial sob cada uma de features.access_key_id e features.secret_access_key no componente store.
Com um assistente de IA
Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.
Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por iniciativa própria. Se a pasta da área de trabalho ainda não contiver uma pasta `s3-object-store`, chame uma vez a ferramenta `scaffold` com `example` definido como `s3-object-store` e sem `dir`: esta escreve o exemplo numa nova pasta `s3-object-store`. Em seguida, chame a ferramenta `build` uma vez para cada Release, por esta ordem — `release-compose-auth.yaml` e `release-helm-synth-auth.yaml` —, de cada vez com `workspace_root` definido como `s3-object-store`, `release` definido como esse ficheiro, `auto_pull` definido como true e `write` definido como true. Depois, chame a ferramenta `build` da mesma forma com `release` definido como `release-helm-synth.yaml`: essa chamada deve ser recusada, por isso leia-me a recusa. Indique-me que ficheiros as duas primeiras compilações escreveram; encontram-se em `s3-object-store/dist/`.Nota sobre a entrega da credencial
No caminho do Compose, cada chave é um segredo inject-value (aggregate-auth.yaml): o seu valor é entregue no pipe de ambiente do componente sob a variável que o seu values.key nomeia, AWS_ACCESS_KEY_ID ou AWS_SECRET_ACCESS_KEY, que são as variáveis que a Recipe dá ao servidor, e um anexo que entregue sob qualquer outro nome interrompe a compilação, nomeando a ranhura. Cada origin é uma referência a uma variável do Compose, pelo que o ficheiro renderizado contém a referência em vez da chave:
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}O caminho helm sintetizado usa credenciais referenciáveis (aggregate-helm-synth-auth.yaml): cada chave é materializada como um Secret do Kubernetes com o nome do componente e da ranhura, e o StatefulSet referencia-o através de um secretKeyRef de ambiente, pelo que nenhuma das chaves aparece no manifesto do StatefulSet — apenas nos Secrets:
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyOs valores origin em aggregate-helm-synth-auth.yaml são marcadores de posição de desenvolvimento, escritos tal como estão nos Secrets emitidos. Para uma Release que transporte tráfego real, mapeie em vez disso core/referenced-secret para k8s-existing-secret, com cada origin a nomear um Secret que já existe no namespace e contém a chave sob a key do anexo.
Executá-lo (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dA API S3 responde em http://localhost:8333 assim que o serviço do bucket tiver criado media. Aponte qualquer cliente S3 para esse endereço com o par de chaves exportado e a região us-east-1. Para desmontar, execute docker compose -f dist/app/compose/docker-compose.yaml down.