Stockage d’objets compatible S3 — un composant, deux cibles, une paire de clés requise
Cet exemple compile un seul stockage d’objets compatible S3, le composant core/storage/s3-object-store, en ses deux réalisations auto-hébergées :
- Docker Compose pour le développement local, via
compose/s3-object-store, et - la Recipe helm synthétisée
helm/s3-object-storesur Kubernetes, sans aucun chart externe.
Les deux exécutent SeaweedFS (Apache-2.0) à partir de l’image chrislusf/seaweedfs publiée par son projet, sous la forme d’un seul processus serveur contenant un seul bucket, créé avant que le serveur ne serve. Le même composant est réalisé sur Amazon S3 et sur Google Cloud Storage par d’autres Recipes ; un consommateur lit le même point de terminaison, le même bucket et la même région publiés, quelle que soit la réalisation que sélectionne le Manifest.
Les deux emplacements de clé du composant, access_key_id et secret_access_key, sont facultatifs, car un service managé ne prend aucune clé d’un bucket. SeaweedFS prend la paire comme le compte S3 propre au serveur et n’a pas de valeur par défaut pour elle, si bien que ses deux réalisations s’arrêtent lorsque l’un ou l’autre des emplacements est vide. aggregate.yaml ne remplit rien et montre le build qui s’arrête ; les deux autres Aggregates remplissent les deux emplacements sous la forme dans laquelle chaque cible les livre : aggregate-auth.yaml pour le chemin Compose (des informations d’identification inject-value exposées sous forme de variables d’environnement), et aggregate-helm-synth-auth.yaml pour le chemin helm synthétisé (des informations d’identification référençables matérialisées sous forme de Secrets Kubernetes).
Fichiers
| Fichier | Rôle |
|---|---|
aggregate.yaml | Intention du développeur : un composant store de type core/storage/s3-object-store contenant le bucket media, sans clé rattachée — un build de celui-ci s’arrête, en nommant l’emplacement vide access_key_id. |
aggregate-auth.yaml | Le même stockage avec les deux clés rattachées comme informations d’identification inject-value (chemin Compose). |
aggregate-helm-synth-auth.yaml | Le même stockage avec les deux clés rattachées comme informations d’identification référençables pour le chemin helm synthétisé — chaque clé est matérialisée sous forme d’un Secret Kubernetes que référence le StatefulSet. |
manifest-compose.yaml | Associe le type de stockage à la Recipe Compose (compose/s3-object-store) et l’information d’identification à dotenv-secret. |
manifest-helm-synth.yaml | Associe le type de stockage à la Recipe helm synthétisée (helm/s3-object-store) et l’information d’identification à k8s-secret-from-parameter. |
release-compose.yaml / release-helm-synth.yaml | Documents de l’opérateur pour les deux réalisations de aggregate.yaml, qui ne rattache aucune clé, si bien que chaque build s’arrête. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Documents de l’opérateur pour les deux Aggregates qui remplissent les deux emplacements. |
Ce qu’il démontre
- Un composant, plusieurs réalisations. L’Aggregate nomme le bucket et rien du serveur. Chaque Manifest dit comment réaliser le stockage, et un Manifest sélectionnant plutôt une réalisation managée déploie le même Aggregate sur Amazon S3 ou Cloud Storage.
- Le bucket vient avec le stockage. Le
values.bucketdu développeur est le bucket que le stockage contient et publie. Un conteneur init sur Kubernetes, et un service init sur Compose, le crée avant que le serveur ne serve et laisse tel quel un bucket existant, si bien qu’un consommateur ne rencontre jamais un stockage sans son bucket. Un nom de bucket que SeaweedFS n’accepte pas arrête le build, en nommant la règle. - Un serveur avec état sur un seul volume. Sur Kubernetes, la Recipe synthétisée rend un StatefulSet d’une réplique avec une demande de volume montée sur
/data, un Service ClusterIP et le Service headless que nomme le StatefulSet ; sur Compose, le service monte un volume nommé sur le même chemin et publie le port S3 sur l’hôte. - Une paire de clés requise sans valeur par défaut. Dès qu’un compte est présent, SeaweedFS authentifie chaque requête S3, si bien qu’aucune clé détenue par chaque lecteur du catalogue ne peut en tenir lieu. Chaque Recipe s’arrête sur un emplacement vide avant que quoi que ce soit ne soit rendu, en nommant l’emplacement et ce qu’il faut rattacher. La paire rattachée devient le compte du serveur, et la clé secrète est aussi la clé de signature du filer du serveur, si bien que le port gRPC à côté du port S3 n’accepte non plus aucune modification non authentifiée.
- Ce que lit un consommateur. Le stockage publie
bucket,endpoint(http://store-default:8333sur Kubernetes,http://store:8333sur Compose),host,port8333,protocols3etregionus-east-1, la région que les clients S3 lisent auprès d’un serveur qui n’en indique aucune. Un consommateur câblé à celui-ci pointe son client S3 vers le point de terminaison et présente une paire de clés sur sa propre connexion.
Générer l’exemple
Vous pouvez construire cet exemple avec les commandes ci-dessous, ou le faire construire pour vous par votre assistant IA.
Écrivez l’exemple dans un nouveau dossier qui porte son nom :
aggrega scaffold --example s3-object-storeElle affiche ensuite les prochaines commandes à exécuter. La première vous place dans le nouveau dossier :
cd s3-object-storeBuild
Ce workspace ne contient aucun .aggrega-config.yaml, si bien que les entités de la bibliothèque standard sont résolues depuis le registre du hub, hub.aggrega.ai, et aucune option de catalogue n’est nécessaire ; --auto-pull écrit pendant le build le lockfile qui manque à un clone récent :
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullLes artefacts rendus atterrissent sous dist/.
Le build de aggregate.yaml, qui ne rattache aucune clé, s’arrête sur les deux cibles avant que quoi que ce soit ne soit rendu :
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml s’arrête sur la même assertion, et son remède nomme la forme que prend le chemin Compose : « attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID} » (rattachez à access_key_id une information d’identification livrant AWS_ACCESS_KEY_ID, comme core/secret-value avec la clé AWS_ACCESS_KEY_ID et pour origine une référence de variable Compose comme ${AWS_ACCESS_KEY_ID}). La correction est l’étape que suivent les deux autres Aggregates : rattacher une information d’identification sous chacun de features.access_key_id et features.secret_access_key sur le composant store.
Avec un assistant IA
Un assistant IA configuré avec les outils d’Aggrega peut faire de même : collez-lui ce prompt.
Utilisez uniquement les outils Aggrega et ne créez vous-même aucun dossier. Si le dossier de l’espace de travail ne contient pas encore de dossier `s3-object-store`, appelez une fois l’outil `scaffold` avec `example` défini sur `s3-object-store` et sans `dir` : il écrit l’exemple dans un nouveau dossier `s3-object-store`. Appelez ensuite l’outil `build` une fois pour chaque Release, dans cet ordre — `release-compose-auth.yaml` puis `release-helm-synth-auth.yaml` —, chaque fois avec `workspace_root` défini sur `s3-object-store`, `release` défini sur ce fichier, `auto_pull` défini sur true et `write` défini sur true. Appelez ensuite l’outil `build` de la même manière avec `release` défini sur `release-helm-synth.yaml` : cet appel doit être refusé, lisez-moi donc le refus. Indiquez-moi quels fichiers les deux premiers builds ont écrits ; ils se trouvent sous `s3-object-store/dist/`.Note sur la livraison des informations d’identification
Sur le chemin Compose, chaque clé est un secret inject-value (aggregate-auth.yaml) : sa valeur est livrée sur le pipe d’environnement du composant sous la variable que nomme son values.key, AWS_ACCESS_KEY_ID ou AWS_SECRET_ACCESS_KEY, qui sont les variables que la Recipe donne au serveur, et un rattachement livrant sous tout autre nom arrête le build, en nommant l’emplacement. Chaque origin est une référence de variable Compose, si bien que le fichier rendu contient la référence plutôt que la clé :
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}Le chemin helm synthétisé utilise des informations d’identification référençables (aggregate-helm-synth-auth.yaml) : chaque clé est matérialisée sous forme d’un Secret Kubernetes nommé d’après le composant et l’emplacement, et le StatefulSet le référence via un secretKeyRef d’environnement, si bien qu’aucune des deux clés n’apparaît dans le manifeste du StatefulSet — seulement dans les Secrets :
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyLes valeurs origin dans aggregate-helm-synth-auth.yaml sont des espaces réservés de développement, écrits tels quels dans les Secrets émis. Pour une Release qui porte un trafic réel, associez plutôt core/referenced-secret à k8s-existing-secret, chaque origin nommant un Secret qui existe déjà dans le namespace et contient la clé sous la key du rattachement.
L’exécuter (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dL’API S3 répond sur http://localhost:8333 une fois que le service de bucket a créé media. Pointez n’importe quel client S3 vers cette adresse avec la paire de clés exportée et la région us-east-1. Pour tout arrêter, utilisez docker compose -f dist/app/compose/docker-compose.yaml down.