Un datastore sauvegardé sur chaque cible : un seul rattachement core/backup
Une base de données PostgreSQL sauvegardée sur Kubernetes via Velero et via CloudNativePG, et sur AWS via les sauvegardes automatisées propres à Amazon RDS, sur Terraform et sur CloudFormation, ainsi que via AWS Backup, à partir d’un seul rattachement core/backup que l’opérateur écrit dans chaque Release, avec le refus sur une cible qui n’a aucun produit de sauvegarde.
core/backup dit qu’un datastore est sauvegardé selon un planning et que chaque sauvegarde est conservée pendant un certain nombre de jours. Elle ne dit rien du comment : le Manifest de chaque cible lie la FeatureRecipe qui la réalise sur cette cible, et chacune écrit la sauvegarde dans les termes de son propre produit — un planning Velero, une sauvegarde planifiée CloudNativePG, les paramètres d’une instance RDS, un plan AWS Backup. Une cible sans produit pour la réaliser refuse le rattachement par son nom, si bien que le build s’arrête plutôt que de déployer le datastore sans la sauvegarde écrite pour lui.
Cet espace de travail construit un Aggregate à travers six Releases, chacune rattachant la même sauvegarde : tous les jours à 02:30, chaque sauvegarde conservée pendant 14 jours. La page montre ce que chaque cible rend pour elle dans les cinq qui aboutissent, et cite ce qu’affiche la sixième, censée s’arrêter.
Ce qu’il construit
| instance | Component du catalogue | où elle s’exécute |
|---|---|---|
db | core/datastore/postgres | chaque Release |
backups | core/storage/s3-object-store | les deux Releases Kubernetes : le bucket où vont les sauvegardes |
velero | core/storage/velero | la Release Velero |
barman-cloud | core/storage/barman-cloud-plugin | la Release CloudNativePG |
L’Aggregate déclare la base de données et ce dont une sauvegarde de celle-ci a besoin sur Kubernetes : un bucket, et les deux contrôleurs de sauvegarde. Un contrôleur de sauvegarde s’installe une fois par cluster plutôt qu’avec la base de données, si bien que c’est un composant à part entière ; sur AWS, les sauvegardes restent dans le stockage propre au service géré, et aucun des trois n’y est souhaité. Un seul paramètre, backup_controller, les active ou les désactive, par l’interrupteur active: de chaque composant :
spec: parameters: [… omitted: the comment above the parameter] backup_controller: type: string default: none [… omitted: the parameter's description] components: [… omitted: the comment above each component] db: type: core/datastore/postgres
backups: type: core/storage/s3-object-store active: '{{ ne .parameters.backup_controller "none" }}' values: bucket: db-backups
velero: type: core/storage/velero active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud: type: core/storage/barman-cloud-plugin active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'Un composant dont l’interrupteur vaut false est retiré avant que quoi que ce soit soit construit, si bien que les Releases AWS et Docker Compose, qui laissent le paramètre à none, ne construisent que la base de données.
Le rattachement
Le développeur n’écrit rien pour la sauvegarde : db ne porte aucun rattachement dans l’Aggregate. L’opérateur y rattache core/backup dans chaque Release, sous les features du composant, et y indique quand la sauvegarde s’exécute et combien de temps chacune est conservée. Sur Kubernetes, le rattachement nomme aussi l’endroit où vont les sauvegardes, par sa connexion store vers le bucket :
components: db: annotations: aggrega.ai/namespace: orders [… omitted: the comment above the attachment] features: backup: type: core/backup infra: schedule: "30 2 * * *" retention_days: 14 uses: store: bucket: target: backupsLes Releases AWS écrivent le même rattachement sans connexion store, parce que RDS et AWS Backup conservent leurs sauvegardes dans un stockage qui leur est propre, et les réalisations y refusent une connexion vers un bucket dans lequel rien n’écrirait. La Release AWS Backup ajoute infra.role_arn, le rôle IAM sous lequel AWS Backup exécute chaque sauvegarde.
Les six Releases
| Release | Manifest | core/backup réalisée par | le build |
|---|---|---|---|
release-helm-velero.yaml | manifest-helm-velero.yaml | helm/backup-velero | aboutit |
release-helm-cloudnative-pg.yaml | manifest-helm-cloudnative-pg.yaml | helm/backup-cloudnative-pg | aboutit |
release-terraform.yaml | manifest-terraform.yaml | terraform/backup-native | aboutit |
release-cloudformation.yaml | manifest-cloudformation.yaml | cloudformation/backup-native | aboutit |
release-terraform-aws-backup.yaml | manifest-terraform-aws-backup.yaml | terraform/backup-aws-backup | aboutit |
release-compose.yaml | manifest-compose.yaml | rien | s’arrête |
Le Manifest décide quel produit sauvegarde la base de données. Les deux Manifests Kubernetes exécutent la base de données de deux manières — helm/postgres, un StatefulSet, pour Velero, et helm/postgres-cloudnative-pg, un Cluster CloudNativePG, pour le plugin — et lient la réalisation de la sauvegarde pour chacune. manifest-terraform.yaml et manifest-terraform-aws-backup.yaml associent la base de données à la même Recipe et diffèrent par la FeatureRecipe qu’ils lient à core/backup, et les Releases construites à partir d’eux diffèrent, outre le Manifest que chacune nomme, par le seul rôle.
Les Releases Kubernetes rattachent aussi la paire de clés propre au bucket, ainsi que le fichier d’informations d’identification avec lequel Velero signe ses requêtes, comme rattachements core/referenced-secret nommant des Secrets que le cluster détient déjà, si bien qu’aucune clé n’est écrite dans un fichier rendu. Chaque valeur propre au compte dans les Releases AWS est un espace réservé.
Générer l’exemple
Vous pouvez construire cet exemple avec les commandes ci-dessous, ou le faire construire pour vous par votre assistant IA.
Écrivez l’exemple dans un nouveau dossier qui porte son nom :
aggrega scaffold --example datastore-backupElle affiche ensuite les prochaines commandes à exécuter. La première vous place dans le nouveau dossier :
cd datastore-backupBuild
L’espace de travail lit le catalogue de la bibliothèque standard depuis le registre du hub que nomme .aggrega-config.yaml. Velero et le plugin Barman Cloud sont installés par les charts propres à leurs projets, si bien que les deux Releases Kubernetes ont besoin que les dépôts de charts de ces projets soient joignables depuis le build ; toute autre Release est rendue à partir du seul catalogue.
aggrega build --release release-helm-velero.yaml --auto-pull # one ReleaseDans un checkout du dépôt de la documentation, qui contient l’outil de build partagé qu’une copie écrite par aggrega scaffold --example n’apporte pas, ./check.sh construit les six Releases et vérifie chaque résultat. Il affiche une ligne par Release et ne se termine avec 0 que lorsque chacune a abouti comme le décrit cette page :
RELEASE EXIT EXPECTED VERDICT----------------------------------------------------------------------------------------------------release-helm-velero.yaml 0 complete OK: completed, the backup the README showsrelease-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README showsrelease-terraform.yaml 0 complete OK: completed, the backup the README showsrelease-cloudformation.yaml 0 complete OK: completed, the backup the README showsrelease-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README showsrelease-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.Avec un assistant IA
Un assistant IA configuré avec les outils d’Aggrega peut faire de même : collez-lui ce prompt.
Utilisez uniquement les outils Aggrega et ne créez vous-même aucun dossier. Si le dossier de l’espace de travail ne contient pas encore de dossier `datastore-backup`, appelez une fois l’outil `scaffold` avec `example` défini sur `datastore-backup` et sans `dir` : il écrit l’exemple dans un nouveau dossier `datastore-backup`. Appelez ensuite l’outil `build` avec `workspace_root` défini sur `datastore-backup`, `release` défini sur `release-helm-velero.yaml`, `auto_pull` défini sur true et `write` défini sur true. Indiquez-moi les fichiers écrits par le build ; ils se trouvent sous `datastore-backup/dist/`.Kubernetes, avec Velero
release-helm-velero.yaml écrit le StatefulSet et les Services de la base de données, ceux du bucket, les objets que rend le chart propre à Velero, et un fichier pour le rattachement, contenant un emplacement de stockage Velero et un planning :
apiVersion: velero.io/v1kind: BackupStorageLocationmetadata: [… omitted: the labels and annotations the build writes on every resource] name: "orders-db-backup" namespace: velerospec: provider: velero.io/aws objectStorage: bucket: "db-backups" prefix: "orders-db-backup" config: region: "us-east-1" s3Url: "http://backups-default.orders:8333" s3ForcePathStyle: "true"---apiVersion: velero.io/v1kind: Schedulemetadata: [… omitted: the labels and annotations, as on the storage location] name: "orders-db-backup" namespace: velerospec: schedule: "30 2 * * *" template: includedNamespaces: - "orders" orLabelSelectors: - matchLabels: "app": "db" storageLocation: "orders-db-backup" ttl: "336h0m0s" snapshotVolumes: false defaultVolumesToFsBackup: trueTous deux se trouvent dans le namespace velero, le seul depuis lequel Velero lit ses plannings, et sont nommés d’après le namespace de la base de données, son nom et celui du rattachement, puisque chaque Release du cluster écrit dans cet unique namespace. Le planning sélectionne les pods de la base de données par les labels du StatefulSet que rend la base de données, dans le namespace où elle est placée, et l’agent de nœud de Velero copie les fichiers de leurs volumes dans le bucket. L’adresse du bucket est celle que publie le composant backups, avec son nom de Service qualifié par le namespace dans lequel il s’exécute, parce que Velero s’exécute dans un autre, et la région est aussi celle du bucket : SeaweedFS, qui l’exécute ici, n’en lit aucune et publie us-east-1. Les 14 jours sont la durée de vie de Velero, en heures.
Kubernetes, avec CloudNativePG
release-helm-cloudnative-pg.yaml écrit la base de données comme Cluster CloudNativePG, le bucket, les objets que rend le chart du plugin, et le fichier du rattachement, contenant le magasin d’objets du plugin et une sauvegarde planifiée, à côté du Cluster dans son propre namespace :
apiVersion: barmancloud.cnpg.io/v1kind: ObjectStoremetadata: [… omitted: the labels and annotations the build writes on every resource] name: "db-backup" namespace: "orders"spec: configuration: destinationPath: "s3://db-backups/orders/db-backup" endpointURL: "http://backups-default.orders:8333" s3Credentials: accessKeyId: name: "db-backup" key: "ACCESS_KEY_ID" secretAccessKey: name: "db-backup" key: "ACCESS_SECRET_KEY" retentionPolicy: "14d" instanceSidecarConfiguration: env: - name: "AWS_DEFAULT_REGION" value: "us-east-1"---apiVersion: postgresql.cnpg.io/v1kind: ScheduledBackupmetadata: [… omitted: the labels and annotations, as on the object store] name: "db-backup" namespace: "orders"spec: schedule: "0 30 2 * * *" cluster: name: "db" method: "plugin" pluginConfiguration: name: "barman-cloud.cloudnative-pg.io"Un planning CloudNativePG a six champs, le premier pour les secondes, si bien que le 30 2 * * * du rattachement s’écrit précédé de 0. Le plugin signe ses requêtes avec la paire de clés du Secret que nomme le magasin d’objets, ici db-backup, d’après le magasin d’objets lui-même, puisque le rattachement ne définit aucun infra.credentials_secret.
La Recipe propre à la base de données lit aussi le rattachement, et nomme le plugin comme archiveur du write-ahead log du Cluster :
[… omitted: apiVersion, kind and metadata]spec: [… omitted: the instance count, the image, the storage and the resources] plugins: - name: "barman-cloud.cloudnative-pg.io" isWALArchiver: true parameters: barmanObjectName: "db-backup" [… omitted: the bootstrap settings]Ainsi le journal est archivé en continu dans le bucket, entre les sauvegardes de base quotidiennes, et une restauration peut atteindre n’importe quel moment des 14 jours : la restauration à un instant donné de CloudNativePG, que cette réalisation laisse activée.
Terraform
release-terraform.yaml écrit le module de la base de données et rien d’autre. La réalisation du rattachement, terraform/backup-native, ne rend aucun fichier : la sauvegarde est un paramètre de l’instance RDS, si bien que la Recipe de la base de données lit le rattachement et l’écrit là où l’instance est écrite :
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 14 backup_window = "02:30-03:00"[… omitted: the subnet group and security groups, and the address output]RDS prend une seule heure de début quotidienne plutôt qu’une expression cron, si bien que 30 2 * * * devient une fenêtre de sauvegarde qui s’ouvre à 02:30 UTC et dure 30 minutes, la plus courte qu’accepte RDS.
CloudFormation
release-cloudformation.yaml écrit un seul template de stack contenant l’instance, avec les deux mêmes paramètres sous leurs noms de propriétés CloudFormation :
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources] "Db": { [… omitted: the deletion policy and the provenance metadata] "Properties": { "AllocatedStorage": 10, "BackupRetentionPeriod": 14, "DBInstanceClass": "db.t3.small", [… omitted: the database name, the subnet group, the engine and the credentials settings] "MultiAZ": false, "Port": 5432, "PreferredBackupWindow": "02:30-03:00", [… omitted: the storage type and the security groups] }, "Type": "AWS::RDS::DBInstance" }[… omitted: the closing of the resources and of the template]AWS Backup
release-terraform-aws-backup.yaml est construite à partir d’un Manifest liant plutôt terraform/backup-aws-backup. Cette réalisation écrit un module propre au rattachement à côté de celui de la base de données, contenant un coffre de sauvegarde, un plan et une sélection nommant l’instance :
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]resource "aws_backup_vault" "backup" { name = "db-backup"}
resource "aws_backup_plan" "backup" { name = "db-backup"
rule { rule_name = "db-backup" target_vault_name = aws_backup_vault.backup.name schedule = "cron(30 2 * * ? *)" start_window = 60
lifecycle { delete_after = 14 } }}
resource "aws_backup_selection" "backup" { name = "db-backup" plan_id = aws_backup_plan.backup.id iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [ "arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db", ]}Le planning est écrit dans la forme cron propre à AWS, lue en UTC, et une sauvegarde qui n’a pas démarré dans l’heure qui suit son horaire n’est pas lancée. L’ARN de l’instance est une expression Terraform composée à partir de ce pour quoi le fournisseur AWS est configuré au moment où il planifie, et du nom de l’instance ; le rôle est celui que nomme la Release, transmis tel qu’il est écrit.
L’instance conserve ses propres sauvegardes automatisées à côté de celles d’AWS Backup, comme elle le fait sans rattachement : pendant 7 jours, dans une fenêtre que choisit RDS, puisque le planning du rattachement est celui d’AWS Backup et non celui de l’instance :
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 7[… omitted: the subnet group and security groups, and the address output]infra.keep_automated_backups: false sur le rattachement les désactive et laisse celles d’AWS Backup comme seules sauvegardes de l’instance.
Ce que le build ne fait pas
Le build écrit des fichiers et s’arrête. Il n’exécute aucune sauvegarde et n’atteint aucun cluster, aucun bucket ni aucune API AWS. Il ne résout aucun ARN, aucun compte ni aucune région : sur AWS, chacun est une expression ou une valeur que la Release a écrite, que Terraform, CloudFormation ou AWS lit lorsque les fichiers sont appliqués. Il ne vérifie rien non plus dans le cluster :
- Le planning de Velero ne s’exécute que là où Velero est déployé, et les sauvegardes du plugin que là où s’exécutent le plugin, l’opérateur CloudNativePG (1.26 ou ultérieur) et cert-manager. Cet espace de travail déploie Velero et le plugin ; l’opérateur et cert-manager sont supposés déjà présents.
- Les Secrets que nomment les Releases Kubernetes sont à la charge du cluster, dans le namespace depuis lequel chacun est lu :
backup-store-access-key-idetbackup-store-secret-access-keyà côté du bucket,velero-cloud-credentialsdansvelero, contenant un fichier d’informations d’identification partagé AWS, etdb-backupà côté de la base de données, contenant la paire de clés sousACCESS_KEY_IDetACCESS_SECRET_KEY. Le build n’en rend aucun.
La Release qui s’arrête
release-compose.yaml rattache la même sauvegarde à la base de données sur Docker Compose. Aucune FeatureRecipe n’y réalise core/backup, si bien que manifest-compose.yaml n’en lie aucune, et aggrega build --release release-compose.yaml --auto-pull s’arrête en nommant le rattachement plutôt que de déployer une base de données sans sauvegarde :
[… omitted: what resolving the lockfile prints, the same halt among it][OPS_ERROR E0099] recipe resolution caused by (1): no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to itL’espace de travail ne nomme aucun répertoire de catalogue, si bien que le build ne peut chercher que parmi les FeatureRecipes que son lockfile épingle, et un Manifest qui n’en lie aucune pour core/backup n’en épingle aucune ; le message le dit plutôt que d’affirmer que le hub n’en contient aucune. Avec un checkout du catalogue de la bibliothèque standard désigné comme répertoire de catalogue, le même arrêt indique qu’aucune FeatureRecipe du catalogue n’implémente core/backup:1.0.0 pour compose, et liste les dix qui l’implémentent pour d’autres cibles : cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup et terraform/backup-native.
Le catalogue de la bibliothèque standard ne contient aucune FeatureRecipe pour core/backup sur cette cible. Chacune de celles-ci se lie à une autre cible, si bien qu’épinglée ici, elle est rendue comme une sortie à part entière à côté du fichier Compose, pour une cible sur laquelle cette Release ne déploie pas. Les voies possibles sont de retirer le rattachement de la Release, en déployant la base de données sans sauvegarde sur cette cible, ou de la déployer via un Manifest pour une cible qui dispose d’un produit de sauvegarde, comme le font les cinq autres Releases.