Un almacén de datos con copia de seguridad en cada destino: una sola vinculación core/backup
Una base de datos PostgreSQL con copia de seguridad en Kubernetes mediante Velero y mediante CloudNativePG, y en AWS mediante las copias de seguridad automatizadas propias de Amazon RDS, en Terraform y en CloudFormation, y mediante AWS Backup, a partir de una sola vinculación core/backup que el operador escribe en cada Release, con el rechazo en un destino que no tiene ningún producto de copia de seguridad.
core/backup dice que un almacén de datos tiene copia de seguridad según una programación y que cada copia se conserva durante un número de días. No dice nada sobre el cómo: el Manifest de cada destino enlaza la FeatureRecipe que la realiza allí, y cada una escribe la copia de seguridad en los términos de su propio producto — una programación de Velero, una copia de seguridad programada de CloudNativePG, los ajustes de una instancia de RDS, un plan de AWS Backup. Un destino sin producto que la realice rechaza la vinculación por su nombre, así que la compilación se detiene en lugar de desplegar el almacén de datos sin la copia de seguridad escrita para él.
Este espacio de trabajo compila un Aggregate mediante seis Releases, cada una de las cuales vincula la misma copia de seguridad: todos los días a las 02:30, cada copia conservada durante 14 días. La página muestra lo que cada destino renderiza para ella en las cinco que se completan, y cita lo que imprime la sexta, que se espera que se detenga.
Lo que construye
| instancia | Component del catálogo | dónde se ejecuta |
|---|---|---|
db | core/datastore/postgres | cada Release |
backups | core/storage/s3-object-store | las dos Releases de Kubernetes: el bucket al que van las copias de seguridad |
velero | core/storage/velero | la Release de Velero |
barman-cloud | core/storage/barman-cloud-plugin | la Release de CloudNativePG |
El Aggregate declara la base de datos y lo que necesita una copia de seguridad de ella en Kubernetes: un bucket y los dos controladores de copia de seguridad. Un controlador de copia de seguridad se instala una vez por clúster y no junto con la base de datos, así que es un componente propio; en AWS las copias de seguridad se quedan en el almacenamiento propio del servicio gestionado, y allí no se quiere ninguno de los tres. Un solo parámetro, backup_controller, los activa o desactiva, mediante el interruptor active: de cada componente:
spec: parameters: [… omitted: the comment above the parameter] backup_controller: type: string default: none [… omitted: the parameter's description] components: [… omitted: the comment above each component] db: type: core/datastore/postgres
backups: type: core/storage/s3-object-store active: '{{ ne .parameters.backup_controller "none" }}' values: bucket: db-backups
velero: type: core/storage/velero active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud: type: core/storage/barman-cloud-plugin active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'Un componente cuyo interruptor vale false se elimina antes de compilar nada, así que las Releases de AWS y Docker Compose, que dejan el parámetro en none, compilan solo la base de datos.
La vinculación
El desarrollador no escribe nada para la copia de seguridad: db no lleva ninguna vinculación en el Aggregate. El operador vincula core/backup a él en cada Release, bajo las features del componente, e indica allí cuándo se ejecuta la copia de seguridad y cuánto tiempo se conserva cada una. En Kubernetes, la vinculación también nombra adónde van las copias de seguridad, mediante su conexión store al bucket:
components: db: annotations: aggrega.ai/namespace: orders [… omitted: the comment above the attachment] features: backup: type: core/backup infra: schedule: "30 2 * * *" retention_days: 14 uses: store: bucket: target: backupsLas Releases de AWS escriben la misma vinculación sin conexión store, porque RDS y AWS Backup guardan sus copias de seguridad en un almacenamiento propio, y las realizaciones allí rechazan una conexión a un bucket en el que nada escribiría. La Release de AWS Backup añade infra.role_arn, el rol de IAM con el que AWS Backup ejecuta cada copia de seguridad.
Las seis Releases
| Release | Manifest | core/backup realizada por | la compilación |
|---|---|---|---|
release-helm-velero.yaml | manifest-helm-velero.yaml | helm/backup-velero | se completa |
release-helm-cloudnative-pg.yaml | manifest-helm-cloudnative-pg.yaml | helm/backup-cloudnative-pg | se completa |
release-terraform.yaml | manifest-terraform.yaml | terraform/backup-native | se completa |
release-cloudformation.yaml | manifest-cloudformation.yaml | cloudformation/backup-native | se completa |
release-terraform-aws-backup.yaml | manifest-terraform-aws-backup.yaml | terraform/backup-aws-backup | se completa |
release-compose.yaml | manifest-compose.yaml | nada | se detiene |
El Manifest decide qué producto hace la copia de seguridad de la base de datos. Los dos Manifests de Kubernetes ejecutan la base de datos de dos maneras — helm/postgres, un StatefulSet, para Velero, y helm/postgres-cloudnative-pg, un Cluster de CloudNativePG, para el plugin — y enlazan la realización de la copia de seguridad para cada una. manifest-terraform.yaml y manifest-terraform-aws-backup.yaml asignan la base de datos a la misma Recipe y difieren en la FeatureRecipe que enlazan a core/backup, y las Releases compiladas a partir de ellos difieren, además del Manifest que nombra cada una, solo en el rol.
Las Releases de Kubernetes también vinculan el par de claves propio del bucket, y el archivo de credenciales con el que Velero firma sus solicitudes, como vinculaciones core/referenced-secret que nombran Secrets que el clúster ya tiene, así que ninguna clave se escribe en ningún archivo renderizado. Todo valor específico de la cuenta en las Releases de AWS es un marcador de posición.
Generar el ejemplo
Puedes compilar este ejemplo con los comandos de abajo, o hacer que tu asistente de IA lo compile por ti.
Escribe el ejemplo en una carpeta nueva con su nombre:
aggrega scaffold --example datastore-backupDespués imprime los comandos que hay que ejecutar a continuación. El primero entra en la carpeta nueva:
cd datastore-backupCompilación
El espacio de trabajo lee el catálogo de la biblioteca estándar desde el registro del hub que nombra .aggrega-config.yaml. Velero y el plugin Barman Cloud se instalan mediante los charts propios de sus proyectos, así que las dos Releases de Kubernetes necesitan que los repositorios de charts de esos proyectos sean accesibles desde la compilación; cualquier otra Release se renderiza solo a partir del catálogo.
aggrega build --release release-helm-velero.yaml --auto-pull # one ReleaseEn un checkout del repositorio de la documentación, que contiene el script auxiliar de compilación compartido que una copia escrita por aggrega scaffold --example no incluye, ./check.sh compila las seis Releases y comprueba cada resultado. Imprime una línea por Release y termina con 0 solo cuando cada una ha acabado como describe esta página:
RELEASE EXIT EXPECTED VERDICT----------------------------------------------------------------------------------------------------release-helm-velero.yaml 0 complete OK: completed, the backup the README showsrelease-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README showsrelease-terraform.yaml 0 complete OK: completed, the backup the README showsrelease-cloudformation.yaml 0 complete OK: completed, the backup the README showsrelease-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README showsrelease-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.Con un asistente de IA
Un asistente de IA configurado con las herramientas de Aggrega puede hacer lo mismo: pégale este prompt.
Usa solo las herramientas de Aggrega y no crees ninguna carpeta por tu cuenta. Si la carpeta del espacio de trabajo aún no contiene una carpeta `datastore-backup`, llama una vez a la herramienta `scaffold` con `example` establecido en `datastore-backup` y sin `dir`: escribe el ejemplo en una nueva carpeta `datastore-backup`. Después llama a la herramienta `build` con `workspace_root` establecido en `datastore-backup`, `release` establecido en `release-helm-velero.yaml`, `auto_pull` establecido en true y `write` establecido en true. Dime qué archivos escribió la compilación; están en `datastore-backup/dist/`.Kubernetes, con Velero
release-helm-velero.yaml escribe el StatefulSet y los Services de la base de datos, los del bucket, los objetos que renderiza el propio chart de Velero y un archivo para la vinculación, que contiene una ubicación de almacenamiento de Velero y una programación:
apiVersion: velero.io/v1kind: BackupStorageLocationmetadata: [… omitted: the labels and annotations the build writes on every resource] name: "orders-db-backup" namespace: velerospec: provider: velero.io/aws objectStorage: bucket: "db-backups" prefix: "orders-db-backup" config: region: "us-east-1" s3Url: "http://backups-default.orders:8333" s3ForcePathStyle: "true"---apiVersion: velero.io/v1kind: Schedulemetadata: [… omitted: the labels and annotations, as on the storage location] name: "orders-db-backup" namespace: velerospec: schedule: "30 2 * * *" template: includedNamespaces: - "orders" orLabelSelectors: - matchLabels: "app": "db" storageLocation: "orders-db-backup" ttl: "336h0m0s" snapshotVolumes: false defaultVolumesToFsBackup: trueAmbas están en el namespace velero, el único desde el que Velero lee sus programaciones, y se nombran según el namespace de la base de datos, su nombre y el de la vinculación, ya que cada Release del clúster escribe en ese único namespace. La programación selecciona los pods de la base de datos por las etiquetas del StatefulSet que renderiza la base de datos, en el namespace en el que está ubicada, y el agente de nodo de Velero copia los archivos de sus volúmenes al bucket. La dirección del bucket es la que publica el componente backups, con su nombre de Service cualificado por el namespace en el que se ejecuta, porque Velero se ejecuta en otro, y la región es también la del bucket: SeaweedFS, que lo ejecuta aquí, no lee ninguna y publica us-east-1. Los 14 días son el tiempo de vida de Velero, en horas.
Kubernetes, con CloudNativePG
release-helm-cloudnative-pg.yaml escribe la base de datos como un Cluster de CloudNativePG, el bucket, los objetos que renderiza el chart del plugin, y el archivo de la vinculación, que contiene el almacén de objetos del plugin y una copia de seguridad programada, junto al Cluster en su propio namespace:
apiVersion: barmancloud.cnpg.io/v1kind: ObjectStoremetadata: [… omitted: the labels and annotations the build writes on every resource] name: "db-backup" namespace: "orders"spec: configuration: destinationPath: "s3://db-backups/orders/db-backup" endpointURL: "http://backups-default.orders:8333" s3Credentials: accessKeyId: name: "db-backup" key: "ACCESS_KEY_ID" secretAccessKey: name: "db-backup" key: "ACCESS_SECRET_KEY" retentionPolicy: "14d" instanceSidecarConfiguration: env: - name: "AWS_DEFAULT_REGION" value: "us-east-1"---apiVersion: postgresql.cnpg.io/v1kind: ScheduledBackupmetadata: [… omitted: the labels and annotations, as on the object store] name: "db-backup" namespace: "orders"spec: schedule: "0 30 2 * * *" cluster: name: "db" method: "plugin" pluginConfiguration: name: "barman-cloud.cloudnative-pg.io"Una programación de CloudNativePG tiene seis campos, el primero para los segundos, así que el 30 2 * * * de la vinculación se escribe con 0 delante. El plugin firma sus solicitudes con el par de claves del Secret que nombra el almacén de objetos, aquí db-backup, con el nombre del propio almacén de objetos, ya que la vinculación no establece ningún infra.credentials_secret.
La propia Recipe de la base de datos también lee la vinculación, y nombra el plugin como archivador del write-ahead log del Cluster:
[… omitted: apiVersion, kind and metadata]spec: [… omitted: the instance count, the image, the storage and the resources] plugins: - name: "barman-cloud.cloudnative-pg.io" isWALArchiver: true parameters: barmanObjectName: "db-backup" [… omitted: the bootstrap settings]Así, el log se archiva en el bucket de forma continua, entre las copias de seguridad base diarias, y una restauración puede alcanzar cualquier momento de los 14 días: la recuperación a un punto en el tiempo de CloudNativePG, que esta realización mantiene activada.
Terraform
release-terraform.yaml escribe el módulo de la base de datos y nada más. La realización de la vinculación, terraform/backup-native, no renderiza ningún archivo: la copia de seguridad es un ajuste de la instancia de RDS, así que la Recipe de la base de datos lee la vinculación y la escribe donde se escribe la instancia:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 14 backup_window = "02:30-03:00"[… omitted: the subnet group and security groups, and the address output]RDS toma una sola hora de inicio diaria en lugar de una expresión cron, así que 30 2 * * * se convierte en una ventana de copia de seguridad que se abre a las 02:30 UTC y dura 30 minutos, la más corta que admite RDS.
CloudFormation
release-cloudformation.yaml escribe una sola plantilla de stack que contiene la instancia, con los mismos dos ajustes bajo sus nombres de propiedad de CloudFormation:
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources] "Db": { [… omitted: the deletion policy and the provenance metadata] "Properties": { "AllocatedStorage": 10, "BackupRetentionPeriod": 14, "DBInstanceClass": "db.t3.small", [… omitted: the database name, the subnet group, the engine and the credentials settings] "MultiAZ": false, "Port": 5432, "PreferredBackupWindow": "02:30-03:00", [… omitted: the storage type and the security groups] }, "Type": "AWS::RDS::DBInstance" }[… omitted: the closing of the resources and of the template]AWS Backup
release-terraform-aws-backup.yaml se compila a partir de un Manifest que enlaza en su lugar terraform/backup-aws-backup. Esta realización escribe un módulo propio de la vinculación junto al de la base de datos, que contiene un almacén de copias de seguridad, un plan y una selección que nombra la instancia:
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]resource "aws_backup_vault" "backup" { name = "db-backup"}
resource "aws_backup_plan" "backup" { name = "db-backup"
rule { rule_name = "db-backup" target_vault_name = aws_backup_vault.backup.name schedule = "cron(30 2 * * ? *)" start_window = 60
lifecycle { delete_after = 14 } }}
resource "aws_backup_selection" "backup" { name = "db-backup" plan_id = aws_backup_plan.backup.id iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [ "arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db", ]}La programación se escribe en la forma cron propia de AWS, leída en UTC, y una copia de seguridad que no ha empezado en la hora siguiente a su hora prevista no se inicia. El ARN de la instancia es una expresión de Terraform compuesta a partir de aquello para lo que está configurado el proveedor de AWS cuando planifica, y del nombre de la instancia; el rol es el que nombra la Release, transmitido tal como está escrito.
La instancia conserva sus propias copias de seguridad automatizadas junto a las de AWS Backup, como hace sin ninguna vinculación: durante 7 días, en una ventana que elige RDS, ya que la programación de la vinculación es la de AWS Backup y no la de la instancia:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 7[… omitted: the subnet group and security groups, and the address output]infra.keep_automated_backups: false en la vinculación las desactiva y deja las de AWS Backup como las únicas copias de seguridad de la instancia.
Lo que no hace la compilación
La compilación escribe archivos y se detiene. No ejecuta ninguna copia de seguridad ni llega a ningún clúster, ningún bucket ni ninguna API de AWS. No resuelve ningún ARN, cuenta ni región: en AWS, cada uno es una expresión o un valor que escribió la Release, que Terraform, CloudFormation o AWS lee cuando se aplican los archivos. Tampoco comprueba nada en el clúster:
- La programación de Velero solo se ejecuta donde Velero está desplegado, y las copias de seguridad del plugin solo donde se ejecutan el plugin, el operador de CloudNativePG (1.26 o posterior) y cert-manager. Este espacio de trabajo despliega Velero y el plugin; se supone que el operador y cert-manager ya están allí.
- Los Secrets que nombran las Releases de Kubernetes son del clúster, en el namespace desde el que se lee cada uno:
backup-store-access-key-idybackup-store-secret-access-keyjunto al bucket,velero-cloud-credentialsenvelero, que contiene un archivo de credenciales compartidas de AWS, ydb-backupjunto a la base de datos, que contiene el par de claves bajoACCESS_KEY_IDyACCESS_SECRET_KEY. La compilación no renderiza ninguno de ellos.
La Release que se detiene
release-compose.yaml vincula la misma copia de seguridad a la base de datos en Docker Compose. Allí ninguna FeatureRecipe realiza core/backup, así que manifest-compose.yaml no enlaza ninguna, y aggrega build --release release-compose.yaml --auto-pull se detiene nombrando la vinculación en lugar de desplegar una base de datos sin copia de seguridad:
[… omitted: what resolving the lockfile prints, the same halt among it][OPS_ERROR E0099] recipe resolution caused by (1): no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to itEl espacio de trabajo no nombra ningún directorio de catálogo, así que la compilación solo puede buscar entre las FeatureRecipes que fija su lockfile, y un Manifest que no vincula ninguna para core/backup no fija ninguna; el mensaje lo dice en lugar de afirmar que el hub no contiene ninguna. Con un checkout del catálogo de la biblioteca estándar indicado como directorio de catálogo, la misma detención dice que ninguna FeatureRecipe del catálogo implementa core/backup:1.0.0 para compose, y enumera las diez que lo implementan para otros destinos: cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup y terraform/backup-native.
El catálogo de la biblioteca estándar no contiene ninguna FeatureRecipe para core/backup en este destino. Cada una de ellas se enlaza a otro destino, así que, fijada aquí, se renderiza como una salida propia junto al archivo de Compose, para un destino en el que esta Release no despliega. Los caminos posibles son quitar la vinculación de la Release, desplegando allí la base de datos sin copia de seguridad, o desplegarla mediante un Manifest para un destino que tenga un producto de copia de seguridad, como hacen las otras cinco Releases.