Сховище даних із резервним копіюванням на кожній цілі: одне приєднання core/backup
База даних PostgreSQL, резервне копіювання якої виконується в Kubernetes через Velero і через CloudNativePG, в AWS — через власні автоматичні резервні копії Amazon RDS, у Terraform і в CloudFormation, а також через AWS Backup, з одного приєднання core/backup, яке оператор записує в кожній сутності Release, і з відмовою на цілі, що не має продукту для резервного копіювання.
core/backup означає, що для сховища даних за розкладом створюються резервні копії і що кожна копія зберігається певну кількість днів. Воно нічого не каже про те, як саме: сутність Manifest кожної цілі прив’язує сутність FeatureRecipe, яка реалізує його там, і кожна з них записує резервне копіювання в термінах власного продукту — розклад Velero, заплановане резервне копіювання CloudNativePG, налаштування екземпляра RDS, план AWS Backup. Ціль без продукту, який міг би це реалізувати, відхиляє приєднання, називаючи його, тож збирання зупиняється, а не розгортає сховище даних без записаного для нього резервного копіювання.
Цей робочий простір збирає одну сутність Aggregate через шість сутностей Releases, кожна з яких приєднує те саме резервне копіювання: щодня о 02:30, кожна копія зберігається 14 днів. Сторінка показує, що кожна ціль рендерить для нього в п’яти, які завершуються, і наводить те, що виводить шоста, яка, як і очікується, зупиняється.
Що він збирає
| екземпляр | Component із каталогу | де виконується |
|---|---|---|
db | core/datastore/postgres | кожна сутність Release |
backups | core/storage/s3-object-store | дві сутності Releases для Kubernetes: бакет, до якого потрапляють резервні копії |
velero | core/storage/velero | сутність Release для Velero |
barman-cloud | core/storage/barman-cloud-plugin | сутність Release для CloudNativePG |
Сутність Aggregate оголошує базу даних і те, що потрібно для її резервного копіювання в Kubernetes: бакет і два контролери резервного копіювання. Контролер резервного копіювання встановлюється один раз на кластер, а не разом із базою даних, тому це окремий компонент; в AWS резервні копії залишаються у власному сховищі керованого сервісу, і жоден із цих трьох там не потрібен. Один параметр, backup_controller, перемикає їх через перемикач active: кожного компонента:
spec: parameters: [… omitted: the comment above the parameter] backup_controller: type: string default: none [… omitted: the parameter's description] components: [… omitted: the comment above each component] db: type: core/datastore/postgres
backups: type: core/storage/s3-object-store active: '{{ ne .parameters.backup_controller "none" }}' values: bucket: db-backups
velero: type: core/storage/velero active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud: type: core/storage/barman-cloud-plugin active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'Компонент, перемикач якого має значення false, видаляється до того, як будь-що буде зібрано, тож сутності Releases для AWS і Docker Compose, які залишають параметр зі значенням none, збирають лише базу даних.
Приєднання
Розробник нічого не пише для резервного копіювання: db не має в сутності Aggregate жодного приєднання. Оператор приєднує до нього core/backup у кожній сутності Release, у розділі features компонента, і вказує там, коли виконується резервне копіювання і скільки зберігається кожна копія. У Kubernetes приєднання також вказує, куди потрапляють резервні копії, через своє з’єднання store із бакетом:
components: db: annotations: aggrega.ai/namespace: orders [… omitted: the comment above the attachment] features: backup: type: core/backup infra: schedule: "30 2 * * *" retention_days: 14 uses: store: bucket: target: backupsСутності Releases для AWS записують те саме приєднання без з’єднання store, оскільки RDS і AWS Backup зберігають резервні копії у власному сховищі, а реалізації там відхиляють з’єднання з бакетом, у який нічого не записувалося б. Сутність Release для AWS Backup додає infra.role_arn — роль IAM, від імені якої AWS Backup виконує кожне резервне копіювання.
Шість сутностей Releases
| Release | Manifest | core/backup реалізує | збирання |
|---|---|---|---|
release-helm-velero.yaml | manifest-helm-velero.yaml | helm/backup-velero | завершується |
release-helm-cloudnative-pg.yaml | manifest-helm-cloudnative-pg.yaml | helm/backup-cloudnative-pg | завершується |
release-terraform.yaml | manifest-terraform.yaml | terraform/backup-native | завершується |
release-cloudformation.yaml | manifest-cloudformation.yaml | cloudformation/backup-native | завершується |
release-terraform-aws-backup.yaml | manifest-terraform-aws-backup.yaml | terraform/backup-aws-backup | завершується |
release-compose.yaml | manifest-compose.yaml | нічого | зупиняється |
Яким продуктом створюються резервні копії бази даних, вирішує сутність Manifest. Дві сутності Manifests для Kubernetes запускають базу даних двома способами — helm/postgres, StatefulSet, для Velero, і helm/postgres-cloudnative-pg, CloudNativePG Cluster, для плагіна — і прив’язують відповідну реалізацію резервного копіювання для кожного. manifest-terraform.yaml і manifest-terraform-aws-backup.yaml зіставляють базу даних з однією й тією самою сутністю Recipe і відрізняються сутністю FeatureRecipe, яку прив’язують до core/backup, а сутності Releases, зібрані з них, відрізняються, окрім сутності Manifest, яку називає кожна, лише роллю.
Сутності Releases для Kubernetes також приєднують власну пару ключів бакета і файл облікових даних, яким Velero підписує свої запити, як приєднання core/referenced-secret, що називають об’єкти Secret, які вже є в кластері, тож жоден ключ не записується в жоден відрендерений файл. Кожне значення, специфічне для облікового запису, у сутностях Releases для AWS є заповнювачем.
Створення прикладу
Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.
Запишіть приклад у нову теку, названу за ним:
aggrega scaffold --example datastore-backupПотім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:
cd datastore-backupЗбирання
Робочий простір читає каталог стандартної бібліотеки з реєстру hub, який називає .aggrega-config.yaml. Velero і плагін Barman Cloud встановлюються через власні чарти їхніх проєктів, тож двом сутностям Releases для Kubernetes потрібно, щоб репозиторії чартів цих проєктів були доступні зі збирання; кожна інша сутність Release рендериться лише з каталогу.
aggrega build --release release-helm-velero.yaml --auto-pull # one ReleaseУ робочій копії репозиторію документації, яка містить спільний допоміжний скрипт збирання, якого немає в копії, записаній aggrega scaffold --example, ./check.sh збирає всі шість сутностей Releases і перевіряє кожен результат. Він виводить по одному рядку на кожну сутність Release і завершується з кодом 0, лише якщо кожна завершилася так, як описує ця сторінка:
RELEASE EXIT EXPECTED VERDICT----------------------------------------------------------------------------------------------------release-helm-velero.yaml 0 complete OK: completed, the backup the README showsrelease-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README showsrelease-terraform.yaml 0 complete OK: completed, the backup the README showsrelease-cloudformation.yaml 0 complete OK: completed, the backup the README showsrelease-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README showsrelease-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.З ШІ-асистентом
ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.
Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо в папці робочої області ще немає папки `datastore-backup`, один раз викличте інструмент `scaffold` зі значенням `example`, встановленим у `datastore-backup`, і без `dir`: він записує приклад у нову папку `datastore-backup`. Потім викличте інструмент `build` із `workspace_root`, встановленим у `datastore-backup`, `release`, встановленим у `release-helm-velero.yaml`, `auto_pull`, встановленим у true, і `write`, встановленим у true. Скажіть мені, які файли записала збірка; вони розташовані в `datastore-backup/dist/`.Kubernetes із Velero
release-helm-velero.yaml записує StatefulSet і об’єкти Service бази даних, відповідні об’єкти бакета, об’єкти, які рендерить власний чарт Velero, і один файл для приєднання, що містить розташування сховища Velero і розклад:
apiVersion: velero.io/v1kind: BackupStorageLocationmetadata: [… omitted: the labels and annotations the build writes on every resource] name: "orders-db-backup" namespace: velerospec: provider: velero.io/aws objectStorage: bucket: "db-backups" prefix: "orders-db-backup" config: region: "us-east-1" s3Url: "http://backups-default.orders:8333" s3ForcePathStyle: "true"---apiVersion: velero.io/v1kind: Schedulemetadata: [… omitted: the labels and annotations, as on the storage location] name: "orders-db-backup" namespace: velerospec: schedule: "30 2 * * *" template: includedNamespaces: - "orders" orLabelSelectors: - matchLabels: "app": "db" storageLocation: "orders-db-backup" ttl: "336h0m0s" snapshotVolumes: false defaultVolumesToFsBackup: trueОбидва розміщуються в просторі імен velero, єдиному, з якого Velero читає свої розклади, і названі за простором імен бази даних, її назвою та назвою приєднання, оскільки кожна сутність Release у кластері записує в цей один простір імен. Розклад вибирає поди бази даних за мітками StatefulSet, який рендерить база даних, у просторі імен, де її розміщено, а агент вузла Velero копіює файли їхніх томів до бакета. Адреса бакета — та, яку публікує компонент backups, з ім’ям Service, уточненим простором імен, у якому він працює, оскільки Velero працює в іншому; регіон теж належить бакету: SeaweedFS, який його тут обслуговує, жодного не читає і публікує us-east-1. 14 днів — це час життя (TTL) у Velero, виражений у годинах.
Kubernetes із CloudNativePG
release-helm-cloudnative-pg.yaml записує базу даних як CloudNativePG Cluster, а також бакет, об’єкти, які рендерить чарт плагіна, і файл приєднання, що містить сховище об’єктів плагіна і заплановане резервне копіювання, поруч із Cluster у його власному просторі імен:
apiVersion: barmancloud.cnpg.io/v1kind: ObjectStoremetadata: [… omitted: the labels and annotations the build writes on every resource] name: "db-backup" namespace: "orders"spec: configuration: destinationPath: "s3://db-backups/orders/db-backup" endpointURL: "http://backups-default.orders:8333" s3Credentials: accessKeyId: name: "db-backup" key: "ACCESS_KEY_ID" secretAccessKey: name: "db-backup" key: "ACCESS_SECRET_KEY" retentionPolicy: "14d" instanceSidecarConfiguration: env: - name: "AWS_DEFAULT_REGION" value: "us-east-1"---apiVersion: postgresql.cnpg.io/v1kind: ScheduledBackupmetadata: [… omitted: the labels and annotations, as on the object store] name: "db-backup" namespace: "orders"spec: schedule: "0 30 2 * * *" cluster: name: "db" method: "plugin" pluginConfiguration: name: "barman-cloud.cloudnative-pg.io"Розклад CloudNativePG має шість полів, перше з яких — секунди, тому 30 2 * * * із приєднання записується з 0 попереду. Плагін підписує свої запити парою ключів з об’єкта Secret, який називає сховище об’єктів, тут db-backup, за назвою самого сховища об’єктів, оскільки приєднання не задає infra.credentials_secret.
Власна сутність Recipe бази даних також читає приєднання і призначає плагін архіватором журналу попереднього запису (WAL) для Cluster:
[… omitted: apiVersion, kind and metadata]spec: [… omitted: the instance count, the image, the storage and the resources] plugins: - name: "barman-cloud.cloudnative-pg.io" isWALArchiver: true parameters: barmanObjectName: "db-backup" [… omitted: the bootstrap settings]Отже, журнал безперервно архівується до бакета між щоденними базовими резервними копіями, і відновлення може досягти будь-якого моменту в межах 14 днів: це відновлення на момент часу CloudNativePG, яке ця реалізація залишає ввімкненим.
Terraform
release-terraform.yaml записує лише модуль бази даних. Реалізація приєднання, terraform/backup-native, не рендерить жодного файлу: резервне копіювання є налаштуванням екземпляра RDS, тому сутність Recipe бази даних читає приєднання і записує його там, де записується екземпляр:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 14 backup_window = "02:30-03:00"[… omitted: the subnet group and security groups, and the address output]RDS приймає один щоденний час початку замість виразу cron, тому 30 2 * * * стає вікном резервного копіювання, яке відкривається о 02:30 UTC і триває 30 хвилин — найкоротше, що приймає RDS.
CloudFormation
release-cloudformation.yaml записує один шаблон стека, що містить екземпляр, із тими самими двома налаштуваннями під їхніми назвами властивостей CloudFormation:
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources] "Db": { [… omitted: the deletion policy and the provenance metadata] "Properties": { "AllocatedStorage": 10, "BackupRetentionPeriod": 14, "DBInstanceClass": "db.t3.small", [… omitted: the database name, the subnet group, the engine and the credentials settings] "MultiAZ": false, "Port": 5432, "PreferredBackupWindow": "02:30-03:00", [… omitted: the storage type and the security groups] }, "Type": "AWS::RDS::DBInstance" }[… omitted: the closing of the resources and of the template]AWS Backup
release-terraform-aws-backup.yaml натомість збирається із сутності Manifest, що прив’язує terraform/backup-aws-backup. Ця реалізація записує власний модуль приєднання поруч із модулем бази даних, що містить сховище резервних копій (vault), план і вибірку, яка називає екземпляр:
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]resource "aws_backup_vault" "backup" { name = "db-backup"}
resource "aws_backup_plan" "backup" { name = "db-backup"
rule { rule_name = "db-backup" target_vault_name = aws_backup_vault.backup.name schedule = "cron(30 2 * * ? *)" start_window = 60
lifecycle { delete_after = 14 } }}
resource "aws_backup_selection" "backup" { name = "db-backup" plan_id = aws_backup_plan.backup.id iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [ "arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db", ]}Розклад записується у власній формі cron AWS і читається в UTC, а резервне копіювання, яке не почалося протягом години від свого часу, не запускається. ARN екземпляра — це вираз Terraform, складений із того, на що налаштований AWS-провайдер під час планування, і назви екземпляра; роль — та, яку називає сутність Release, передана так, як її записано.
Екземпляр зберігає власні автоматичні резервні копії поряд із копіями AWS Backup, як і без приєднання: протягом 7 днів, у вікні, яке обирає RDS, оскільки розклад приєднання належить AWS Backup, а не екземпляру:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 7[… omitted: the subnet group and security groups, and the address output]infra.keep_automated_backups: false у приєднанні вимикає їх і залишає копії AWS Backup єдиними резервними копіями екземпляра.
Чого збирання не робить
Збирання записує файли і зупиняється. Воно не виконує жодного резервного копіювання і не звертається до жодного кластера, бакета чи API AWS. Воно не визначає жодного ARN, облікового запису чи регіону: в AWS кожне з них є виразом або значенням, яке записала сутність Release і яке Terraform, CloudFormation або AWS читає під час застосування файлів. Воно також нічого не перевіряє в кластері:
- Розклад Velero виконується лише там, де розгорнуто Velero, а резервні копії плагіна — лише там, де працюють плагін, оператор CloudNativePG (1.26 або новіший) і cert-manager. Цей робочий простір розгортає Velero і плагін; вважається, що оператор і cert-manager уже там є.
- Об’єкти Secret, які називають сутності Releases для Kubernetes, має зберігати кластер, у просторі імен, з якого читається кожен:
backup-store-access-key-idіbackup-store-secret-access-keyпоруч із бакетом,velero-cloud-credentialsуvelero, що містить спільний файл облікових даних AWS, іdb-backupпоруч із базою даних, що містить пару ключів підACCESS_KEY_IDіACCESS_SECRET_KEY. Збирання не рендерить жодного з них.
Сутність Release, яка зупиняється
release-compose.yaml приєднує те саме резервне копіювання до бази даних у Docker Compose. Жодна сутність FeatureRecipe не реалізує там core/backup, тому manifest-compose.yaml нічого не прив’язує, а aggrega build --release release-compose.yaml --auto-pull зупиняється, називаючи приєднання, замість розгортати базу даних без резервного копіювання:
[… omitted: what resolving the lockfile prints, the same halt among it][OPS_ERROR E0099] recipe resolution caused by (1): no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to itРобочий простір не називає жодної теки каталогу, тож збірка має для пошуку лише сутності FeatureRecipes, закріплені в її lock-файлі, а сутність Manifest, яка не прив’язує жодної для core/backup, жодної й не закріплює; повідомлення каже саме це, а не стверджує, що хаб не містить жодної. Коли як теку каталогу вказано робочу копію каталогу стандартної бібліотеки, та сама зупинка повідомляє, що жодна сутність FeatureRecipe у каталозі не реалізує core/backup:1.0.0 для compose, і перелічує десять, які реалізують його для інших цілей: cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup і terraform/backup-native.
Каталог стандартної бібліотеки не містить сутності FeatureRecipe для core/backup на цій цілі. Кожна з них прив’язується до іншої цілі, тож, закріплена тут, вона відтворюється як окремий вихід поруч із файлом Compose — для цілі, на яку ця сутність Release не розгортає. Подальші шляхи — видалити приєднання із сутності Release, розгорнувши там базу даних без резервного копіювання, або розгорнути її через сутність Manifest для цілі, яка має продукт для резервного копіювання, як це роблять інші п’ять сутностей Releases.