Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

Сховище даних із резервним копіюванням на кожній цілі: одне приєднання core/backup

База даних PostgreSQL, резервне копіювання якої виконується в Kubernetes через Velero і через CloudNativePG, в AWS — через власні автоматичні резервні копії Amazon RDS, у Terraform і в CloudFormation, а також через AWS Backup, з одного приєднання core/backup, яке оператор записує в кожній сутності Release, і з відмовою на цілі, що не має продукту для резервного копіювання.

core/backup означає, що для сховища даних за розкладом створюються резервні копії і що кожна копія зберігається певну кількість днів. Воно нічого не каже про те, як саме: сутність Manifest кожної цілі прив’язує сутність FeatureRecipe, яка реалізує його там, і кожна з них записує резервне копіювання в термінах власного продукту — розклад Velero, заплановане резервне копіювання CloudNativePG, налаштування екземпляра RDS, план AWS Backup. Ціль без продукту, який міг би це реалізувати, відхиляє приєднання, називаючи його, тож збирання зупиняється, а не розгортає сховище даних без записаного для нього резервного копіювання.

Цей робочий простір збирає одну сутність Aggregate через шість сутностей Releases, кожна з яких приєднує те саме резервне копіювання: щодня о 02:30, кожна копія зберігається 14 днів. Сторінка показує, що кожна ціль рендерить для нього в п’яти, які завершуються, і наводить те, що виводить шоста, яка, як і очікується, зупиняється.

Що він збирає

екземплярComponent із каталогуде виконується
dbcore/datastore/postgresкожна сутність Release
backupscore/storage/s3-object-storeдві сутності Releases для Kubernetes: бакет, до якого потрапляють резервні копії
velerocore/storage/veleroсутність Release для Velero
barman-cloudcore/storage/barman-cloud-pluginсутність Release для CloudNativePG

Сутність Aggregate оголошує базу даних і те, що потрібно для її резервного копіювання в Kubernetes: бакет і два контролери резервного копіювання. Контролер резервного копіювання встановлюється один раз на кластер, а не разом із базою даних, тому це окремий компонент; в AWS резервні копії залишаються у власному сховищі керованого сервісу, і жоден із цих трьох там не потрібен. Один параметр, backup_controller, перемикає їх через перемикач active: кожного компонента:

aggregate.yaml
spec:
parameters:
[… omitted: the comment above the parameter]
backup_controller:
type: string
default: none
[… omitted: the parameter's description]
components:
[… omitted: the comment above each component]
db:
type: core/datastore/postgres
backups:
type: core/storage/s3-object-store
active: '{{ ne .parameters.backup_controller "none" }}'
values:
bucket: db-backups
velero:
type: core/storage/velero
active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud:
type: core/storage/barman-cloud-plugin
active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'

Компонент, перемикач якого має значення false, видаляється до того, як будь-що буде зібрано, тож сутності Releases для AWS і Docker Compose, які залишають параметр зі значенням none, збирають лише базу даних.

Приєднання

Розробник нічого не пише для резервного копіювання: db не має в сутності Aggregate жодного приєднання. Оператор приєднує до нього core/backup у кожній сутності Release, у розділі features компонента, і вказує там, коли виконується резервне копіювання і скільки зберігається кожна копія. У Kubernetes приєднання також вказує, куди потрапляють резервні копії, через своє з’єднання store із бакетом:

release-helm-velero.yaml
components:
db:
annotations:
aggrega.ai/namespace: orders
[… omitted: the comment above the attachment]
features:
backup:
type: core/backup
infra:
schedule: "30 2 * * *"
retention_days: 14
uses:
store:
bucket:
target: backups

Сутності Releases для AWS записують те саме приєднання без з’єднання store, оскільки RDS і AWS Backup зберігають резервні копії у власному сховищі, а реалізації там відхиляють з’єднання з бакетом, у який нічого не записувалося б. Сутність Release для AWS Backup додає infra.role_arn — роль IAM, від імені якої AWS Backup виконує кожне резервне копіювання.

Шість сутностей Releases

ReleaseManifestcore/backup реалізуєзбирання
release-helm-velero.yamlmanifest-helm-velero.yamlhelm/backup-veleroзавершується
release-helm-cloudnative-pg.yamlmanifest-helm-cloudnative-pg.yamlhelm/backup-cloudnative-pgзавершується
release-terraform.yamlmanifest-terraform.yamlterraform/backup-nativeзавершується
release-cloudformation.yamlmanifest-cloudformation.yamlcloudformation/backup-nativeзавершується
release-terraform-aws-backup.yamlmanifest-terraform-aws-backup.yamlterraform/backup-aws-backupзавершується
release-compose.yamlmanifest-compose.yamlнічогозупиняється

Яким продуктом створюються резервні копії бази даних, вирішує сутність Manifest. Дві сутності Manifests для Kubernetes запускають базу даних двома способами — helm/postgres, StatefulSet, для Velero, і helm/postgres-cloudnative-pg, CloudNativePG Cluster, для плагіна — і прив’язують відповідну реалізацію резервного копіювання для кожного. manifest-terraform.yaml і manifest-terraform-aws-backup.yaml зіставляють базу даних з однією й тією самою сутністю Recipe і відрізняються сутністю FeatureRecipe, яку прив’язують до core/backup, а сутності Releases, зібрані з них, відрізняються, окрім сутності Manifest, яку називає кожна, лише роллю.

Сутності Releases для Kubernetes також приєднують власну пару ключів бакета і файл облікових даних, яким Velero підписує свої запити, як приєднання core/referenced-secret, що називають об’єкти Secret, які вже є в кластері, тож жоден ключ не записується в жоден відрендерений файл. Кожне значення, специфічне для облікового запису, у сутностях Releases для AWS є заповнювачем.

Створення прикладу

Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.

Запишіть приклад у нову теку, названу за ним:

Terminal window
aggrega scaffold --example datastore-backup

Потім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:

Terminal window
cd datastore-backup

Збирання

Робочий простір читає каталог стандартної бібліотеки з реєстру hub, який називає .aggrega-config.yaml. Velero і плагін Barman Cloud встановлюються через власні чарти їхніх проєктів, тож двом сутностям Releases для Kubernetes потрібно, щоб репозиторії чартів цих проєктів були доступні зі збирання; кожна інша сутність Release рендериться лише з каталогу.

Terminal window
aggrega build --release release-helm-velero.yaml --auto-pull # one Release

У робочій копії репозиторію документації, яка містить спільний допоміжний скрипт збирання, якого немає в копії, записаній aggrega scaffold --example, ./check.sh збирає всі шість сутностей Releases і перевіряє кожен результат. Він виводить по одному рядку на кожну сутність Release і завершується з кодом 0, лише якщо кожна завершилася так, як описує ця сторінка:

RELEASE EXIT EXPECTED VERDICT
----------------------------------------------------------------------------------------------------
release-helm-velero.yaml 0 complete OK: completed, the backup the README shows
release-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README shows
release-terraform.yaml 0 complete OK: completed, the backup the README shows
release-cloudformation.yaml 0 complete OK: completed, the backup the README shows
release-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README shows
release-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.

З ШІ-асистентом

ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.

Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо в папці робочої області ще немає папки `datastore-backup`, один раз викличте інструмент `scaffold` зі значенням `example`, встановленим у `datastore-backup`, і без `dir`: він записує приклад у нову папку `datastore-backup`. Потім викличте інструмент `build` із `workspace_root`, встановленим у `datastore-backup`, `release`, встановленим у `release-helm-velero.yaml`, `auto_pull`, встановленим у true, і `write`, встановленим у true. Скажіть мені, які файли записала збірка; вони розташовані в `datastore-backup/dist/`.

Kubernetes із Velero

release-helm-velero.yaml записує StatefulSet і об’єкти Service бази даних, відповідні об’єкти бакета, об’єкти, які рендерить власний чарт Velero, і один файл для приєднання, що містить розташування сховища Velero і розклад:

dist/helm/db--backup--backup.yaml
apiVersion: velero.io/v1
kind: BackupStorageLocation
metadata:
[… omitted: the labels and annotations the build writes on every resource]
name: "orders-db-backup"
namespace: velero
spec:
provider: velero.io/aws
objectStorage:
bucket: "db-backups"
prefix: "orders-db-backup"
config:
region: "us-east-1"
s3Url: "http://backups-default.orders:8333"
s3ForcePathStyle: "true"
---
apiVersion: velero.io/v1
kind: Schedule
metadata:
[… omitted: the labels and annotations, as on the storage location]
name: "orders-db-backup"
namespace: velero
spec:
schedule: "30 2 * * *"
template:
includedNamespaces:
- "orders"
orLabelSelectors:
- matchLabels:
"app": "db"
storageLocation: "orders-db-backup"
ttl: "336h0m0s"
snapshotVolumes: false
defaultVolumesToFsBackup: true

Обидва розміщуються в просторі імен velero, єдиному, з якого Velero читає свої розклади, і названі за простором імен бази даних, її назвою та назвою приєднання, оскільки кожна сутність Release у кластері записує в цей один простір імен. Розклад вибирає поди бази даних за мітками StatefulSet, який рендерить база даних, у просторі імен, де її розміщено, а агент вузла Velero копіює файли їхніх томів до бакета. Адреса бакета — та, яку публікує компонент backups, з ім’ям Service, уточненим простором імен, у якому він працює, оскільки Velero працює в іншому; регіон теж належить бакету: SeaweedFS, який його тут обслуговує, жодного не читає і публікує us-east-1. 14 днів — це час життя (TTL) у Velero, виражений у годинах.

Kubernetes із CloudNativePG

release-helm-cloudnative-pg.yaml записує базу даних як CloudNativePG Cluster, а також бакет, об’єкти, які рендерить чарт плагіна, і файл приєднання, що містить сховище об’єктів плагіна і заплановане резервне копіювання, поруч із Cluster у його власному просторі імен:

dist/helm/db--backup--backup.yaml
apiVersion: barmancloud.cnpg.io/v1
kind: ObjectStore
metadata:
[… omitted: the labels and annotations the build writes on every resource]
name: "db-backup"
namespace: "orders"
spec:
configuration:
destinationPath: "s3://db-backups/orders/db-backup"
endpointURL: "http://backups-default.orders:8333"
s3Credentials:
accessKeyId:
name: "db-backup"
key: "ACCESS_KEY_ID"
secretAccessKey:
name: "db-backup"
key: "ACCESS_SECRET_KEY"
retentionPolicy: "14d"
instanceSidecarConfiguration:
env:
- name: "AWS_DEFAULT_REGION"
value: "us-east-1"
---
apiVersion: postgresql.cnpg.io/v1
kind: ScheduledBackup
metadata:
[… omitted: the labels and annotations, as on the object store]
name: "db-backup"
namespace: "orders"
spec:
schedule: "0 30 2 * * *"
cluster:
name: "db"
method: "plugin"
pluginConfiguration:
name: "barman-cloud.cloudnative-pg.io"

Розклад CloudNativePG має шість полів, перше з яких — секунди, тому 30 2 * * * із приєднання записується з 0 попереду. Плагін підписує свої запити парою ключів з об’єкта Secret, який називає сховище об’єктів, тут db-backup, за назвою самого сховища об’єктів, оскільки приєднання не задає infra.credentials_secret.

Власна сутність Recipe бази даних також читає приєднання і призначає плагін архіватором журналу попереднього запису (WAL) для Cluster:

dist/helm/db/cluster.yaml
[… omitted: apiVersion, kind and metadata]
spec:
[… omitted: the instance count, the image, the storage and the resources]
plugins:
- name: "barman-cloud.cloudnative-pg.io"
isWALArchiver: true
parameters:
barmanObjectName: "db-backup"
[… omitted: the bootstrap settings]

Отже, журнал безперервно архівується до бакета між щоденними базовими резервними копіями, і відновлення може досягти будь-якого моменту в межах 14 днів: це відновлення на момент часу CloudNativePG, яке ця реалізація залишає ввімкненим.

Terraform

release-terraform.yaml записує лише модуль бази даних. Реалізація приєднання, terraform/backup-native, не рендерить жодного файлу: резервне копіювання є налаштуванням екземпляра RDS, тому сутність Recipe бази даних читає приєднання і записує його там, де записується екземпляр:

dist/terraform/modules/db/main.tf
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments]
## ── Backup ───────────────────────────────────────────────
backup_retention_period = 14
backup_window = "02:30-03:00"
[… omitted: the subnet group and security groups, and the address output]

RDS приймає один щоденний час початку замість виразу cron, тому 30 2 * * * стає вікном резервного копіювання, яке відкривається о 02:30 UTC і триває 30 хвилин — найкоротше, що приймає RDS.

CloudFormation

release-cloudformation.yaml записує один шаблон стека, що містить екземпляр, із тими самими двома налаштуваннями під їхніми назвами властивостей CloudFormation:

dist/cloudformation/cloudformation-stack.json
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources]
"Db": {
[… omitted: the deletion policy and the provenance metadata]
"Properties": {
"AllocatedStorage": 10,
"BackupRetentionPeriod": 14,
"DBInstanceClass": "db.t3.small",
[… omitted: the database name, the subnet group, the engine and the credentials settings]
"MultiAZ": false,
"Port": 5432,
"PreferredBackupWindow": "02:30-03:00",
[… omitted: the storage type and the security groups]
},
"Type": "AWS::RDS::DBInstance"
}
[… omitted: the closing of the resources and of the template]

AWS Backup

release-terraform-aws-backup.yaml натомість збирається із сутності Manifest, що прив’язує terraform/backup-aws-backup. Ця реалізація записує власний модуль приєднання поруч із модулем бази даних, що містить сховище резервних копій (vault), план і вибірку, яка називає екземпляр:

dist/terraform/modules/db--backup/backup.tf
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]
resource "aws_backup_vault" "backup" {
name = "db-backup"
}
resource "aws_backup_plan" "backup" {
name = "db-backup"
rule {
rule_name = "db-backup"
target_vault_name = aws_backup_vault.backup.name
schedule = "cron(30 2 * * ? *)"
start_window = 60
lifecycle {
delete_after = 14
}
}
}
resource "aws_backup_selection" "backup" {
name = "db-backup"
plan_id = aws_backup_plan.backup.id
iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [
"arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db",
]
}

Розклад записується у власній формі cron AWS і читається в UTC, а резервне копіювання, яке не почалося протягом години від свого часу, не запускається. ARN екземпляра — це вираз Terraform, складений із того, на що налаштований AWS-провайдер під час планування, і назви екземпляра; роль — та, яку називає сутність Release, передана так, як її записано.

Екземпляр зберігає власні автоматичні резервні копії поряд із копіями AWS Backup, як і без приєднання: протягом 7 днів, у вікні, яке обирає RDS, оскільки розклад приєднання належить AWS Backup, а не екземпляру:

dist/terraform/modules/db/main.tf
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments]
## ── Backup ───────────────────────────────────────────────
backup_retention_period = 7
[… omitted: the subnet group and security groups, and the address output]

infra.keep_automated_backups: false у приєднанні вимикає їх і залишає копії AWS Backup єдиними резервними копіями екземпляра.

Чого збирання не робить

Збирання записує файли і зупиняється. Воно не виконує жодного резервного копіювання і не звертається до жодного кластера, бакета чи API AWS. Воно не визначає жодного ARN, облікового запису чи регіону: в AWS кожне з них є виразом або значенням, яке записала сутність Release і яке Terraform, CloudFormation або AWS читає під час застосування файлів. Воно також нічого не перевіряє в кластері:

  • Розклад Velero виконується лише там, де розгорнуто Velero, а резервні копії плагіна — лише там, де працюють плагін, оператор CloudNativePG (1.26 або новіший) і cert-manager. Цей робочий простір розгортає Velero і плагін; вважається, що оператор і cert-manager уже там є.
  • Об’єкти Secret, які називають сутності Releases для Kubernetes, має зберігати кластер, у просторі імен, з якого читається кожен: backup-store-access-key-id і backup-store-secret-access-key поруч із бакетом, velero-cloud-credentials у velero, що містить спільний файл облікових даних AWS, і db-backup поруч із базою даних, що містить пару ключів під ACCESS_KEY_ID і ACCESS_SECRET_KEY. Збирання не рендерить жодного з них.

Сутність Release, яка зупиняється

release-compose.yaml приєднує те саме резервне копіювання до бази даних у Docker Compose. Жодна сутність FeatureRecipe не реалізує там core/backup, тому manifest-compose.yaml нічого не прив’язує, а aggrega build --release release-compose.yaml --auto-pull зупиняється, називаючи приєднання, замість розгортати базу даних без резервного копіювання:

[… omitted: what resolving the lockfile prints, the same halt among it]
[OPS_ERROR E0099]
recipe resolution
caused by (1):
no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to it

Робочий простір не називає жодної теки каталогу, тож збірка має для пошуку лише сутності FeatureRecipes, закріплені в її lock-файлі, а сутність Manifest, яка не прив’язує жодної для core/backup, жодної й не закріплює; повідомлення каже саме це, а не стверджує, що хаб не містить жодної. Коли як теку каталогу вказано робочу копію каталогу стандартної бібліотеки, та сама зупинка повідомляє, що жодна сутність FeatureRecipe у каталозі не реалізує core/backup:1.0.0 для compose, і перелічує десять, які реалізують його для інших цілей: cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup і terraform/backup-native.

Каталог стандартної бібліотеки не містить сутності FeatureRecipe для core/backup на цій цілі. Кожна з них прив’язується до іншої цілі, тож, закріплена тут, вона відтворюється як окремий вихід поруч із файлом Compose — для цілі, на яку ця сутність Release не розгортає. Подальші шляхи — видалити приєднання із сутності Release, розгорнувши там базу даних без резервного копіювання, або розгорнути її через сутність Manifest для цілі, яка має продукт для резервного копіювання, як це роблять інші п’ять сутностей Releases.