Một kho dữ liệu được sao lưu trên mọi đích: một phần đính kèm core/backup
Một cơ sở dữ liệu PostgreSQL được sao lưu trên Kubernetes qua Velero và qua CloudNativePG, trên AWS qua các bản sao lưu tự động của chính Amazon RDS, trên Terraform và trên CloudFormation, và qua AWS Backup, từ một phần đính kèm core/backup mà người vận hành viết trong mỗi Release, cùng với việc từ chối trên một đích không có sản phẩm sao lưu.
core/backup cho biết một kho dữ liệu được sao lưu theo lịch và mỗi bản sao lưu được giữ trong một số ngày. Nó không nói gì về cách thực hiện: Manifest của mỗi đích liên kết FeatureRecipe hiện thực hóa nó ở đó, và mỗi FeatureRecipe viết bản sao lưu theo thuật ngữ của sản phẩm riêng — một lịch Velero, một bản sao lưu theo lịch của CloudNativePG, các thiết lập của một phiên bản RDS, một kế hoạch AWS Backup. Một đích không có sản phẩm nào để hiện thực hóa nó sẽ từ chối phần đính kèm và nêu tên nó, nên bản build dừng lại thay vì triển khai kho dữ liệu mà không có bản sao lưu được viết cho nó.
Không gian làm việc này build một Aggregate qua sáu Releases, mỗi Release đính kèm cùng một bản sao lưu: mỗi ngày lúc 02:30, mỗi bản sao lưu được giữ 14 ngày. Trang này cho thấy mỗi đích render gì cho nó trong năm Release hoàn tất, và trích dẫn những gì Release thứ sáu, vốn được dự kiến sẽ dừng, in ra.
Những gì ví dụ này xây dựng
| instance | Component trong catalog | nơi nó chạy |
|---|---|---|
db | core/datastore/postgres | mọi Release |
backups | core/storage/s3-object-store | hai Releases Kubernetes: bucket mà các bản sao lưu được ghi vào |
velero | core/storage/velero | Release Velero |
barman-cloud | core/storage/barman-cloud-plugin | Release CloudNativePG |
Aggregate khai báo cơ sở dữ liệu và những gì một bản sao lưu của nó cần trên Kubernetes: một bucket và hai bộ điều khiển sao lưu. Một bộ điều khiển sao lưu được cài đặt một lần cho mỗi cluster thay vì cùng với cơ sở dữ liệu, nên nó là một thành phần riêng; trên AWS, các bản sao lưu nằm trong bộ lưu trữ riêng của dịch vụ được quản lý, và không cần đến thành phần nào trong ba thành phần đó. Một tham số, backup_controller, bật tắt chúng thông qua công tắc active: của mỗi thành phần:
spec: parameters: [… omitted: the comment above the parameter] backup_controller: type: string default: none [… omitted: the parameter's description] components: [… omitted: the comment above each component] db: type: core/datastore/postgres
backups: type: core/storage/s3-object-store active: '{{ ne .parameters.backup_controller "none" }}' values: bucket: db-backups
velero: type: core/storage/velero active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud: type: core/storage/barman-cloud-plugin active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'Một thành phần có công tắc mang giá trị false sẽ bị loại bỏ trước khi bất cứ thứ gì được build, nên các Releases AWS và Docker Compose, vốn để tham số ở none, chỉ build cơ sở dữ liệu.
Phần đính kèm
Nhà phát triển không viết gì cho bản sao lưu: db không mang phần đính kèm nào trong Aggregate. Người vận hành đính kèm core/backup vào nó trong mỗi Release, dưới features của thành phần, và cho biết tại đó khi nào bản sao lưu chạy và mỗi bản được giữ bao lâu. Trên Kubernetes, phần đính kèm còn chỉ định nơi các bản sao lưu được ghi vào, thông qua kết nối store của nó tới bucket:
components: db: annotations: aggrega.ai/namespace: orders [… omitted: the comment above the attachment] features: backup: type: core/backup infra: schedule: "30 2 * * *" retention_days: 14 uses: store: bucket: target: backupsCác Releases AWS viết cùng phần đính kèm đó mà không có kết nối store, vì RDS và AWS Backup giữ các bản sao lưu trong bộ lưu trữ riêng của chúng, và các hiện thực hóa ở đó từ chối kết nối tới một bucket mà không gì ghi vào. Release AWS Backup thêm infra.role_arn, vai trò IAM mà AWS Backup dùng để chạy mỗi bản sao lưu.
Sáu Releases
| Release | Manifest | core/backup được hiện thực hóa bởi | bản build |
|---|---|---|---|
release-helm-velero.yaml | manifest-helm-velero.yaml | helm/backup-velero | hoàn tất |
release-helm-cloudnative-pg.yaml | manifest-helm-cloudnative-pg.yaml | helm/backup-cloudnative-pg | hoàn tất |
release-terraform.yaml | manifest-terraform.yaml | terraform/backup-native | hoàn tất |
release-cloudformation.yaml | manifest-cloudformation.yaml | cloudformation/backup-native | hoàn tất |
release-terraform-aws-backup.yaml | manifest-terraform-aws-backup.yaml | terraform/backup-aws-backup | hoàn tất |
release-compose.yaml | manifest-compose.yaml | không gì cả | dừng lại |
Manifest quyết định sản phẩm nào sao lưu cơ sở dữ liệu. Hai Manifests Kubernetes chạy cơ sở dữ liệu theo hai cách — helm/postgres, một StatefulSet, cho Velero, và helm/postgres-cloudnative-pg, một Cluster CloudNativePG, cho plugin — và liên kết hiện thực hóa sao lưu tương ứng cho mỗi cách. manifest-terraform.yaml và manifest-terraform-aws-backup.yaml ánh xạ cơ sở dữ liệu tới cùng một Recipe và khác nhau ở FeatureRecipe mà chúng liên kết với core/backup, còn các Releases được build từ chúng, ngoài Manifest mà mỗi Release chỉ định, chỉ khác nhau ở vai trò.
Các Releases Kubernetes cũng đính kèm cặp khóa riêng của bucket, và tệp thông tin xác thực mà Velero dùng để ký các yêu cầu của nó, dưới dạng các phần đính kèm core/referenced-secret chỉ định các Secret mà cluster đã có sẵn, nên không khóa nào được ghi vào bất kỳ tệp được render nào. Mọi giá trị riêng theo tài khoản trong các Releases AWS đều là giá trị giữ chỗ.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example datastore-backupSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd datastore-backupBuild
Không gian làm việc đọc catalog thư viện chuẩn từ registry hub mà .aggrega-config.yaml chỉ định. Velero và plugin Barman Cloud được cài đặt qua các chart riêng của dự án tương ứng, nên hai Releases Kubernetes cần các kho chart của những dự án đó có thể truy cập được từ bản build; mọi Release khác chỉ render từ catalog.
aggrega build --release release-helm-velero.yaml --auto-pull # one ReleaseTrong một bản checkout của kho tài liệu, nơi chứa script trợ giúp build dùng chung mà một bản sao do aggrega scaffold --example ghi ra không có, ./check.sh build cả sáu Releases và kiểm tra từng kết quả. Nó in một dòng cho mỗi Release và chỉ thoát với mã 0 khi mỗi Release kết thúc như trang này mô tả:
RELEASE EXIT EXPECTED VERDICT----------------------------------------------------------------------------------------------------release-helm-velero.yaml 0 complete OK: completed, the backup the README showsrelease-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README showsrelease-terraform.yaml 0 complete OK: completed, the backup the README showsrelease-cloudformation.yaml 0 complete OK: completed, the backup the README showsrelease-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README showsrelease-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.Với trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `datastore-backup`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `datastore-backup` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `datastore-backup` mới. Sau đó gọi công cụ `build` với `workspace_root` đặt thành `datastore-backup`, `release` đặt thành `release-helm-velero.yaml`, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết lần build đã ghi những tệp nào; chúng nằm trong `datastore-backup/dist/`.Kubernetes, với Velero
release-helm-velero.yaml ghi StatefulSet và các Service của cơ sở dữ liệu, các tài nguyên của bucket, các đối tượng mà chart riêng của Velero render, và một tệp cho phần đính kèm, chứa một vị trí lưu trữ Velero và một lịch:
apiVersion: velero.io/v1kind: BackupStorageLocationmetadata: [… omitted: the labels and annotations the build writes on every resource] name: "orders-db-backup" namespace: velerospec: provider: velero.io/aws objectStorage: bucket: "db-backups" prefix: "orders-db-backup" config: region: "us-east-1" s3Url: "http://backups-default.orders:8333" s3ForcePathStyle: "true"---apiVersion: velero.io/v1kind: Schedulemetadata: [… omitted: the labels and annotations, as on the storage location] name: "orders-db-backup" namespace: velerospec: schedule: "30 2 * * *" template: includedNamespaces: - "orders" orLabelSelectors: - matchLabels: "app": "db" storageLocation: "orders-db-backup" ttl: "336h0m0s" snapshotVolumes: false defaultVolumesToFsBackup: trueCả hai nằm trong namespace velero, namespace duy nhất mà Velero đọc lịch, và được đặt tên theo namespace của cơ sở dữ liệu, tên của nó và tên của phần đính kèm, vì mọi Release trên cluster đều ghi vào cùng một namespace đó. Lịch chọn các pod của cơ sở dữ liệu theo nhãn của StatefulSet mà cơ sở dữ liệu render, trong namespace mà nó được đặt, và node agent của Velero sao chép các tệp trong volume của chúng vào bucket. Địa chỉ của bucket là địa chỉ mà thành phần backups công bố, với tên Service được định danh đầy đủ bằng namespace nơi nó chạy, vì Velero chạy trong một namespace khác, và region cũng là của bucket: SeaweedFS, thứ chạy bucket ở đây, không đọc region nào và công bố us-east-1. 14 ngày là thời gian tồn tại (time to live) của Velero, tính bằng giờ.
Kubernetes, với CloudNativePG
release-helm-cloudnative-pg.yaml ghi cơ sở dữ liệu dưới dạng một Cluster CloudNativePG, cùng bucket, các đối tượng mà chart của plugin render, và tệp của phần đính kèm, chứa object store của plugin và một bản sao lưu theo lịch, bên cạnh Cluster trong namespace riêng của nó:
apiVersion: barmancloud.cnpg.io/v1kind: ObjectStoremetadata: [… omitted: the labels and annotations the build writes on every resource] name: "db-backup" namespace: "orders"spec: configuration: destinationPath: "s3://db-backups/orders/db-backup" endpointURL: "http://backups-default.orders:8333" s3Credentials: accessKeyId: name: "db-backup" key: "ACCESS_KEY_ID" secretAccessKey: name: "db-backup" key: "ACCESS_SECRET_KEY" retentionPolicy: "14d" instanceSidecarConfiguration: env: - name: "AWS_DEFAULT_REGION" value: "us-east-1"---apiVersion: postgresql.cnpg.io/v1kind: ScheduledBackupmetadata: [… omitted: the labels and annotations, as on the object store] name: "db-backup" namespace: "orders"spec: schedule: "0 30 2 * * *" cluster: name: "db" method: "plugin" pluginConfiguration: name: "barman-cloud.cloudnative-pg.io"Lịch CloudNativePG có sáu trường, trường đầu tiên dành cho giây, nên 30 2 * * * của phần đính kèm được viết với 0 đứng trước. Plugin ký các yêu cầu của nó bằng cặp khóa trong Secret mà object store chỉ định, ở đây là db-backup, theo tên của chính object store, vì phần đính kèm không đặt infra.credentials_secret.
Recipe riêng của cơ sở dữ liệu cũng đọc phần đính kèm, và chỉ định plugin làm trình lưu trữ write-ahead log của Cluster:
[… omitted: apiVersion, kind and metadata]spec: [… omitted: the instance count, the image, the storage and the resources] plugins: - name: "barman-cloud.cloudnative-pg.io" isWALArchiver: true parameters: barmanObjectName: "db-backup" [… omitted: the bootstrap settings]Vì vậy, log được lưu trữ vào bucket liên tục, giữa các bản sao lưu cơ sở hằng ngày, và một lần khôi phục có thể đạt tới bất kỳ thời điểm nào trong 14 ngày: đó là khả năng khôi phục tại thời điểm (point-in-time recovery) của CloudNativePG, mà hiện thực hóa này giữ ở trạng thái bật.
Terraform
release-terraform.yaml chỉ ghi module của cơ sở dữ liệu và không gì khác. Hiện thực hóa của phần đính kèm, terraform/backup-native, không render tệp nào: bản sao lưu là một thiết lập của phiên bản RDS, nên Recipe của cơ sở dữ liệu đọc phần đính kèm và ghi nó ở nơi phiên bản được ghi:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 14 backup_window = "02:30-03:00"[… omitted: the subnet group and security groups, and the address output]RDS nhận một thời điểm bắt đầu hằng ngày thay vì một biểu thức cron, nên 30 2 * * * trở thành một cửa sổ sao lưu mở lúc 02:30 UTC và kéo dài 30 phút, thời lượng ngắn nhất mà RDS chấp nhận.
CloudFormation
release-cloudformation.yaml ghi một mẫu stack chứa phiên bản, với cùng hai thiết lập dưới tên thuộc tính CloudFormation của chúng:
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources] "Db": { [… omitted: the deletion policy and the provenance metadata] "Properties": { "AllocatedStorage": 10, "BackupRetentionPeriod": 14, "DBInstanceClass": "db.t3.small", [… omitted: the database name, the subnet group, the engine and the credentials settings] "MultiAZ": false, "Port": 5432, "PreferredBackupWindow": "02:30-03:00", [… omitted: the storage type and the security groups] }, "Type": "AWS::RDS::DBInstance" }[… omitted: the closing of the resources and of the template]AWS Backup
release-terraform-aws-backup.yaml thay vào đó được build từ một Manifest liên kết terraform/backup-aws-backup. Hiện thực hóa này ghi một module riêng của phần đính kèm bên cạnh module của cơ sở dữ liệu, chứa một backup vault, một kế hoạch và một lựa chọn chỉ định phiên bản:
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]resource "aws_backup_vault" "backup" { name = "db-backup"}
resource "aws_backup_plan" "backup" { name = "db-backup"
rule { rule_name = "db-backup" target_vault_name = aws_backup_vault.backup.name schedule = "cron(30 2 * * ? *)" start_window = 60
lifecycle { delete_after = 14 } }}
resource "aws_backup_selection" "backup" { name = "db-backup" plan_id = aws_backup_plan.backup.id iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [ "arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db", ]}Lịch được viết theo dạng cron riêng của AWS, được đọc theo UTC, và một bản sao lưu chưa bắt đầu trong vòng một giờ kể từ thời điểm của nó sẽ không được bắt đầu. ARN của phiên bản là một biểu thức Terraform được ghép từ những gì nhà cung cấp AWS được cấu hình khi lập kế hoạch, và tên của phiên bản; vai trò là vai trò mà Release chỉ định, được truyền qua đúng như đã viết.
Phiên bản vẫn giữ các bản sao lưu tự động của riêng nó bên cạnh các bản của AWS Backup, như khi không có phần đính kèm: trong 7 ngày, trong một cửa sổ do RDS chọn, vì lịch của phần đính kèm là của AWS Backup chứ không phải của phiên bản:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 7[… omitted: the subnet group and security groups, and the address output]infra.keep_automated_backups: false trên phần đính kèm tắt các bản đó và để các bản của AWS Backup làm bản sao lưu duy nhất của phiên bản.
Những gì bản build không làm
Bản build ghi các tệp rồi dừng. Nó không chạy bản sao lưu nào và không truy cập cluster, bucket hay API AWS nào. Nó không phân giải ARN, tài khoản hay Region nào: trên AWS, mỗi thứ là một biểu thức hoặc một giá trị mà Release đã viết, được Terraform, CloudFormation hoặc AWS đọc khi các tệp được áp dụng. Nó cũng không kiểm tra gì trong cluster:
- Lịch của Velero chỉ chạy ở nơi Velero được triển khai, và các bản sao lưu của plugin chỉ chạy ở nơi plugin, operator CloudNativePG (1.26 trở lên) và cert-manager đang chạy. Không gian làm việc này triển khai Velero và plugin; operator và cert-manager được giả định là đã có sẵn.
- Các Secret mà các Releases Kubernetes chỉ định do cluster nắm giữ, trong namespace mà mỗi Secret được đọc:
backup-store-access-key-idvàbackup-store-secret-access-keybên cạnh bucket,velero-cloud-credentialstrongvelero, chứa một tệp thông tin xác thực dùng chung của AWS, vàdb-backupbên cạnh cơ sở dữ liệu, chứa cặp khóa dướiACCESS_KEY_IDvàACCESS_SECRET_KEY. Bản build không render cái nào trong số đó.
Release bị dừng
release-compose.yaml đính kèm cùng bản sao lưu đó vào cơ sở dữ liệu trên Docker Compose. Không có FeatureRecipe nào hiện thực hóa core/backup ở đó, nên manifest-compose.yaml không liên kết cái nào, và aggrega build --release release-compose.yaml --auto-pull dừng lại và nêu tên phần đính kèm thay vì triển khai một cơ sở dữ liệu không có bản sao lưu:
[… omitted: what resolving the lockfile prints, the same halt among it][OPS_ERROR E0099] recipe resolution caused by (1): no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to itWorkspace không chỉ định thư mục catalog nào, nên bản build chỉ có thể tìm trong các FeatureRecipes mà lockfile của nó ghim, và một Manifest không liên kết cái nào cho core/backup thì không ghim cái nào; thông báo nói rõ điều đó thay vì khẳng định rằng hub không có cái nào. Khi một bản checkout của catalog thư viện chuẩn được chỉ định làm thư mục catalog, cùng lần dừng đó cho biết không có FeatureRecipe nào trong catalog triển khai core/backup:1.0.0 cho compose, và liệt kê mười cái triển khai nó cho các đích khác: cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup và terraform/backup-native.
Catalog thư viện chuẩn không có FeatureRecipe nào cho core/backup trên đích này. Mỗi cái trong số đó đều liên kết với một đích khác, nên nếu được ghim ở đây, nó sẽ được kết xuất thành một đầu ra riêng bên cạnh tệp Compose, cho một đích mà Release này không triển khai tới. Các hướng đi tiếp theo là gỡ phần đính kèm khỏi Release, triển khai cơ sở dữ liệu ở đó mà không có bản sao lưu, hoặc triển khai nó qua một Manifest cho một đích có sản phẩm sao lưu, như năm Releases còn lại.