Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Penyimpanan data yang dicadangkan di setiap target: satu lampiran core/backup

Sebuah basis data PostgreSQL yang dicadangkan di Kubernetes melalui Velero dan melalui CloudNativePG, dan di AWS melalui pencadangan otomatis milik Amazon RDS sendiri, di Terraform dan di CloudFormation, serta melalui AWS Backup, dari satu lampiran core/backup yang ditulis operator di setiap Release, beserta penolakan pada target yang tidak memiliki produk pencadangan.

core/backup menyatakan bahwa sebuah penyimpanan data dicadangkan sesuai jadwal dan bahwa setiap cadangan disimpan selama sejumlah hari. Lampiran ini tidak menyatakan apa pun tentang caranya: Manifest setiap target mengikat FeatureRecipe yang mewujudkannya di sana, dan masing-masing menulis pencadangan dalam istilah produknya sendiri — jadwal Velero, pencadangan terjadwal CloudNativePG, pengaturan instans RDS, rencana AWS Backup. Target yang tidak memiliki produk untuk mewujudkannya menolak lampiran tersebut dengan menyebut namanya, sehingga build berhenti alih-alih men-deploy penyimpanan data tanpa pencadangan yang ditulis untuknya.

Workspace ini mem-build satu Aggregate melalui enam Releases, masing-masing melampirkan pencadangan yang sama: setiap hari pukul 02:30, setiap cadangan disimpan selama 14 hari. Halaman ini menunjukkan apa yang dirender setiap target untuknya pada lima yang selesai, dan mengutip apa yang dicetak oleh yang keenam, yang memang diharapkan berhenti.

Apa yang dibangunnya

instansComponent katalogtempat berjalannya
dbcore/datastore/postgressetiap Release
backupscore/storage/s3-object-storedua Releases Kubernetes: bucket tujuan cadangan
velerocore/storage/veleroRelease Velero
barman-cloudcore/storage/barman-cloud-pluginRelease CloudNativePG

Aggregate mendeklarasikan basis data dan apa yang dibutuhkan pencadangannya di Kubernetes: sebuah bucket dan dua pengontrol pencadangan. Pengontrol pencadangan dipasang sekali per kluster, bukan bersama basis data, sehingga merupakan komponen tersendiri; di AWS, cadangan tetap berada di penyimpanan milik layanan terkelola itu sendiri, dan ketiganya tidak diperlukan di sana. Satu parameter, backup_controller, mengaktifkan atau menonaktifkannya melalui sakelar active: setiap komponen:

aggregate.yaml
spec:
parameters:
[… omitted: the comment above the parameter]
backup_controller:
type: string
default: none
[… omitted: the parameter's description]
components:
[… omitted: the comment above each component]
db:
type: core/datastore/postgres
backups:
type: core/storage/s3-object-store
active: '{{ ne .parameters.backup_controller "none" }}'
values:
bucket: db-backups
velero:
type: core/storage/velero
active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud:
type: core/storage/barman-cloud-plugin
active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'

Komponen yang sakelarnya bernilai false dihapus sebelum apa pun di-build, sehingga Releases AWS dan Docker Compose, yang membiarkan parameter bernilai none, hanya mem-build basis data.

Lampiran

Pengembang tidak menulis apa pun untuk pencadangan: db tidak membawa lampiran apa pun di Aggregate. Operator melampirkan core/backup padanya di setiap Release, di bawah features milik komponen, dan menyatakan di sana kapan pencadangan berjalan dan berapa lama setiap cadangan disimpan. Di Kubernetes, lampiran ini juga menyebutkan ke mana cadangan disimpan, melalui koneksi store-nya ke bucket:

release-helm-velero.yaml
components:
db:
annotations:
aggrega.ai/namespace: orders
[… omitted: the comment above the attachment]
features:
backup:
type: core/backup
infra:
schedule: "30 2 * * *"
retention_days: 14
uses:
store:
bucket:
target: backups

Releases AWS menulis lampiran yang sama tanpa koneksi store, karena RDS dan AWS Backup menyimpan cadangannya di penyimpanan milik mereka sendiri, dan realisasi di sana menolak koneksi ke bucket yang tidak akan ditulisi apa pun. Release AWS Backup menambahkan infra.role_arn, peran IAM yang digunakan AWS Backup untuk menjalankan setiap pencadangan.

Enam Releases

ReleaseManifestcore/backup diwujudkan olehbuild
release-helm-velero.yamlmanifest-helm-velero.yamlhelm/backup-veleroselesai
release-helm-cloudnative-pg.yamlmanifest-helm-cloudnative-pg.yamlhelm/backup-cloudnative-pgselesai
release-terraform.yamlmanifest-terraform.yamlterraform/backup-nativeselesai
release-cloudformation.yamlmanifest-cloudformation.yamlcloudformation/backup-nativeselesai
release-terraform-aws-backup.yamlmanifest-terraform-aws-backup.yamlterraform/backup-aws-backupselesai
release-compose.yamlmanifest-compose.yamltidak adadihentikan

Manifest menentukan produk mana yang mencadangkan basis data. Kedua Manifests Kubernetes menjalankan basis data dengan dua cara — helm/postgres, sebuah StatefulSet, untuk Velero, dan helm/postgres-cloudnative-pg, sebuah Cluster CloudNativePG, untuk plugin — dan mengikat realisasi pencadangan untuk masing-masing. manifest-terraform.yaml dan manifest-terraform-aws-backup.yaml memetakan basis data ke Recipe yang sama dan berbeda pada FeatureRecipe yang mereka ikat ke core/backup, dan Releases yang di-build darinya berbeda, selain Manifest yang disebut masing-masing, hanya pada perannya.

Releases Kubernetes juga melampirkan pasangan kunci milik bucket, dan file kredensial yang digunakan Velero untuk menandatangani permintaannya, sebagai lampiran core/referenced-secret yang menyebut Secret yang sudah ada di kluster, sehingga tidak ada kunci yang ditulis ke file hasil render mana pun. Setiap nilai khusus akun di Releases AWS adalah placeholder.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example datastore-backup

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd datastore-backup

Build

Workspace membaca katalog pustaka standar dari registry hub yang disebut .aggrega-config.yaml. Velero dan plugin Barman Cloud dipasang melalui chart milik proyek masing-masing, sehingga kedua Releases Kubernetes memerlukan repositori chart proyek-proyek tersebut dapat dijangkau dari build; setiap Release lainnya dirender dari katalog saja.

Terminal window
aggrega build --release release-helm-velero.yaml --auto-pull # one Release

Di checkout repositori dokumentasi, yang memuat skrip pembantu build bersama yang tidak disertakan oleh salinan yang ditulis aggrega scaffold --example, ./check.sh mem-build keenam Releases dan memeriksa setiap hasilnya. Skrip ini mencetak satu baris per Release dan keluar dengan 0 hanya jika masing-masing berakhir seperti yang dijelaskan halaman ini:

RELEASE EXIT EXPECTED VERDICT
----------------------------------------------------------------------------------------------------
release-helm-velero.yaml 0 complete OK: completed, the backup the README shows
release-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README shows
release-terraform.yaml 0 complete OK: completed, the backup the README shows
release-cloudformation.yaml 0 complete OK: completed, the backup the README shows
release-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README shows
release-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `datastore-backup`, panggil alat `scaffold` sekali dengan `example` diatur ke `datastore-backup` dan tanpa `dir`: alat ini menulis contoh ke dalam folder `datastore-backup` yang baru. Lalu panggil alat `build` dengan `workspace_root` diatur ke `datastore-backup`, `release` diatur ke `release-helm-velero.yaml`, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana yang ditulis oleh build; file tersebut berada di bawah `datastore-backup/dist/`.

Kubernetes, dengan Velero

release-helm-velero.yaml menulis StatefulSet dan Service basis data, sumber daya milik bucket, objek yang dirender oleh chart Velero sendiri, dan satu file untuk lampiran, yang berisi lokasi penyimpanan Velero dan sebuah jadwal:

dist/helm/db--backup--backup.yaml
apiVersion: velero.io/v1
kind: BackupStorageLocation
metadata:
[… omitted: the labels and annotations the build writes on every resource]
name: "orders-db-backup"
namespace: velero
spec:
provider: velero.io/aws
objectStorage:
bucket: "db-backups"
prefix: "orders-db-backup"
config:
region: "us-east-1"
s3Url: "http://backups-default.orders:8333"
s3ForcePathStyle: "true"
---
apiVersion: velero.io/v1
kind: Schedule
metadata:
[… omitted: the labels and annotations, as on the storage location]
name: "orders-db-backup"
namespace: velero
spec:
schedule: "30 2 * * *"
template:
includedNamespaces:
- "orders"
orLabelSelectors:
- matchLabels:
"app": "db"
storageLocation: "orders-db-backup"
ttl: "336h0m0s"
snapshotVolumes: false
defaultVolumesToFsBackup: true

Keduanya berada di namespace velero, satu-satunya namespace tempat Velero membaca jadwalnya, dan diberi nama berdasarkan namespace basis data, namanya, dan nama lampiran, karena setiap Release di kluster menulis ke satu namespace itu. Jadwal memilih pod basis data berdasarkan label StatefulSet yang dirender basis data, di namespace tempat basis data ditempatkan, dan agen node Velero menyalin file volumenya ke bucket. Alamat bucket adalah alamat yang dipublikasikan oleh komponen backups, dengan nama Service-nya dikualifikasi oleh namespace tempatnya berjalan, karena Velero berjalan di namespace lain, dan region-nya juga milik bucket: SeaweedFS, yang menjalankannya di sini, tidak membaca region apa pun dan memublikasikan us-east-1. 14 hari tersebut adalah time to live Velero, dalam jam.

Kubernetes, dengan CloudNativePG

release-helm-cloudnative-pg.yaml menulis basis data sebagai Cluster CloudNativePG, bucket, objek yang dirender oleh chart plugin, dan file lampiran, yang berisi object store plugin dan sebuah pencadangan terjadwal, di samping Cluster dalam namespace-nya sendiri:

dist/helm/db--backup--backup.yaml
apiVersion: barmancloud.cnpg.io/v1
kind: ObjectStore
metadata:
[… omitted: the labels and annotations the build writes on every resource]
name: "db-backup"
namespace: "orders"
spec:
configuration:
destinationPath: "s3://db-backups/orders/db-backup"
endpointURL: "http://backups-default.orders:8333"
s3Credentials:
accessKeyId:
name: "db-backup"
key: "ACCESS_KEY_ID"
secretAccessKey:
name: "db-backup"
key: "ACCESS_SECRET_KEY"
retentionPolicy: "14d"
instanceSidecarConfiguration:
env:
- name: "AWS_DEFAULT_REGION"
value: "us-east-1"
---
apiVersion: postgresql.cnpg.io/v1
kind: ScheduledBackup
metadata:
[… omitted: the labels and annotations, as on the object store]
name: "db-backup"
namespace: "orders"
spec:
schedule: "0 30 2 * * *"
cluster:
name: "db"
method: "plugin"
pluginConfiguration:
name: "barman-cloud.cloudnative-pg.io"

Jadwal CloudNativePG memiliki enam field, yang pertama untuk detik, sehingga 30 2 * * * milik lampiran ditulis dengan 0 di depannya. Plugin menandatangani permintaannya dengan pasangan kunci di Secret yang disebut object store, di sini db-backup, menurut nama object store itu sendiri, karena lampiran tidak menetapkan infra.credentials_secret.

Recipe milik basis data sendiri juga membaca lampiran tersebut, dan menetapkan plugin sebagai pengarsip write-ahead log Cluster:

dist/helm/db/cluster.yaml
[… omitted: apiVersion, kind and metadata]
spec:
[… omitted: the instance count, the image, the storage and the resources]
plugins:
- name: "barman-cloud.cloudnative-pg.io"
isWALArchiver: true
parameters:
barmanObjectName: "db-backup"
[… omitted: the bootstrap settings]

Jadi log diarsipkan ke bucket secara terus-menerus, di antara cadangan dasar harian, dan pemulihan dapat mencapai momen mana pun dalam 14 hari tersebut: point-in-time recovery CloudNativePG, yang tetap diaktifkan oleh realisasi ini.

Terraform

release-terraform.yaml hanya menulis modul basis data. Realisasi lampiran, terraform/backup-native, tidak merender file apa pun: pencadangan adalah pengaturan instans RDS, sehingga Recipe basis data membaca lampiran dan menuliskannya di tempat instans ditulis:

dist/terraform/modules/db/main.tf
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments]
## ── Backup ───────────────────────────────────────────────
backup_retention_period = 14
backup_window = "02:30-03:00"
[… omitted: the subnet group and security groups, and the address output]

RDS menerima satu waktu mulai harian alih-alih ekspresi cron, sehingga 30 2 * * * menjadi jendela pencadangan yang dibuka pukul 02:30 UTC dan berlangsung 30 menit, durasi terpendek yang diterima RDS.

CloudFormation

release-cloudformation.yaml menulis satu templat stack yang berisi instans, dengan dua pengaturan yang sama di bawah nama properti CloudFormation-nya:

dist/cloudformation/cloudformation-stack.json
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources]
"Db": {
[… omitted: the deletion policy and the provenance metadata]
"Properties": {
"AllocatedStorage": 10,
"BackupRetentionPeriod": 14,
"DBInstanceClass": "db.t3.small",
[… omitted: the database name, the subnet group, the engine and the credentials settings]
"MultiAZ": false,
"Port": 5432,
"PreferredBackupWindow": "02:30-03:00",
[… omitted: the storage type and the security groups]
},
"Type": "AWS::RDS::DBInstance"
}
[… omitted: the closing of the resources and of the template]

AWS Backup

release-terraform-aws-backup.yaml di-build dari Manifest yang sebagai gantinya mengikat terraform/backup-aws-backup. Realisasi ini menulis modul milik lampiran sendiri di samping modul basis data, yang berisi backup vault, sebuah rencana, dan sebuah seleksi yang menyebut instans tersebut:

dist/terraform/modules/db--backup/backup.tf
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]
resource "aws_backup_vault" "backup" {
name = "db-backup"
}
resource "aws_backup_plan" "backup" {
name = "db-backup"
rule {
rule_name = "db-backup"
target_vault_name = aws_backup_vault.backup.name
schedule = "cron(30 2 * * ? *)"
start_window = 60
lifecycle {
delete_after = 14
}
}
}
resource "aws_backup_selection" "backup" {
name = "db-backup"
plan_id = aws_backup_plan.backup.id
iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [
"arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db",
]
}

Jadwal ditulis dalam bentuk cron milik AWS sendiri, dibaca dalam UTC, dan cadangan yang belum dimulai dalam satu jam dari waktunya tidak dimulai. ARN instans adalah ekspresi Terraform yang disusun dari konfigurasi penyedia AWS saat melakukan plan, dan nama instans; peran adalah peran yang disebut Release, diteruskan apa adanya.

Instans tetap menyimpan cadangan otomatisnya sendiri di samping cadangan AWS Backup, seperti halnya tanpa lampiran: selama 7 hari, dalam jendela yang dipilih RDS, karena jadwal lampiran adalah milik AWS Backup, bukan milik instans:

dist/terraform/modules/db/main.tf
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments]
## ── Backup ───────────────────────────────────────────────
backup_retention_period = 7
[… omitted: the subnet group and security groups, and the address output]

infra.keep_automated_backups: false pada lampiran menonaktifkannya dan menjadikan cadangan AWS Backup sebagai satu-satunya cadangan instans.

Yang tidak dilakukan build

Build menulis file lalu berhenti. Build tidak menjalankan pencadangan dan tidak menjangkau kluster, bucket, maupun API AWS apa pun. Build tidak me-resolve ARN, akun, atau Region apa pun: di AWS, masing-masing adalah ekspresi atau nilai yang ditulis Release, yang dibaca oleh Terraform, CloudFormation, atau AWS saat file diterapkan. Build juga tidak memeriksa apa pun di kluster:

  • Jadwal Velero hanya berjalan di tempat Velero di-deploy, dan cadangan plugin hanya di tempat plugin, operator CloudNativePG (1.26 atau lebih baru), dan cert-manager berjalan. Workspace ini men-deploy Velero dan plugin; operator dan cert-manager diasumsikan sudah ada.
  • Secret yang disebut oleh Releases Kubernetes adalah tanggung jawab kluster untuk menyimpannya, di namespace tempat masing-masing dibaca: backup-store-access-key-id dan backup-store-secret-access-key di samping bucket, velero-cloud-credentials di velero, yang berisi file kredensial bersama AWS, dan db-backup di samping basis data, yang berisi pasangan kunci di bawah ACCESS_KEY_ID dan ACCESS_SECRET_KEY. Build tidak merender satu pun di antaranya.

Release yang berhenti

release-compose.yaml melampirkan pencadangan yang sama ke basis data di Docker Compose. Tidak ada FeatureRecipe yang mewujudkan core/backup di sana, sehingga manifest-compose.yaml tidak mengikat apa pun, dan aggrega build --release release-compose.yaml --auto-pull berhenti dengan menyebut lampiran tersebut alih-alih men-deploy basis data tanpa cadangan:

[… omitted: what resolving the lockfile prints, the same halt among it]
[OPS_ERROR E0099]
recipe resolution
caused by (1):
no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to it

Workspace ini tidak menyebut direktori katalog apa pun, sehingga build hanya dapat mencari di antara FeatureRecipes yang disematkan lockfile-nya, dan Manifest yang tidak mengikat satu pun untuk core/backup tidak menyematkan satu pun; pesan menyatakan hal itu alih-alih mengklaim bahwa hub tidak memiliki satu pun. Dengan checkout katalog pustaka standar yang disebut sebagai direktori katalog, penghentian yang sama menyatakan bahwa tidak ada FeatureRecipe di katalog yang mengimplementasikan core/backup:1.0.0 untuk compose, dan mencantumkan sepuluh yang mengimplementasikannya untuk target lain: cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup, dan terraform/backup-native.

Katalog pustaka standar tidak memiliki FeatureRecipe untuk core/backup pada target ini. Masing-masing di antaranya terikat ke target lain, sehingga jika disematkan di sini, ia dirender sebagai output tersendiri di samping file Compose, untuk target yang tidak menjadi tujuan deploy Release ini. Pilihan selanjutnya adalah menghapus lampiran dari Release, sehingga basis data di-deploy di sana tanpa cadangan, atau men-deploy-nya melalui Manifest untuk target yang memiliki produk pencadangan, seperti yang dilakukan lima Releases lainnya.