İçeriğe geç
AggregaAggrega
Dil seçin: Türkçe
Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce orijinalini okuyun.

Her hedefte yedeklenen bir veri deposu: tek bir core/backup eki

Kubernetes’te Velero ve CloudNativePG aracılığıyla, AWS’de Terraform ve CloudFormation üzerinde Amazon RDS’nin kendi otomatik yedeklemeleriyle ve AWS Backup aracılığıyla yedeklenen bir PostgreSQL veritabanı; hepsi operatörün her Release’e yazdığı tek bir core/backup ekinden gelir ve yedekleme ürünü olmayan bir hedefte reddedilir.

core/backup, bir veri deposunun bir zamanlamaya göre yedeklendiğini ve her yedeğin belirli sayıda gün saklandığını belirtir. Nasıl yapılacağı hakkında hiçbir şey söylemez: her hedefin Manifest’i, onu orada gerçekleştiren FeatureRecipe’i bağlar ve her biri yedeği kendi ürününün terimleriyle yazar — bir Velero zamanlaması, bir CloudNativePG zamanlanmış yedeği, bir RDS örneğinin ayarları, bir AWS Backup planı. Onu gerçekleştirecek bir ürünü olmayan hedef, eki adıyla belirterek reddeder; böylece derleme, veri deposunu onun için yazılmış yedek olmadan dağıtmak yerine durur.

Bu çalışma alanı tek bir Aggregate’i altı Releases üzerinden derler ve her biri aynı yedeği ekler: her gün 02:30’da, her yedek 14 gün saklanır. Sayfa, tamamlanan beşinde her hedefin bunun için ne oluşturduğunu gösterir ve durması beklenen altıncının ne yazdırdığını aktarır.

Ne oluşturur

örnekkatalog Component’içalıştığı yer
dbcore/datastore/postgresher Release
backupscore/storage/s3-object-storeiki Kubernetes Releases: yedeklerin gittiği kova
velerocore/storage/veleroVelero Release’i
barman-cloudcore/storage/barman-cloud-pluginCloudNativePG Release’i

Aggregate, veritabanını ve onun Kubernetes’te yedeklenmesi için gerekenleri bildirir: bir kova ve iki yedekleme denetleyicisi. Bir yedekleme denetleyicisi veritabanıyla birlikte değil, küme başına bir kez kurulur; bu nedenle kendi başına bir bileşendir. AWS’de yedekler yönetilen hizmetin kendi depolamasında kalır ve orada üçüne de gerek yoktur. Tek bir parametre, backup_controller, her bileşenin active: anahtarı aracılığıyla bunları açıp kapatır:

aggregate.yaml
spec:
parameters:
[… omitted: the comment above the parameter]
backup_controller:
type: string
default: none
[… omitted: the parameter's description]
components:
[… omitted: the comment above each component]
db:
type: core/datastore/postgres
backups:
type: core/storage/s3-object-store
active: '{{ ne .parameters.backup_controller "none" }}'
values:
bucket: db-backups
velero:
type: core/storage/velero
active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud:
type: core/storage/barman-cloud-plugin
active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'

Anahtarı false olan bir bileşen herhangi bir şey derlenmeden önce kaldırılır; bu nedenle parametreyi none olarak bırakan AWS ve Docker Compose Releases yalnızca veritabanını derler.

Ek

Geliştirici yedek için hiçbir şey yazmaz: db, Aggregate’te hiçbir ek taşımaz. Operatör, her Release’te bileşenin features alanı altında core/backup’ı ona ekler ve yedeğin ne zaman çalışacağını ve her birinin ne kadar süre saklanacağını orada belirtir. Kubernetes’te ek, kovaya olan store bağlantısı aracılığıyla yedeklerin nereye gideceğini de belirtir:

release-helm-velero.yaml
components:
db:
annotations:
aggrega.ai/namespace: orders
[… omitted: the comment above the attachment]
features:
backup:
type: core/backup
infra:
schedule: "30 2 * * *"
retention_days: 14
uses:
store:
bucket:
target: backups

AWS Releases aynı eki store bağlantısı olmadan yazar; çünkü RDS ve AWS Backup yedeklerini kendi depolamalarında tutar ve oradaki gerçekleştirmeler, hiçbir şeyin yazmayacağı bir kovaya bağlantıyı reddeder. AWS Backup Release’i, AWS Backup’ın her yedeği altında çalıştırdığı IAM rolü olan infra.role_arn’ı ekler.

Altı Releases

ReleaseManifestcore/backup’ı gerçekleştirenderleme
release-helm-velero.yamlmanifest-helm-velero.yamlhelm/backup-velerotamamlanır
release-helm-cloudnative-pg.yamlmanifest-helm-cloudnative-pg.yamlhelm/backup-cloudnative-pgtamamlanır
release-terraform.yamlmanifest-terraform.yamlterraform/backup-nativetamamlanır
release-cloudformation.yamlmanifest-cloudformation.yamlcloudformation/backup-nativetamamlanır
release-terraform-aws-backup.yamlmanifest-terraform-aws-backup.yamlterraform/backup-aws-backuptamamlanır
release-compose.yamlmanifest-compose.yamlhiçbir şeydurur

Veritabanını hangi ürünün yedekleyeceğine Manifest karar verir. İki Kubernetes Manifests, veritabanını iki şekilde çalıştırır — Velero için bir StatefulSet olan helm/postgres, eklenti için bir CloudNativePG Cluster olan helm/postgres-cloudnative-pg — ve her biri için yedeğin gerçekleştirmesini bağlar. manifest-terraform.yaml ve manifest-terraform-aws-backup.yaml veritabanını aynı Recipe’e eşler ve core/backup’a bağladıkları FeatureRecipe bakımından farklılaşır; bunlardan derlenen Releases ise her birinin belirttiği Manifest dışında yalnızca rol bakımından farklıdır.

Kubernetes Releases ayrıca kovanın kendi anahtar çiftini ve Velero’nun isteklerini imzaladığı kimlik bilgileri dosyasını, kümenin zaten tuttuğu Secret’ları belirten core/referenced-secret ekleri olarak ekler; böylece oluşturulan hiçbir dosyaya anahtar yazılmaz. AWS Releases’teki hesaba özgü her değer bir yer tutucudur.

Örneği oluşturun

Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.

Örneği, adını taşıyan yeni bir klasöre yazın:

Terminal window
aggrega scaffold --example datastore-backup

Ardından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:

Terminal window
cd datastore-backup

Derleme

Çalışma alanı, standart kütüphane kataloğunu .aggrega-config.yaml dosyasının adlandırdığı hub kayıt defterinden okur. Velero ve Barman Cloud eklentisi kendi projelerinin chart’larıyla kurulur; bu nedenle iki Kubernetes Releases, bu projelerin chart depolarına derlemeden erişilebilmesini gerektirir. Diğer her Release yalnızca katalogdan oluşturulur.

Terminal window
aggrega build --release release-helm-velero.yaml --auto-pull # one Release

Belgelendirme deposunun bir çalışma kopyasında — aggrega scaffold --example tarafından yazılan bir kopyanın içermediği ortak derleme yardımcı betiğini barındırır — ./check.sh altı Releases’in tümünü derler ve her sonucu denetler. Her Release için bir satır yazdırır ve yalnızca her biri bu sayfanın açıkladığı gibi sona erdiğinde 0 ile çıkar:

RELEASE EXIT EXPECTED VERDICT
----------------------------------------------------------------------------------------------------
release-helm-velero.yaml 0 complete OK: completed, the backup the README shows
release-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README shows
release-terraform.yaml 0 complete OK: completed, the backup the README shows
release-cloudformation.yaml 0 complete OK: completed, the backup the README shows
release-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README shows
release-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.

Bir yapay zekâ asistanıyla

Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.

Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz bir `datastore-backup` klasörü yoksa `scaffold` aracını `example` değeri `datastore-backup` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `datastore-backup` klasörüne yazar. Ardından `build` aracını `workspace_root` değeri `datastore-backup`, `release` değeri `release-helm-velero.yaml`, `auto_pull` değeri true ve `write` değeri true olacak şekilde çağırın. Derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `datastore-backup/dist/` altındadır.

Kubernetes, Velero ile

release-helm-velero.yaml, veritabanının StatefulSet’ini ve Service’lerini, kovanın kaynaklarını, Velero’nun kendi chart’ının oluşturduğu nesneleri ve ek için bir Velero depolama konumu ile bir zamanlama içeren tek bir dosya yazar:

dist/helm/db--backup--backup.yaml
apiVersion: velero.io/v1
kind: BackupStorageLocation
metadata:
[… omitted: the labels and annotations the build writes on every resource]
name: "orders-db-backup"
namespace: velero
spec:
provider: velero.io/aws
objectStorage:
bucket: "db-backups"
prefix: "orders-db-backup"
config:
region: "us-east-1"
s3Url: "http://backups-default.orders:8333"
s3ForcePathStyle: "true"
---
apiVersion: velero.io/v1
kind: Schedule
metadata:
[… omitted: the labels and annotations, as on the storage location]
name: "orders-db-backup"
namespace: velero
spec:
schedule: "30 2 * * *"
template:
includedNamespaces:
- "orders"
orLabelSelectors:
- matchLabels:
"app": "db"
storageLocation: "orders-db-backup"
ttl: "336h0m0s"
snapshotVolumes: false
defaultVolumesToFsBackup: true

İkisi de, Velero’nun zamanlamalarını okuduğu tek ad alanı olan velero ad alanında bulunur ve veritabanının ad alanı, adı ve ekin adı ile adlandırılır; çünkü kümedeki her Release o tek ad alanına yazar. Zamanlama, veritabanının pod’larını, veritabanının oluşturduğu StatefulSet’in etiketlerine göre, veritabanının yerleştirildiği ad alanında seçer ve Velero’nun düğüm aracısı bunların birimlerindeki dosyaları kovaya kopyalar. Kovanın adresi backups bileşeninin yayımladığı adrestir; Velero başka bir ad alanında çalıştığı için Service adı, çalıştığı ad alanıyla nitelenir. Bölge de kovanınkidir: burada onu çalıştıran SeaweedFS hiçbir bölge okumaz ve us-east-1 yayımlar. 14 gün, Velero’nun saat cinsinden yaşam süresidir.

Kubernetes, CloudNativePG ile

release-helm-cloudnative-pg.yaml, veritabanını bir CloudNativePG Cluster olarak yazar; ayrıca kovayı, eklentinin chart’ının oluşturduğu nesneleri ve eklentinin nesne deposu ile zamanlanmış bir yedeği içeren ek dosyasını, Cluster’ın yanında kendi ad alanında yazar:

dist/helm/db--backup--backup.yaml
apiVersion: barmancloud.cnpg.io/v1
kind: ObjectStore
metadata:
[… omitted: the labels and annotations the build writes on every resource]
name: "db-backup"
namespace: "orders"
spec:
configuration:
destinationPath: "s3://db-backups/orders/db-backup"
endpointURL: "http://backups-default.orders:8333"
s3Credentials:
accessKeyId:
name: "db-backup"
key: "ACCESS_KEY_ID"
secretAccessKey:
name: "db-backup"
key: "ACCESS_SECRET_KEY"
retentionPolicy: "14d"
instanceSidecarConfiguration:
env:
- name: "AWS_DEFAULT_REGION"
value: "us-east-1"
---
apiVersion: postgresql.cnpg.io/v1
kind: ScheduledBackup
metadata:
[… omitted: the labels and annotations, as on the object store]
name: "db-backup"
namespace: "orders"
spec:
schedule: "0 30 2 * * *"
cluster:
name: "db"
method: "plugin"
pluginConfiguration:
name: "barman-cloud.cloudnative-pg.io"

Bir CloudNativePG zamanlamasında altı alan vardır ve ilki saniyeler içindir; bu nedenle ekin 30 2 * * * değeri önüne 0 eklenerek yazılır. Ek infra.credentials_secret ayarlamadığından eklenti, isteklerini nesne deposunun belirttiği Secret’taki anahtar çiftiyle imzalar; burada bu, nesne deposunun kendisinden sonra adlandırılan db-backup’tır.

Veritabanının kendi Recipe’i de eki okur ve eklentiyi Cluster’ın önceden yazma günlüğü arşivleyicisi olarak belirtir:

dist/helm/db/cluster.yaml
[… omitted: apiVersion, kind and metadata]
spec:
[… omitted: the instance count, the image, the storage and the resources]
plugins:
- name: "barman-cloud.cloudnative-pg.io"
isWALArchiver: true
parameters:
barmanObjectName: "db-backup"
[… omitted: the bootstrap settings]

Böylece günlük, günlük temel yedeklerin arasında sürekli olarak kovaya arşivlenir ve bir geri yükleme 14 günün herhangi bir anına ulaşabilir: bu, CloudNativePG’nin bu gerçekleştirmenin açık tuttuğu belirli bir noktaya kurtarma özelliğidir.

Terraform

release-terraform.yaml yalnızca veritabanının modülünü yazar. Ekin gerçekleştirmesi olan terraform/backup-native hiçbir dosya oluşturmaz: yedek, RDS örneğinin bir ayarıdır; bu nedenle veritabanının Recipe’i eki okur ve onu örneğin yazıldığı yere yazar:

dist/terraform/modules/db/main.tf
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments]
## ── Backup ───────────────────────────────────────────────
backup_retention_period = 14
backup_window = "02:30-03:00"
[… omitted: the subnet group and security groups, and the address output]

RDS bir cron ifadesi yerine günlük tek bir başlangıç saati alır; bu nedenle 30 2 * * *, 02:30 UTC’de açılan ve RDS’nin kabul ettiği en kısa süre olan 30 dakika süren bir yedekleme penceresine dönüşür.

CloudFormation

release-cloudformation.yaml, örneği içeren tek bir yığın şablonu yazar; aynı iki ayar CloudFormation özellik adlarıyla yer alır:

dist/cloudformation/cloudformation-stack.json
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources]
"Db": {
[… omitted: the deletion policy and the provenance metadata]
"Properties": {
"AllocatedStorage": 10,
"BackupRetentionPeriod": 14,
"DBInstanceClass": "db.t3.small",
[… omitted: the database name, the subnet group, the engine and the credentials settings]
"MultiAZ": false,
"Port": 5432,
"PreferredBackupWindow": "02:30-03:00",
[… omitted: the storage type and the security groups]
},
"Type": "AWS::RDS::DBInstance"
}
[… omitted: the closing of the resources and of the template]

AWS Backup

release-terraform-aws-backup.yaml ise terraform/backup-aws-backup’ı bağlayan bir Manifest’ten derlenir. Bu gerçekleştirme, veritabanının modülünün yanına ekin kendi modülünü yazar; bu modül bir yedekleme kasası, bir plan ve örneği belirten bir seçim içerir:

dist/terraform/modules/db--backup/backup.tf
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]
resource "aws_backup_vault" "backup" {
name = "db-backup"
}
resource "aws_backup_plan" "backup" {
name = "db-backup"
rule {
rule_name = "db-backup"
target_vault_name = aws_backup_vault.backup.name
schedule = "cron(30 2 * * ? *)"
start_window = 60
lifecycle {
delete_after = 14
}
}
}
resource "aws_backup_selection" "backup" {
name = "db-backup"
plan_id = aws_backup_plan.backup.id
iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [
"arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db",
]
}

Zamanlama AWS’nin kendi cron biçiminde yazılır ve UTC olarak okunur; zamanından sonraki bir saat içinde başlamamış bir yedek başlatılmaz. Örneğin ARN’si, AWS sağlayıcısının planlama sırasında yapılandırıldığı değerlerden ve örneğin adından oluşturulan bir Terraform ifadesidir; rol, Release’in belirttiği roldür ve yazıldığı gibi aktarılır.

Örnek, ek olmadığında olduğu gibi, AWS Backup’ınkilerin yanında kendi otomatik yedeklerini de tutar: 7 gün boyunca, RDS’nin seçtiği bir pencerede; çünkü ekin zamanlaması örneğin değil AWS Backup’ındır:

dist/terraform/modules/db/main.tf
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments]
## ── Backup ───────────────────────────────────────────────
backup_retention_period = 7
[… omitted: the subnet group and security groups, and the address output]

Ek üzerinde infra.keep_automated_backups: false bunları kapatır ve AWS Backup’ınkileri örneğin tek yedekleri olarak bırakır.

Derlemenin yapmadıkları

Derleme dosyaları yazar ve durur. Hiçbir yedekleme çalıştırmaz ve hiçbir kümeye, kovaya veya AWS API’sine erişmez. Hiçbir ARN’yi, hesabı veya bölgeyi çözümlemez: AWS’de her biri bir ifade ya da Release’in yazdığı bir değerdir ve dosyalar uygulandığında Terraform, CloudFormation veya AWS tarafından okunur. Kümedeki hiçbir şeyi de denetlemez:

  • Velero’nun zamanlaması yalnızca Velero’nun dağıtıldığı yerde, eklentinin yedekleri ise yalnızca eklentinin, CloudNativePG operatörünün (1.26 veya üstü) ve cert-manager’ın çalıştığı yerde çalışır. Bu çalışma alanı Velero’yu ve eklentiyi dağıtır; operatörün ve cert-manager’ın zaten orada olduğu varsayılır.
  • Kubernetes Releases’in belirttiği Secret’ları, her birinin okunduğu ad alanında küme tutar: kovanın yanında backup-store-access-key-id ve backup-store-secret-access-key, velero içinde bir AWS paylaşılan kimlik bilgileri dosyası içeren velero-cloud-credentials ve veritabanının yanında anahtar çiftini ACCESS_KEY_ID ve ACCESS_SECRET_KEY altında tutan db-backup. Derleme bunların hiçbirini oluşturmaz.

Duran Release

release-compose.yaml, Docker Compose’da veritabanına aynı yedeği ekler. Orada core/backup’ı gerçekleştiren bir FeatureRecipe yoktur; bu nedenle manifest-compose.yaml hiçbirini bağlamaz ve aggrega build --release release-compose.yaml --auto-pull, yedeksiz bir veritabanı dağıtmak yerine eki adıyla belirterek durur:

[… omitted: what resolving the lockfile prints, the same halt among it]
[OPS_ERROR E0099]
recipe resolution
caused by (1):
no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to it

Çalışma alanı hiçbir katalog dizini adlandırmaz; bu nedenle derlemenin arayabileceği yalnızca lockfile’ının sabitlediği FeatureRecipes’tir ve core/backup için hiçbirini bağlamayan bir Manifest hiçbirini sabitlemez; ileti, hub’ın hiçbirini barındırmadığını iddia etmek yerine bunu belirtir. Standart kütüphane kataloğunun bir checkout’u katalog dizini olarak adlandırıldığında, aynı durdurma, katalogdaki hiçbir FeatureRecipe’in compose için core/backup:1.0.0 türünü uygulamadığını söyler ve onu başka hedefler için uygulayan on tanesini listeler: cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup ve terraform/backup-native.

Standart kütüphane kataloğu bu hedefte core/backup için hiçbir FeatureRecipe içermez. Bunların her biri başka bir hedefe bağlanır; bu nedenle burada sabitlendiğinde, bu Release’in dağıtım yapmadığı bir hedef için Compose dosyasının yanında kendi çıktısı olarak işlenir. İlerlemenin yolları, eki Release’ten kaldırıp veritabanını orada yedeksiz dağıtmak ya da diğer beş Releases’in yaptığı gibi, bir yedekleme ürünü olan bir hedef için bir Manifest aracılığıyla dağıtmaktır.