Ein Datenspeicher, auf jedem Ziel gesichert: eine einzige Anbindung core/backup
Eine PostgreSQL-Datenbank, auf Kubernetes über Velero und über CloudNativePG gesichert und auf AWS über die eigenen automatischen Backups von Amazon RDS, auf Terraform und auf CloudFormation, sowie über AWS Backup, aus einer einzigen Anbindung core/backup, die der Operator in jedes Release schreibt, mit der Ablehnung auf einem Ziel, das kein Backup-Produkt hat.
core/backup sagt, dass ein Datenspeicher nach einem Zeitplan gesichert wird und dass jedes Backup eine Anzahl von Tagen aufbewahrt wird. Es sagt nichts darüber, wie: Das Manifest jedes Ziels bindet das FeatureRecipe, das es dort realisiert, und jedes schreibt das Backup in den Begriffen seines eigenen Produkts — ein Velero-Zeitplan, ein geplantes CloudNativePG-Backup, die Einstellungen einer RDS-Instanz, ein AWS-Backup-Plan. Ein Ziel ohne Produkt, das es realisiert, lehnt die Anbindung namentlich ab, sodass der Build abbricht, statt den Datenspeicher ohne das für ihn geschriebene Backup bereitzustellen.
Dieser Workspace baut ein Aggregate über sechs Releases, von denen jedes dasselbe Backup anbindet: jeden Tag um 02:30, jedes Backup 14 Tage lang aufbewahrt. Die Seite zeigt, was jedes Ziel in den fünf, die abschließen, dafür rendert, und zitiert, was das sechste ausgibt, das abbrechen soll.
Was es baut
| Instanz | Katalog-Component | wo sie läuft |
|---|---|---|
db | core/datastore/postgres | jedes Release |
backups | core/storage/s3-object-store | die beiden Kubernetes-Releases: der Bucket, in den die Backups gehen |
velero | core/storage/velero | das Velero-Release |
barman-cloud | core/storage/barman-cloud-plugin | das CloudNativePG-Release |
Das Aggregate deklariert die Datenbank und das, was ein Backup von ihr auf Kubernetes braucht: einen Bucket und die beiden Backup-Controller. Ein Backup-Controller wird einmal pro Cluster installiert statt mit der Datenbank, daher ist er eine eigene Komponente; auf AWS bleiben die Backups im eigenen Speicher des verwalteten Dienstes, und keiner der drei wird dort gebraucht. Ein Parameter, backup_controller, schaltet sie über den Schalter active: jeder Komponente:
spec: parameters: [… omitted: the comment above the parameter] backup_controller: type: string default: none [… omitted: the parameter's description] components: [… omitted: the comment above each component] db: type: core/datastore/postgres
backups: type: core/storage/s3-object-store active: '{{ ne .parameters.backup_controller "none" }}' values: bucket: db-backups
velero: type: core/storage/velero active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud: type: core/storage/barman-cloud-plugin active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'Eine Komponente, deren Schalter false lautet, wird entfernt, bevor irgendetwas gebaut wird, daher bauen die Releases für AWS und Docker Compose, die den Parameter auf none belassen, nur die Datenbank.
Die Anbindung
Der Entwickler schreibt nichts für das Backup: db trägt im Aggregate keine Anbindung. Der Operator bindet core/backup in jedem Release an sie an, unter den features der Komponente, und gibt dort an, wann das Backup läuft und wie lange jedes aufbewahrt wird. Auf Kubernetes nennt die Anbindung außerdem, wohin die Backups gehen, über ihre Verbindung store zum Bucket:
components: db: annotations: aggrega.ai/namespace: orders [… omitted: the comment above the attachment] features: backup: type: core/backup infra: schedule: "30 2 * * *" retention_days: 14 uses: store: bucket: target: backupsDie AWS-Releases schreiben dieselbe Anbindung ohne Verbindung store, weil RDS und AWS Backup ihre Backups in eigenem Speicher aufbewahren und die dortigen Realisierungen eine Verbindung zu einem Bucket zurückweisen, in den nichts schreiben würde. Das AWS-Backup-Release fügt infra.role_arn hinzu, die IAM-Rolle, unter der AWS Backup jedes Backup ausführt.
Die sechs Releases
| Release | Manifest | core/backup realisiert durch | der Build |
|---|---|---|---|
release-helm-velero.yaml | manifest-helm-velero.yaml | helm/backup-velero | schließt ab |
release-helm-cloudnative-pg.yaml | manifest-helm-cloudnative-pg.yaml | helm/backup-cloudnative-pg | schließt ab |
release-terraform.yaml | manifest-terraform.yaml | terraform/backup-native | schließt ab |
release-cloudformation.yaml | manifest-cloudformation.yaml | cloudformation/backup-native | schließt ab |
release-terraform-aws-backup.yaml | manifest-terraform-aws-backup.yaml | terraform/backup-aws-backup | schließt ab |
release-compose.yaml | manifest-compose.yaml | nichts | bricht ab |
Das Manifest entscheidet, welches Produkt die Datenbank sichert. Die beiden Kubernetes-Manifests betreiben die Datenbank auf zwei Arten — helm/postgres, ein StatefulSet, für Velero, und helm/postgres-cloudnative-pg, ein CloudNativePG-Cluster, für das Plugin — und binden für jede die Realisierung des Backups. manifest-terraform.yaml und manifest-terraform-aws-backup.yaml ordnen die Datenbank demselben Recipe zu und unterscheiden sich im FeatureRecipe, das sie an core/backup binden, und die daraus gebauten Releases unterscheiden sich, neben dem Manifest, das jedes nennt, allein in der Rolle.
Die Kubernetes-Releases binden außerdem das eigene Schlüsselpaar des Buckets und die Zugangsdatendatei, mit der Velero seine Anfragen signiert, als Anbindungen core/referenced-secret an, die Secrets nennen, die der Cluster bereits hält, sodass kein Schlüssel in eine gerenderte Datei geschrieben wird. Jeder kontospezifische Wert in den AWS-Releases ist ein Platzhalter.
Das Beispiel generieren
Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.
Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:
aggrega scaffold --example datastore-backupDanach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:
cd datastore-backupBuild
Der Workspace liest den Katalog der Standardbibliothek aus der Hub-Registry, die .aggrega-config.yaml nennt. Velero und das Barman-Cloud-Plugin werden über die eigenen Charts ihrer Projekte installiert, daher brauchen die beiden Kubernetes-Releases die Chart-Repositorys dieser Projekte vom Build aus erreichbar; jedes andere Release rendert allein aus dem Katalog.
aggrega build --release release-helm-velero.yaml --auto-pull # one ReleaseIn einem Checkout des Dokumentations-Repositorys, das das gemeinsame Build-Hilfsskript enthält, das eine von aggrega scaffold --example geschriebene Kopie nicht mitbringt, baut ./check.sh alle sechs Releases und prüft jedes Ergebnis. Es gibt eine Zeile pro Release aus und endet nur dann mit 0, wenn jedes so ausgegangen ist, wie diese Seite es beschreibt:
RELEASE EXIT EXPECTED VERDICT----------------------------------------------------------------------------------------------------release-helm-velero.yaml 0 complete OK: completed, the backup the README showsrelease-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README showsrelease-terraform.yaml 0 complete OK: completed, the backup the README showsrelease-cloudformation.yaml 0 complete OK: completed, the backup the README showsrelease-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README showsrelease-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.Mit einem KI-Assistenten
Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.
Verwenden Sie ausschließlich die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Arbeitsbereichsordner noch keinen Ordner `datastore-backup` enthält, rufen Sie das Tool `scaffold` einmal mit `example` auf `datastore-backup` gesetzt und ohne `dir` auf: Es schreibt das Beispiel in einen neuen Ordner `datastore-backup`. Rufen Sie dann das Tool `build` mit `workspace_root` auf `datastore-backup`, `release` auf `release-helm-velero.yaml`, `auto_pull` auf true und `write` auf true gesetzt auf. Nennen Sie mir die Dateien, die der Build geschrieben hat; sie liegen unter `datastore-backup/dist/`.Kubernetes, mit Velero
release-helm-velero.yaml schreibt das StatefulSet und die Services der Datenbank, die des Buckets, die Objekte, die das eigene Chart von Velero rendert, und eine Datei für die Anbindung, die einen Velero-Speicherort und einen Zeitplan enthält:
apiVersion: velero.io/v1kind: BackupStorageLocationmetadata: [… omitted: the labels and annotations the build writes on every resource] name: "orders-db-backup" namespace: velerospec: provider: velero.io/aws objectStorage: bucket: "db-backups" prefix: "orders-db-backup" config: region: "us-east-1" s3Url: "http://backups-default.orders:8333" s3ForcePathStyle: "true"---apiVersion: velero.io/v1kind: Schedulemetadata: [… omitted: the labels and annotations, as on the storage location] name: "orders-db-backup" namespace: velerospec: schedule: "30 2 * * *" template: includedNamespaces: - "orders" orLabelSelectors: - matchLabels: "app": "db" storageLocation: "orders-db-backup" ttl: "336h0m0s" snapshotVolumes: false defaultVolumesToFsBackup: trueBeide liegen im Namespace velero, dem einzigen, aus dem Velero seine Zeitpläne liest, und sind nach dem Namespace der Datenbank, ihrem Namen und dem der Anbindung benannt, da jedes Release auf dem Cluster in diesen einen Namespace schreibt. Der Zeitplan wählt die Pods der Datenbank über die Labels des StatefulSet aus, das die Datenbank rendert, in dem Namespace, in dem sie platziert ist, und der Node-Agent von Velero kopiert die Dateien ihrer Volumes in den Bucket. Die Adresse des Buckets ist die, die die Komponente backups veröffentlicht, mit ihrem Service-Namen, qualifiziert durch den Namespace, in dem sie läuft, weil Velero in einem anderen läuft, und auch die Region ist die des Buckets: SeaweedFS, das ihn hier betreibt, liest keine und veröffentlicht us-east-1. Die 14 Tage sind die Time-to-live von Velero, in Stunden.
Kubernetes, mit CloudNativePG
release-helm-cloudnative-pg.yaml schreibt die Datenbank als CloudNativePG-Cluster, den Bucket, die Objekte, die das Chart des Plugins rendert, und die Datei der Anbindung, die den Objektspeicher des Plugins und ein geplantes Backup enthält, neben dem Cluster in dessen eigenem Namespace:
apiVersion: barmancloud.cnpg.io/v1kind: ObjectStoremetadata: [… omitted: the labels and annotations the build writes on every resource] name: "db-backup" namespace: "orders"spec: configuration: destinationPath: "s3://db-backups/orders/db-backup" endpointURL: "http://backups-default.orders:8333" s3Credentials: accessKeyId: name: "db-backup" key: "ACCESS_KEY_ID" secretAccessKey: name: "db-backup" key: "ACCESS_SECRET_KEY" retentionPolicy: "14d" instanceSidecarConfiguration: env: - name: "AWS_DEFAULT_REGION" value: "us-east-1"---apiVersion: postgresql.cnpg.io/v1kind: ScheduledBackupmetadata: [… omitted: the labels and annotations, as on the object store] name: "db-backup" namespace: "orders"spec: schedule: "0 30 2 * * *" cluster: name: "db" method: "plugin" pluginConfiguration: name: "barman-cloud.cloudnative-pg.io"Ein CloudNativePG-Zeitplan hat sechs Felder, das erste für Sekunden, daher wird das 30 2 * * * der Anbindung mit vorangestelltem 0 geschrieben. Das Plugin signiert seine Anfragen mit dem Schlüsselpaar im Secret, das der Objektspeicher nennt, hier db-backup, nach dem Objektspeicher selbst benannt, da die Anbindung kein infra.credentials_secret setzt.
Auch das eigene Recipe der Datenbank liest die Anbindung und nennt das Plugin als Archivierer des Write-Ahead-Logs des Clusters:
[… omitted: apiVersion, kind and metadata]spec: [… omitted: the instance count, the image, the storage and the resources] plugins: - name: "barman-cloud.cloudnative-pg.io" isWALArchiver: true parameters: barmanObjectName: "db-backup" [… omitted: the bootstrap settings]So wird das Log fortlaufend in den Bucket archiviert, zwischen den täglichen Basis-Backups, und eine Wiederherstellung kann jeden Zeitpunkt der 14 Tage erreichen: die Point-in-Time-Recovery von CloudNativePG, die diese Realisierung eingeschaltet lässt.
Terraform
release-terraform.yaml schreibt das Modul der Datenbank und nichts anderes. Die Realisierung der Anbindung, terraform/backup-native, rendert keine Datei: Das Backup ist eine Einstellung der RDS-Instanz, daher liest das Recipe der Datenbank die Anbindung und schreibt sie dort, wo die Instanz geschrieben wird:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 14 backup_window = "02:30-03:00"[… omitted: the subnet group and security groups, and the address output]RDS nimmt eine einzige tägliche Startzeit statt eines Cron-Ausdrucks, daher wird 30 2 * * * zu einem Backup-Fenster, das um 02:30 UTC öffnet und 30 Minuten dauert, das kürzeste, das RDS annimmt.
CloudFormation
release-cloudformation.yaml schreibt eine einzige Stack-Vorlage, die die Instanz enthält, mit denselben beiden Einstellungen unter ihren CloudFormation-Eigenschaftsnamen:
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources] "Db": { [… omitted: the deletion policy and the provenance metadata] "Properties": { "AllocatedStorage": 10, "BackupRetentionPeriod": 14, "DBInstanceClass": "db.t3.small", [… omitted: the database name, the subnet group, the engine and the credentials settings] "MultiAZ": false, "Port": 5432, "PreferredBackupWindow": "02:30-03:00", [… omitted: the storage type and the security groups] }, "Type": "AWS::RDS::DBInstance" }[… omitted: the closing of the resources and of the template]AWS Backup
release-terraform-aws-backup.yaml wird stattdessen aus einem Manifest gebaut, das terraform/backup-aws-backup bindet. Diese Realisierung schreibt ein eigenes Modul der Anbindung neben das der Datenbank, das einen Backup-Vault, einen Plan und eine Auswahl enthält, die die Instanz nennt:
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]resource "aws_backup_vault" "backup" { name = "db-backup"}
resource "aws_backup_plan" "backup" { name = "db-backup"
rule { rule_name = "db-backup" target_vault_name = aws_backup_vault.backup.name schedule = "cron(30 2 * * ? *)" start_window = 60
lifecycle { delete_after = 14 } }}
resource "aws_backup_selection" "backup" { name = "db-backup" plan_id = aws_backup_plan.backup.id iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [ "arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db", ]}Der Zeitplan ist in der eigenen Cron-Form von AWS geschrieben, in UTC gelesen, und ein Backup, das nicht innerhalb einer Stunde nach seiner Zeit begonnen hat, wird nicht gestartet. Der ARN der Instanz ist ein Terraform-Ausdruck, zusammengesetzt aus dem, wofür der AWS-Provider beim Planen konfiguriert ist, und dem Namen der Instanz; die Rolle ist die, die das Release nennt, unverändert durchgereicht.
Die Instanz behält ihre eigenen automatischen Backups neben denen von AWS Backup, wie sie es ohne Anbindung tut: 7 Tage lang, in einem Fenster, das RDS wählt, da der Zeitplan der Anbindung der von AWS Backup ist und nicht der der Instanz:
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 7[… omitted: the subnet group and security groups, and the address output]infra.keep_automated_backups: false an der Anbindung schaltet diese ab und lässt die Backups von AWS Backup als einzige Backups der Instanz.
Was der Build nicht tut
Der Build schreibt Dateien und hört auf. Er führt kein Backup aus und erreicht keinen Cluster, keinen Bucket und keine AWS-API. Er löst keinen ARN, kein Konto und keine Region auf: Auf AWS ist jedes davon ein Ausdruck oder ein Wert, den das Release geschrieben hat und den Terraform, CloudFormation oder AWS liest, wenn die Dateien angewendet werden. Er prüft auch nichts im Cluster:
- Der Zeitplan von Velero läuft nur dort, wo Velero bereitgestellt ist, und die Backups des Plugins nur dort, wo das Plugin, der CloudNativePG-Operator (1.26 oder neuer) und cert-manager laufen. Dieser Workspace stellt Velero und das Plugin bereit; der Operator und cert-manager werden als bereits vorhanden vorausgesetzt.
- Die Secrets, die die Kubernetes-Releases nennen, hält der Cluster, jeweils in dem Namespace, aus dem es gelesen wird:
backup-store-access-key-idundbackup-store-secret-access-keyneben dem Bucket,velero-cloud-credentialsinvelero, das eine gemeinsame AWS-Zugangsdatendatei enthält, unddb-backupneben der Datenbank, das das Schlüsselpaar unterACCESS_KEY_IDundACCESS_SECRET_KEYenthält. Der Build rendert keines davon.
Das Release, das abbricht
release-compose.yaml bindet dasselbe Backup an die Datenbank auf Docker Compose an. Dort realisiert kein FeatureRecipe core/backup, daher bindet manifest-compose.yaml keines, und aggrega build --release release-compose.yaml --auto-pull bricht ab und nennt die Anbindung, statt eine Datenbank ohne Backup bereitzustellen:
[… omitted: what resolving the lockfile prints, the same halt among it][OPS_ERROR E0099] recipe resolution caused by (1): no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to itDer Workspace nennt kein Katalogverzeichnis, sodass der Build nur die FeatureRecipes durchsuchen kann, die sein Lockfile pinnt, und ein Manifest, das für core/backup keines bindet, pinnt keines; die Meldung sagt das, statt zu behaupten, der Hub enthalte keines. Ist ein Checkout des Katalogs der Standardbibliothek als Katalogverzeichnis angegeben, sagt derselbe Abbruch, dass kein FeatureRecipe im Katalog core/backup:1.0.0 für compose implementiert, und führt die zehn auf, die es für andere Ziele implementieren: cloudformation/backup-aws-backup, cloudformation/backup-native, helm/backup-cloudnative-pg, helm/backup-k8up, helm/backup-kasten, helm/backup-kubestash, helm/backup-mariadb-operator, helm/backup-velero, terraform/backup-aws-backup und terraform/backup-native.
Der Katalog der Standardbibliothek enthält kein FeatureRecipe für core/backup auf diesem Ziel. Jedes davon bindet an ein anderes Ziel, sodass es, hier gepinnt, als eigene Ausgabe neben der Compose-Datei gerendert wird, für ein Ziel, auf das dieses Release nicht bereitstellt. Die Wege nach vorn sind, die Anbindung aus dem Release zu entfernen und die Datenbank dort ohne Backup bereitzustellen, oder sie über ein Manifest für ein Ziel bereitzustellen, das ein Backup-Produkt hat, wie es die anderen fünf Releases tun.