すべてのターゲットでバックアップされるデータストア: 1 つの core/backup アタッチメント
PostgreSQL データベースを、Kubernetes では Velero と CloudNativePG を通じて、AWS では Terraform と CloudFormation 上で Amazon RDS 自体の自動バックアップを通じて、さらに AWS Backup を通じてバックアップします。いずれも、オペレーターが各 Release に記述する 1 つの core/backup アタッチメントから行われ、バックアップ製品を持たないターゲットでは拒否されます。
core/backup は、データストアがスケジュールに従ってバックアップされ、各バックアップが指定された日数だけ保持されることを表します。どのように行うかについては何も述べません。各ターゲットの Manifest が、そのターゲットでそれを実現する FeatureRecipe をバインドし、それぞれが自身の製品の用語でバックアップを記述します。Velero のスケジュール、CloudNativePG のスケジュール済みバックアップ、RDS インスタンスの設定、AWS Backup のプランです。それを実現する製品がないターゲットはアタッチメントを名前で示して拒否するため、ビルドは、バックアップが記述されていないデータストアをデプロイするのではなく停止します。
このワークスペースは 1 つの Aggregate を 6 つの Releases を通じてビルドし、それぞれが同じバックアップをアタッチします。毎日 02:30 に実行され、各バックアップは 14 日間保持されます。このページでは、完了する 5 つで各ターゲットがそのために何をレンダリングするかを示し、停止することが想定されている 6 つ目が出力する内容を引用します。
構築されるもの
| インスタンス | カタログの Component | 実行場所 |
|---|---|---|
db | core/datastore/postgres | すべての Release |
backups | core/storage/s3-object-store | 2 つの Kubernetes の Releases: バックアップの保存先バケット |
velero | core/storage/velero | Velero の Release |
barman-cloud | core/storage/barman-cloud-plugin | CloudNativePG の Release |
Aggregate は、データベースと、Kubernetes 上でそのバックアップに必要なもの、つまりバケットと 2 つのバックアップコントローラーを宣言します。バックアップコントローラーはデータベースと一緒にではなくクラスターごとに 1 回インストールされるため、独立したコンポーネントになります。AWS ではバックアップはマネージドサービス自体のストレージに保持されるため、3 つのいずれも必要ありません。1 つのパラメーター backup_controller が、各コンポーネントの active: トグルを通じてこれらを切り替えます。
spec: parameters: [… omitted: the comment above the parameter] backup_controller: type: string default: none [… omitted: the parameter's description] components: [… omitted: the comment above each component] db: type: core/datastore/postgres
backups: type: core/storage/s3-object-store active: '{{ ne .parameters.backup_controller "none" }}' values: bucket: db-backups
velero: type: core/storage/velero active: '{{ eq .parameters.backup_controller "velero" }}'
barman-cloud: type: core/storage/barman-cloud-plugin active: '{{ eq .parameters.backup_controller "cloudnative-pg" }}'トグルが false のコンポーネントは何かがビルドされる前に削除されるため、パラメーターを none のままにする AWS と Docker Compose の Releases はデータベースだけをビルドします。
アタッチメント
開発者はバックアップのために何も記述しません。db は Aggregate 内でアタッチメントを持ちません。オペレーターが各 Release で、コンポーネントの features の下に core/backup をアタッチし、そこでバックアップの実行タイミングと各バックアップの保持期間を指定します。Kubernetes では、アタッチメントはバケットへの store 接続を通じて、バックアップの保存先も指定します。
components: db: annotations: aggrega.ai/namespace: orders [… omitted: the comment above the attachment] features: backup: type: core/backup infra: schedule: "30 2 * * *" retention_days: 14 uses: store: bucket: target: backupsAWS の Releases は同じアタッチメントを store 接続なしで記述します。RDS と AWS Backup はバックアップを独自のストレージに保持し、そこでの実現は、何も書き込まれないバケットへの接続を拒否するためです。AWS Backup の Release は infra.role_arn を追加します。これは AWS Backup が各バックアップを実行する際の IAM ロールです。
6 つの Releases
| Release | Manifest | core/backup を実現するもの | ビルド |
|---|---|---|---|
release-helm-velero.yaml | manifest-helm-velero.yaml | helm/backup-velero | 完了する |
release-helm-cloudnative-pg.yaml | manifest-helm-cloudnative-pg.yaml | helm/backup-cloudnative-pg | 完了する |
release-terraform.yaml | manifest-terraform.yaml | terraform/backup-native | 完了する |
release-cloudformation.yaml | manifest-cloudformation.yaml | cloudformation/backup-native | 完了する |
release-terraform-aws-backup.yaml | manifest-terraform-aws-backup.yaml | terraform/backup-aws-backup | 完了する |
release-compose.yaml | manifest-compose.yaml | 何も送信しない | 停止する |
どの製品がデータベースをバックアップするかは Manifest が決めます。2 つの Kubernetes の Manifests はデータベースを 2 通りの方法で実行し(Velero 用には StatefulSet である helm/postgres、プラグイン用には CloudNativePG Cluster である helm/postgres-cloudnative-pg)、それぞれに対してバックアップの実現をバインドします。manifest-terraform.yaml と manifest-terraform-aws-backup.yaml はデータベースを同じ Recipe にマッピングし、core/backup にバインドする FeatureRecipe だけが異なります。そこからビルドされる Releases は、それぞれが指定する Manifest のほかは、ロールだけが異なります。
Kubernetes の Releases は、バケット自体のキーペアと、Velero がリクエストに署名するための認証情報ファイルも、クラスターがすでに保持している Secrets を指す core/referenced-secret アタッチメントとしてアタッチします。そのため、どのレンダリング済みファイルにもキーは書き込まれません。AWS の Releases にあるアカウント固有の値はすべてプレースホルダーです。
サンプルを生成する
このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。
例の名前を付けた新しいフォルダーに例を書き出します。
aggrega scaffold --example datastore-backupその後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。
cd datastore-backupビルド
ワークスペースは、.aggrega-config.yaml が指定するハブレジストリから標準ライブラリカタログを読み込みます。Velero と Barman Cloud プラグインはそれぞれのプロジェクト独自のチャートでインストールされるため、2 つの Kubernetes の Releases では、ビルドからそれらのプロジェクトのチャートリポジトリに到達できる必要があります。その他の Release はカタログだけからレンダリングされます。
aggrega build --release release-helm-velero.yaml --auto-pull # one Releaseドキュメントリポジトリのチェックアウト(aggrega scaffold --example が書き出したコピーにはない共有ビルドヘルパーを含みます)では、./check.sh が 6 つの Releases をすべてビルドし、それぞれの結果を確認します。Release ごとに 1 行を出力し、それぞれがこのページの説明どおりに終了した場合にのみ 0 で終了します。
RELEASE EXIT EXPECTED VERDICT----------------------------------------------------------------------------------------------------release-helm-velero.yaml 0 complete OK: completed, the backup the README showsrelease-helm-cloudnative-pg.yaml 0 complete OK: completed, the backup the README showsrelease-terraform.yaml 0 complete OK: completed, the backup the README showsrelease-cloudformation.yaml 0 complete OK: completed, the backup the README showsrelease-terraform-aws-backup.yaml 0 complete OK: completed, the backup the README showsrelease-compose.yaml 1 halt OK: halted with the expected refusal
check: every build ended as expected.AI アシスタントを使う
Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。
Aggrega のツールだけを使い、フォルダーは自分で作成しないでください。ワークスペースフォルダーにまだ `datastore-backup` フォルダーがない場合は、`example` を `datastore-backup` に設定し、`dir` を指定せずに `scaffold` ツールを 1 回呼び出してください。これにより、例が新しい `datastore-backup` フォルダーに書き込まれます。次に、`workspace_root` を `datastore-backup`、`release` を `release-helm-velero.yaml`、`auto_pull` を true、`write` を true に設定して `build` ツールを呼び出してください。ビルドが書き込んだファイルを教えてください。ファイルは `datastore-backup/dist/` の下にあります。Kubernetes(Velero 使用)
release-helm-velero.yaml は、データベースの StatefulSet と Services、バケットのもの、Velero 自身のチャートがレンダリングするオブジェクト、そしてアタッチメント用の 1 つのファイルを書き出します。このファイルには Velero のストレージロケーションとスケジュールが含まれます。
apiVersion: velero.io/v1kind: BackupStorageLocationmetadata: [… omitted: the labels and annotations the build writes on every resource] name: "orders-db-backup" namespace: velerospec: provider: velero.io/aws objectStorage: bucket: "db-backups" prefix: "orders-db-backup" config: region: "us-east-1" s3Url: "http://backups-default.orders:8333" s3ForcePathStyle: "true"---apiVersion: velero.io/v1kind: Schedulemetadata: [… omitted: the labels and annotations, as on the storage location] name: "orders-db-backup" namespace: velerospec: schedule: "30 2 * * *" template: includedNamespaces: - "orders" orLabelSelectors: - matchLabels: "app": "db" storageLocation: "orders-db-backup" ttl: "336h0m0s" snapshotVolumes: false defaultVolumesToFsBackup: trueどちらも、Velero がスケジュールを読み込む唯一の名前空間である velero に置かれ、データベースの名前空間、その名前、アタッチメントの名前にちなんで命名されます。クラスター上のすべての Release がその 1 つの名前空間に書き込むためです。スケジュールは、データベースがレンダリングする StatefulSet のラベルによって、データベースが配置された名前空間内のデータベースの Pod を選択し、Velero のノードエージェントがそれらのボリュームのファイルをバケットにコピーします。バケットのアドレスは backups コンポーネントが公開するもので、その Service 名は実行されている名前空間で修飾されます。Velero は別の名前空間で実行されるためです。リージョンもバケットのものです。ここでバケットを実行する SeaweedFS はリージョンを読まず、us-east-1 を公開します。14 日は Velero の有効期間(time to live)として時間単位で表されます。
Kubernetes(CloudNativePG 使用)
release-helm-cloudnative-pg.yaml は、データベースを CloudNativePG Cluster として書き出し、さらにバケット、プラグインのチャートがレンダリングするオブジェクト、アタッチメントのファイルを書き出します。このファイルにはプラグインのオブジェクトストアとスケジュール済みバックアップが含まれ、Cluster と同じ独自の名前空間に置かれます。
apiVersion: barmancloud.cnpg.io/v1kind: ObjectStoremetadata: [… omitted: the labels and annotations the build writes on every resource] name: "db-backup" namespace: "orders"spec: configuration: destinationPath: "s3://db-backups/orders/db-backup" endpointURL: "http://backups-default.orders:8333" s3Credentials: accessKeyId: name: "db-backup" key: "ACCESS_KEY_ID" secretAccessKey: name: "db-backup" key: "ACCESS_SECRET_KEY" retentionPolicy: "14d" instanceSidecarConfiguration: env: - name: "AWS_DEFAULT_REGION" value: "us-east-1"---apiVersion: postgresql.cnpg.io/v1kind: ScheduledBackupmetadata: [… omitted: the labels and annotations, as on the object store] name: "db-backup" namespace: "orders"spec: schedule: "0 30 2 * * *" cluster: name: "db" method: "plugin" pluginConfiguration: name: "barman-cloud.cloudnative-pg.io"CloudNativePG のスケジュールには 6 つのフィールドがあり、最初のフィールドは秒です。そのため、アタッチメントの 30 2 * * * は前に 0 を付けて書かれます。アタッチメントが infra.credentials_secret を設定していないため、プラグインはオブジェクトストアが指定する Secret(ここではオブジェクトストア自体にちなんだ db-backup)のキーペアでリクエストに署名します。
データベース自身の Recipe もアタッチメントを読み込み、プラグインを Cluster の先行書き込みログのアーカイバーとして指定します。
[… omitted: apiVersion, kind and metadata]spec: [… omitted: the instance count, the image, the storage and the resources] plugins: - name: "barman-cloud.cloudnative-pg.io" isWALArchiver: true parameters: barmanObjectName: "db-backup" [… omitted: the bootstrap settings]そのため、ログは毎日のベースバックアップの合間にも継続的にバケットへアーカイブされ、リストアは 14 日間の任意の時点に到達できます。これは CloudNativePG のポイントインタイムリカバリであり、この実現はそれを有効のままにします。
Terraform
release-terraform.yaml はデータベースのモジュールだけを書き出します。アタッチメントの実現である terraform/backup-native はファイルをレンダリングしません。バックアップは RDS インスタンスの設定であるため、データベースの Recipe がアタッチメントを読み込み、インスタンスが書かれる場所にそれを書き込みます。
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 14 backup_window = "02:30-03:00"[… omitted: the subnet group and security groups, and the address output]RDS は cron 式ではなく 1 日 1 回の開始時刻を受け取るため、30 2 * * * は UTC 02:30 に開始して 30 分間続くバックアップウィンドウになります。これは RDS が受け付ける最短の長さです。
CloudFormation
release-cloudformation.yaml はインスタンスを含む 1 つのスタックテンプレートを書き出し、同じ 2 つの設定を CloudFormation のプロパティ名で記述します。
[… omitted: the template's format version, the outputs carrying what the database publishes, and the opening of its resources] "Db": { [… omitted: the deletion policy and the provenance metadata] "Properties": { "AllocatedStorage": 10, "BackupRetentionPeriod": 14, "DBInstanceClass": "db.t3.small", [… omitted: the database name, the subnet group, the engine and the credentials settings] "MultiAZ": false, "Port": 5432, "PreferredBackupWindow": "02:30-03:00", [… omitted: the storage type and the security groups] }, "Type": "AWS::RDS::DBInstance" }[… omitted: the closing of the resources and of the template]AWS Backup
release-terraform-aws-backup.yaml は、代わりに terraform/backup-aws-backup をバインドする Manifest からビルドされます。この実現は、データベースのモジュールの隣にアタッチメント独自のモジュールを書き出し、そこにバックアップボールト、プラン、インスタンスを指定する選択を含めます。
[… omitted: the provenance comment, the provider requirement, and the partition, Region and account lookups]resource "aws_backup_vault" "backup" { name = "db-backup"}
resource "aws_backup_plan" "backup" { name = "db-backup"
rule { rule_name = "db-backup" target_vault_name = aws_backup_vault.backup.name schedule = "cron(30 2 * * ? *)" start_window = 60
lifecycle { delete_after = 14 } }}
resource "aws_backup_selection" "backup" { name = "db-backup" plan_id = aws_backup_plan.backup.id iam_role_arn = "arn:aws:iam::123456789012:role/example-backup"
resources = [ "arn:${data.aws_partition.current.partition}:rds:${data.aws_region.current.region}:${data.aws_caller_identity.current.account_id}:db:db", ]}スケジュールは AWS 独自の cron 形式で書かれ、UTC で解釈されます。予定時刻から 1 時間以内に開始されなかったバックアップは開始されません。インスタンスの ARN は、AWS プロバイダーがプラン時に構成されている内容とインスタンスの名前から組み立てられる Terraform 式です。ロールは Release が指定するもので、書かれたとおりにそのまま渡されます。
インスタンスは、アタッチメントがない場合と同様に、AWS Backup のバックアップとは別に独自の自動バックアップを保持します。保持期間は 7 日間で、RDS が選択するウィンドウで実行されます。アタッチメントのスケジュールはインスタンスのものではなく AWS Backup のものだからです。
[… omitted: the provenance comment, the provider requirement, and the instance's engine, compute, storage, database and HA arguments] ## ── Backup ─────────────────────────────────────────────── backup_retention_period = 7[… omitted: the subnet group and security groups, and the address output]アタッチメントで infra.keep_automated_backups: false を指定するとそれらが無効になり、AWS Backup のバックアップがインスタンスの唯一のバックアップになります。
ビルドが行わないこと
ビルドはファイルを書き出して停止します。バックアップを実行することはなく、クラスター、バケット、AWS API のいずれにもアクセスしません。ARN、アカウント、リージョンも解決しません。AWS では、それぞれが式か Release が書いた値であり、ファイルの適用時に Terraform、CloudFormation、または AWS が読み取ります。クラスター内のものも何もチェックしません。
- Velero のスケジュールは Velero がデプロイされている場所でのみ実行され、プラグインのバックアップはプラグイン、CloudNativePG オペレーター(1.26 以降)、cert-manager が実行されている場所でのみ実行されます。このワークスペースは Velero とプラグインをデプロイします。オペレーターと cert-manager はすでに存在しているものとみなされます。
- Kubernetes の Releases が指定する Secrets は、それぞれが読み込まれる名前空間でクラスターが保持するものです。
backup-store-access-key-idとbackup-store-secret-access-keyはバケットの隣に、AWS 共有認証情報ファイルを保持するvelero-cloud-credentialsはveleroに、キーペアをACCESS_KEY_IDとACCESS_SECRET_KEYの下に保持するdb-backupはデータベースの隣に置かれます。ビルドはこれらのいずれもレンダリングしません。
停止する Release
release-compose.yaml は、Docker Compose 上のデータベースに同じバックアップをアタッチします。そこでは core/backup を実現する FeatureRecipe がないため、manifest-compose.yaml は何もバインドせず、aggrega build --release release-compose.yaml --auto-pull は、バックアップのないデータベースをデプロイするのではなく、アタッチメントを名前で示して停止します。
[… omitted: what resolving the lockfile prints, the same halt among it][OPS_ERROR E0099] recipe resolution caused by (1): no recipe resolved for component/feature instance: add an explicit Manifest mapping for its type: feature "backup" (type "core/backup"); no feature recipe the lockfile pins implements core/backup:1.0.0 for capability "compose", the capability its component's Recipe binds to; with no catalog directory, the feature recipes searched are only those the lockfile pins, not a registry's; pin one a registry publishes in the Manifest, where one for another capability renders as its own output beside the component's, or write one for "compose", then map the type to itこのワークスペースはカタログディレクトリを指定していないため、ビルドが検索できるのはロックファイルが固定する FeatureRecipes だけであり、core/backup に対して何もバインドしない Manifest は何も固定しません。メッセージは、ハブに何もないと主張するのではなく、そのことを述べます。標準ライブラリカタログのチェックアウトをカタログディレクトリとして指定すると、同じ停止で、カタログ内に compose 向けに core/backup:1.0.0 を実装する FeatureRecipe はないと示され、他のターゲット向けにそれを実装する 10 個が列挙されます:cloudformation/backup-aws-backup、cloudformation/backup-native、helm/backup-cloudnative-pg、helm/backup-k8up、helm/backup-kasten、helm/backup-kubestash、helm/backup-mariadb-operator、helm/backup-velero、terraform/backup-aws-backup、terraform/backup-native。
標準ライブラリカタログには、このターゲット向けの core/backup の FeatureRecipe がありません。それらはいずれも別のターゲットにバインドされるため、ここで固定すると、この Release がデプロイしないターゲット向けの独立した出力として、Compose ファイルの横にレンダリングされます。進め方としては、Release からアタッチメントを削除してバックアップなしでそこにデータベースをデプロイするか、他の 5 つの Releases のように、バックアップ製品を持つターゲット向けの Manifest を通じてデプロイするかのいずれかです。