コンテンツにスキップ
AggregaAggrega
言語の選択: 日本語
このページは機械翻訳されています。英語の原文を読む。

S3 互換オブジェクトストア — 1 つのコンポーネント、2 つのターゲット、必須のキーペア

この例では、S3 互換オブジェクトストアである core/storage/s3-object-store コンポーネントを、その 2 つのセルフホストの実現形態にコンパイルします:

  • ローカル開発向けの Docker Compose(compose/s3-object-store を使用)、および
  • Kubernetes 上の合成 helm Recipe helm/s3-object-store(外部チャートなし)。

どちらも、プロジェクトが公開する chrislusf/seaweedfs イメージから SeaweedFS(Apache-2.0)を、1 つのバケットを保持する 1 つのサーバープロセスとして実行します。バケットはサーバーがサービスを開始する前に作成されます。同じコンポーネントは、他の Recipes によって Amazon S3 や Google Cloud Storage 上でも実現されます。Manifest がどの実現形態を選んでも、コンシューマーは同じ公開済みのエンドポイント、バケット、リージョンを読み取ります。

コンポーネントの 2 つのキースロット access_key_id と secret_access_key は任意です。マネージドサービスはバケットからキーを受け取らないためです。SeaweedFS はこのペアをサーバー自身の S3 アカウントとして受け取り、デフォルト値を持たないため、どちらかのスロットが空であれば 2 つの実現形態はどちらも停止します。aggregate.yaml は何も埋めず、ビルドが停止する様子を示します。残りの 2 つの Aggregates は、各ターゲットが受け渡す形式で両方のスロットを埋めます。Compose 経路向けの aggregate-auth.yaml(環境変数として公開される inject-value 資格情報)と、合成 helm 経路向けの aggregate-helm-synth-auth.yaml(Kubernetes Secret として具現化される参照可能な資格情報)です。

ファイル

ファイル役割
aggregate.yaml開発者の意図:型 core/storage/s3-object-store の store コンポーネントを 1 つ定義し、バケット media を保持させ、キーは付与しません。このビルドは空の access_key_id スロットを示して停止します。
aggregate-auth.yaml同じストアに、両方のキーを inject-value 資格情報として付与したもの(Compose の経路)。
aggregate-helm-synth-auth.yaml同じストアに、合成 helm 経路向けに両方のキーを参照可能な資格情報として付与したもの。各キーは StatefulSet が参照する Kubernetes Secret として具現化されます。
manifest-compose.yamlストアの型を Compose Recipe(compose/s3-object-store)に、資格情報を dotenv-secret にマッピングします。
manifest-helm-synth.yamlストアの型を合成 helm Recipe(helm/s3-object-store)に、資格情報を k8s-secret-from-parameter にマッピングします。
release-compose.yaml / release-helm-synth.yamlキーを付与しない aggregate.yaml の 2 つの実現形態に対するオペレーターのレコード。いずれのビルドも停止します。
release-compose-auth.yaml / release-helm-synth-auth.yaml両方のスロットを埋める 2 つの Aggregates に対するオペレーターのレコード。

示す内容

  • 1 つのコンポーネント、多くの実現形態。 Aggregate はバケットを指定し、サーバーについては何も指定しません。各 Manifest はストアをどのように実現するかを示し、代わりにマネージドの実現形態を選ぶ Manifest は、同じ Aggregate を Amazon S3 や Cloud Storage にデプロイします。
  • バケットはストアとともに用意されます。 開発者の values.bucket は、ストアが保持して公開するバケットです。Kubernetes では init コンテナが、Compose では init サービスが、サーバーがサービスを開始する前にバケットを作成し、既存のバケットはそのまま残します。そのため、コンシューマーがバケットのないストアに出会うことはありません。SeaweedFS が受け付けないバケット名は、そのルールを示してビルドを停止させます。
  • 1 つのボリューム上のステートフルサーバー。 Kubernetes では合成 Recipe が、/data にボリュームクレームをマウントした 1 レプリカの StatefulSet、ClusterIP Service、そして StatefulSet が指定する headless Service をレンダリングします。Compose ではサービスが同じパスに名前付きボリュームをマウントし、S3 ポートをホスト上に公開します。
  • デフォルトのない必須のキーペア。 アカウントが存在すると SeaweedFS はすべての S3 リクエストを認証するため、カタログの読者全員が持つキーで代用することはできません。各 Recipe は、何かがレンダリングされる前に空のスロットで停止し、そのスロットと何をアタッチすべきかを示します。アタッチされたペアはサーバーのアカウントになり、シークレットキーはサーバーの filer 署名キーも兼ねるため、S3 ポートの隣にある gRPC ポートも認証されていない変更を受け付けません。
  • コンシューマーが読み取るもの。 ストアは bucket、endpoint(Kubernetes では http://store-default:8333、Compose では http://store:8333)、host、port 8333、protocol s3、region us-east-1 を公開します。このリージョンは、リージョンを報告しないサーバーから S3 クライアントが読み取るものです。これに接続されたコンシューマーは、S3 クライアントをそのエンドポイントに向け、自身の接続でキーペアを提示します。

サンプルを生成する

このサンプルは以下のコマンドでビルドできます。または、AI アシスタントにビルドを任せることもできます。

例の名前を付けた新しいフォルダーに例を書き出します。

Terminal window
aggrega scaffold --example s3-object-store

その後、次に実行するコマンドを表示します。最初のコマンドは新しいフォルダーに移動します。

Terminal window
cd s3-object-store

ビルド

このワークスペースには .aggrega-config.yaml がないため、標準ライブラリのエンティティはハブレジストリ hub.aggrega.ai から解決され、カタログフラグは不要です。--auto-pull は、新しいクローンに欠けているロックファイルをビルド中に書き込みます。

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)
aggrega build --release release-helm-synth-auth.yaml --auto-pull

レンダリングされた成果物は dist/ 配下に出力されます。

キーを付与しない aggregate.yaml をビルドすると、どちらのターゲットでも何かがレンダリングされる前に停止します:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull
[… omitted: the pull's lines, which report the same halt, and a lint notice]
[CATALOG_ERROR E0033]
Recipe/FeatureRecipe assertions
caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_id

release-compose.yaml も同じアサーションで停止し、その対処方法は Compose 経路が取る形式を示しています。「attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}」(AWS_ACCESS_KEY_ID を受け渡す資格情報を access_key_id にアタッチしてください。たとえば、キーが AWS_ACCESS_KEY_ID で、origin が ${AWS_ACCESS_KEY_ID} のような Compose 変数参照である core/secret-value です)。修正方法は、残りの 2 つの Aggregates が取る手順です。store コンポーネントの features.access_key_id と features.secret_access_key のそれぞれに資格情報をアタッチします。

AI アシスタントを使う

Aggrega のツールでセットアップした AI アシスタントでも同じことができます。次のプロンプトを貼り付けてください。

Aggrega のツールのみを使用し、フォルダーは自分で作成しないでください。ワークスペースフォルダーにまだ `s3-object-store` フォルダーがない場合は、`example` を `s3-object-store` に設定し、`dir` を指定せずに `scaffold` ツールを 1 回呼び出してください。これにより、新しい `s3-object-store` フォルダーに例が書き込まれます。次に、Release ごとに 1 回ずつ、`release-compose-auth.yaml`、`release-helm-synth-auth.yaml` の順で `build` ツールを呼び出してください。毎回 `workspace_root` を `s3-object-store`、`release` をそのファイル、`auto_pull` を true、`write` を true に設定します。続いて、`release` を `release-helm-synth.yaml` に設定して同じ方法で `build` ツールを呼び出してください。この呼び出しは拒否されることになっているので、その拒否内容を読み上げてください。最初の 2 回のビルドが書き込んだファイルを教えてください。ファイルは `s3-object-store/dist/` の下にあります。

資格情報の受け渡しに関する注記

Compose 経路では、各キーは inject-value シークレットです(aggregate-auth.yaml)。その値はコンポーネントの環境パイプで、values.key が指定する変数 AWS_ACCESS_KEY_ID または AWS_SECRET_ACCESS_KEY として受け渡されます。これらは Recipe がサーバーに渡す変数であり、他の名前で受け渡すアタッチメントはスロットを示してビルドを停止させます。各 origin は Compose 変数参照であるため、レンダリングされたファイルにはキーではなく参照が含まれます:

environment:
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}

合成 helm 経路は参照可能な資格情報(aggregate-helm-synth-auth.yaml)を使用します。各キーはコンポーネントとスロットにちなんで名付けられた Kubernetes Secret として具現化され、StatefulSet は env の secretKeyRef を通じてそれを参照します。そのため、どちらのキーも StatefulSet マニフェストには現れず、Secret の中にのみ存在します:

env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: store-access-key-id
key: access-key-id
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key
- name: WEED_JWT_FILER_SIGNING_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key

aggregate-helm-synth-auth.yaml の origin の値は開発用のプレースホルダーで、出力される Secret にそのまま書き込まれます。実トラフィックを扱う Release では、代わりに core/referenced-secret を k8s-existing-secret にマッピングし、各 origin には、名前空間に既に存在し、アタッチメントの key の下にキーを保持している Secret を指定します。

実行する(Compose)

Terminal window
aggrega build --release release-compose-auth.yaml --auto-pull
export S3_ACCESS_KEY_ID=<an access key identifier of your choosing>
export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>
docker compose -f dist/app/compose/docker-compose.yaml up -d

バケットサービスが media を作成すると、S3 API は http://localhost:8333 で応答します。エクスポートしたキーペアとリージョン us-east-1 を使って、任意の S3 クライアントをそのアドレスに向けます。終了するには docker compose -f dist/app/compose/docker-compose.yaml down を実行します。