Kho đối tượng tương thích S3 — một component, hai đích, một cặp khóa bắt buộc
Ví dụ này biên dịch một kho đối tượng tương thích S3, component core/storage/s3-object-store, thành hai cách hiện thực tự lưu trữ của nó:
- Docker Compose cho phát triển cục bộ, qua
compose/s3-object-store, và - Recipe helm được tổng hợp
helm/s3-object-storetrên Kubernetes, không có chart bên ngoài.
Cả hai đều chạy SeaweedFS (Apache-2.0) từ image chrislusf/seaweedfs do dự án của nó công bố, dưới dạng một tiến trình máy chủ giữ một bucket, được tạo trước khi máy chủ bắt đầu phục vụ. Cùng component đó được các Recipes khác hiện thực trên Amazon S3 và trên Google Cloud Storage; bên tiêu thụ đọc cùng endpoint, bucket và region đã công bố, bất kể Manifest chọn cách hiện thực nào.
Hai slot khóa của component, access_key_id và secret_access_key, là tùy chọn, vì một dịch vụ được quản lý không nhận khóa từ một bucket. SeaweedFS nhận cặp khóa này làm tài khoản S3 riêng của máy chủ và không có giá trị mặc định cho nó, nên cả hai cách hiện thực của nó đều dừng lại khi một trong hai slot trống. aggregate.yaml không điền gì và cho thấy bản build dừng lại; hai Aggregates còn lại điền cả hai slot theo dạng mà mỗi đích cung cấp chúng: aggregate-auth.yaml cho con đường Compose (các thông tin xác thực inject-value được đưa ra dưới dạng biến môi trường), và aggregate-helm-synth-auth.yaml cho con đường helm được tổng hợp (các thông tin xác thực có thể tham chiếu được hiện thực hóa thành các Kubernetes Secret).
Các tệp
| Tệp | Vai trò |
|---|---|
aggregate.yaml | Ý định của nhà phát triển: một component store có kiểu core/storage/s3-object-store giữ bucket media, không gắn khóa nào — một bản build của nó dừng lại, nêu tên slot access_key_id còn trống. |
aggregate-auth.yaml | Cùng kho đó với cả hai khóa được gắn dưới dạng thông tin xác thực inject-value (con đường Compose). |
aggregate-helm-synth-auth.yaml | Cùng kho đó với cả hai khóa được gắn dưới dạng thông tin xác thực có thể tham chiếu cho con đường helm được tổng hợp — mỗi khóa được hiện thực hóa thành một Kubernetes Secret mà StatefulSet tham chiếu. |
manifest-compose.yaml | Ánh xạ kiểu kho tới Recipe Compose (compose/s3-object-store) và thông tin xác thực tới dotenv-secret. |
manifest-helm-synth.yaml | Ánh xạ kiểu kho tới Recipe helm được tổng hợp (helm/s3-object-store) và thông tin xác thực tới k8s-secret-from-parameter. |
release-compose.yaml / release-helm-synth.yaml | Các bản ghi của operator cho hai hiện thực của aggregate.yaml, vốn không gắn khóa nào, nên mỗi bản build đều dừng lại. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Các bản ghi của operator cho hai Aggregates điền cả hai slot. |
Ví dụ này minh họa điều gì
- Một component, nhiều cách hiện thực. Aggregate nêu tên bucket và không nói gì về máy chủ. Mỗi Manifest cho biết cách hiện thực kho, và một Manifest chọn thay vào đó một cách hiện thực được quản lý sẽ triển khai cùng Aggregate đó lên Amazon S3 hoặc Cloud Storage.
- Bucket đi kèm với kho.
values.bucketcủa nhà phát triển là bucket mà kho giữ và công bố. Một init container trên Kubernetes, và một init service trên Compose, tạo nó trước khi máy chủ bắt đầu phục vụ và giữ nguyên bucket đã tồn tại, nên bên tiêu thụ không bao giờ gặp một kho thiếu bucket của nó. Một tên bucket mà SeaweedFS không chấp nhận sẽ dừng bản build, nêu tên quy tắc. - Một máy chủ có trạng thái trên một volume. Trên Kubernetes, Recipe được tổng hợp kết xuất một StatefulSet một replica với một volume claim được mount tại
/data, một ClusterIP Service và headless Service mà StatefulSet nêu tên; trên Compose, service mount một named volume tại cùng đường dẫn đó và công bố cổng S3 trên máy chủ host. - Một cặp khóa bắt buộc không có giá trị mặc định. Khi có một tài khoản, SeaweedFS xác thực mọi yêu cầu S3, nên không khóa nào mà mọi người đọc catalog đều nắm giữ có thể thay thế cho nó. Mỗi Recipe dừng lại ở một slot trống trước khi bất cứ thứ gì được kết xuất, nêu tên slot và thứ cần gắn. Cặp khóa được gắn trở thành tài khoản của máy chủ, và khóa bí mật cũng là khóa ký filer của máy chủ, nên cổng gRPC bên cạnh cổng S3 cũng không nhận thay đổi chưa xác thực nào.
- Những gì bên tiêu thụ đọc. Kho công bố
bucket,endpoint(http://store-default:8333trên Kubernetes,http://store:8333trên Compose),host,port8333,protocols3vàregionus-east-1, region mà các client S3 đọc từ một máy chủ không báo region nào. Một bên tiêu thụ được nối với nó trỏ client S3 của mình tới endpoint và trình một cặp khóa trên kết nối riêng của nó.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example s3-object-storeSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd s3-object-storeBuild
Workspace này không có .aggrega-config.yaml, nên các thực thể thư viện chuẩn được phân giải từ registry hub, hub.aggrega.ai, và không cần cờ catalog; --auto-pull ghi trong lúc build lockfile mà một bản clone mới còn thiếu:
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullCác artifact được render nằm trong dist/.
Build aggregate.yaml, vốn không gắn khóa nào, sẽ dừng lại trên cả hai đích trước khi bất cứ thứ gì được kết xuất:
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml dừng lại ở cùng assertion đó, và biện pháp khắc phục của nó nêu dạng mà con đường Compose sử dụng: “attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}” (hãy gắn vào access_key_id một thông tin xác thực cung cấp AWS_ACCESS_KEY_ID, chẳng hạn core/secret-value với khóa AWS_ACCESS_KEY_ID và origin là một tham chiếu biến Compose như ${AWS_ACCESS_KEY_ID}). Cách sửa chính là bước mà hai Aggregates còn lại thực hiện: gắn một thông tin xác thực dưới mỗi features.access_key_id và features.secret_access_key trên component store.
Với trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ dùng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa có thư mục `s3-object-store`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `s3-object-store` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `s3-object-store` mới. Sau đó gọi công cụ `build` một lần cho mỗi Release, theo thứ tự này — `release-compose-auth.yaml` và `release-helm-synth-auth.yaml` — mỗi lần với `workspace_root` đặt thành `s3-object-store`, `release` đặt thành tệp đó, `auto_pull` đặt thành true và `write` đặt thành true. Tiếp theo, gọi công cụ `build` theo cùng cách với `release` đặt thành `release-helm-synth.yaml`: lần gọi này được dự kiến sẽ bị từ chối, vì vậy hãy đọc cho tôi nội dung từ chối. Hãy cho tôi biết hai lần build đầu tiên đã ghi những tệp nào; chúng nằm dưới `s3-object-store/dist/`.Ghi chú về việc cung cấp thông tin xác thực
Trên con đường Compose, mỗi khóa là một secret inject-value (aggregate-auth.yaml): giá trị của nó được truyền trên đường ống môi trường của component dưới biến mà values.key của nó nêu tên, AWS_ACCESS_KEY_ID hoặc AWS_SECRET_ACCESS_KEY, đó là các biến mà Recipe trao cho máy chủ, và một đính kèm truyền dưới bất kỳ tên nào khác sẽ dừng bản build, nêu tên slot. Mỗi origin là một tham chiếu biến Compose, nên tệp được kết xuất mang tham chiếu chứ không phải khóa:
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}Con đường helm được tổng hợp dùng các thông tin xác thực có thể tham chiếu (aggregate-helm-synth-auth.yaml): mỗi khóa được hiện thực hóa thành một Kubernetes Secret được đặt tên theo component và slot, và StatefulSet tham chiếu nó qua một env secretKeyRef, nên không khóa nào xuất hiện trong manifest của StatefulSet — chỉ có trong các Secret:
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyCác giá trị origin trong aggregate-helm-synth-auth.yaml là placeholder dành cho phát triển, được ghi nguyên trạng vào các Secret được phát ra. Với một Release mang lưu lượng thật, hãy thay vào đó ánh xạ core/referenced-secret tới k8s-existing-secret, với mỗi origin nêu tên một Secret đã tồn tại trong namespace và giữ khóa dưới key của đính kèm.
Chạy thử (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dAPI S3 trả lời tại http://localhost:8333 khi service bucket đã tạo media. Trỏ bất kỳ client S3 nào tới địa chỉ đó với cặp khóa đã xuất và region us-east-1. Gỡ bỏ bằng docker compose -f dist/app/compose/docker-compose.yaml down.