Magazyn obiektów zgodny z S3 — jeden komponent, dwa cele, wymagana para kluczy
Ten przykład kompiluje jeden magazyn obiektów zgodny z S3, komponent core/storage/s3-object-store, do jego dwóch samodzielnie hostowanych realizacji:
- Docker Compose do lokalnego programowania, przez
compose/s3-object-store, oraz - syntetyzowany Recipe helm
helm/s3-object-storena Kubernetes, bez zewnętrznego chartu.
Obie uruchamiają SeaweedFS (Apache-2.0) z obrazu chrislusf/seaweedfs publikowanego przez jego projekt jako jeden proces serwera z jednym bucketem, tworzonym, zanim serwer zacznie obsługiwać żądania. Ten sam komponent jest realizowany w Amazon S3 i w Google Cloud Storage przez inne encje Recipes; konsument odczytuje ten sam opublikowany punkt końcowy, bucket i region, niezależnie od tego, którą realizację wybierze Manifest.
Dwa sloty kluczy komponentu, access_key_id i secret_access_key, są opcjonalne, ponieważ usługa zarządzana nie pobiera klucza od bucketu. SeaweedFS przyjmuje tę parę jako własne konto S3 serwera i nie ma dla niej wartości domyślnej, więc obie jego realizacje zatrzymują się, gdy którykolwiek slot jest pusty. aggregate.yaml niczego nie wypełnia i pokazuje zatrzymanie kompilacji; dwie pozostałe encje Aggregates wypełniają oba sloty w formie, w jakiej dostarcza je każdy cel: aggregate-auth.yaml dla ścieżki Compose (poświadczenia typu inject-value udostępniane jako zmienne środowiskowe) oraz aggregate-helm-synth-auth.yaml dla syntetyzowanej ścieżki helm (poświadczenia referencyjne materializowane jako obiekty Secret Kubernetes).
Pliki
| Plik | Rola |
|---|---|
aggregate.yaml | Intencja dewelopera: jeden komponent store typu core/storage/s3-object-store przechowujący bucket media, bez dołączonego klucza — jego kompilacja zatrzymuje się, wskazując pusty slot access_key_id. |
aggregate-auth.yaml | Ten sam magazyn z oboma kluczami dołączonymi jako poświadczenia typu inject-value (ścieżka Compose). |
aggregate-helm-synth-auth.yaml | Ten sam magazyn z oboma kluczami dołączonymi jako poświadczenia referencyjne dla syntetyzowanej ścieżki helm — każdy klucz jest materializowany jako Secret Kubernetes, do którego odwołuje się StatefulSet. |
manifest-compose.yaml | Mapuje typ magazynu na Recipe Compose (compose/s3-object-store), a poświadczenie na dotenv-secret. |
manifest-helm-synth.yaml | Mapuje typ magazynu na syntetyzowany Recipe helm (helm/s3-object-store), a poświadczenie na k8s-secret-from-parameter. |
release-compose.yaml / release-helm-synth.yaml | Rekordy operatora dla dwóch realizacji aggregate.yaml, który nie dołącza żadnego klucza, więc każda kompilacja się zatrzymuje. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Rekordy operatora dla dwóch encji Aggregates, które wypełniają oba sloty. |
Co demonstruje
- Jeden komponent, wiele realizacji. Encja Aggregate wskazuje bucket i nic nie mówi o serwerze. Każdy Manifest określa, jak zrealizować magazyn, a Manifest wybierający zamiast tego realizację zarządzaną wdraża tę samą encję Aggregate do Amazon S3 lub Cloud Storage.
- Bucket przychodzi razem z magazynem.
values.bucketdewelopera to bucket, który magazyn przechowuje i publikuje. Kontener init na Kubernetes i usługa init w Compose tworzą go, zanim serwer zacznie obsługiwać żądania, a istniejący pozostawiają bez zmian, więc konsument nigdy nie trafia na magazyn bez bucketu. Nazwa bucketu, której SeaweedFS nie przyjmuje, zatrzymuje kompilację ze wskazaniem reguły. - Serwer stanowy na jednym wolumenie. Na Kubernetes syntetyzowany Recipe renderuje StatefulSet z jedną repliką i żądaniem woluminu zamontowanym w
/data, ClusterIP Service oraz headless Service wskazywany przez StatefulSet; w Compose usługa montuje nazwany wolumen w tej samej ścieżce i publikuje port S3 na hoście. - Wymagana para kluczy bez wartości domyślnej. Gdy konto istnieje, SeaweedFS uwierzytelnia każde żądanie S3, więc żaden klucz znany każdemu czytelnikowi katalogu nie może go zastąpić. Każda encja Recipe zatrzymuje się na pustym slocie, zanim cokolwiek zostanie wyrenderowane, wskazując slot i to, co należy dołączyć. Dołączona para staje się kontem serwera, a klucz tajny jest też kluczem podpisu filera serwera, więc port gRPC obok portu S3 również nie przyjmuje nieuwierzytelnionych zmian.
- Co odczytuje konsument. Magazyn publikuje
bucket,endpoint(http://store-default:8333na Kubernetes,http://store:8333w Compose),host,port8333,protocols3iregionus-east-1— region, który klienci S3 odczytują z serwera niezgłaszającego żadnego. Konsument z nim połączony kieruje swojego klienta S3 na ten punkt końcowy i przedstawia parę kluczy na własnym połączeniu.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example s3-object-storeNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd s3-object-storeKompilacja
Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna; --auto-pull zapisuje w trakcie kompilacji plik blokady, którego brakuje w świeżym klonie:
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullWyrenderowane artefakty trafiają do dist/.
Kompilacja aggregate.yaml, który nie dołącza żadnego klucza, zatrzymuje się na każdym z celów przed wyrenderowaniem czegokolwiek:
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml zatrzymuje się na tej samej asercji, a jej środek zaradczy wskazuje formę, jaką przyjmuje ścieżka Compose: „attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}” (dołącz do access_key_id poświadczenie dostarczające AWS_ACCESS_KEY_ID, na przykład core/secret-value z kluczem AWS_ACCESS_KEY_ID i origin będącym odwołaniem do zmiennej Compose, takim jak ${AWS_ACCESS_KEY_ID}). Poprawka to krok, który wykonują dwie pozostałe encje Aggregates: dołączenie poświadczenia pod każdym z features.access_key_id i features.secret_access_key w komponencie store.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `s3-object-store`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `s3-object-store` i bez `dir`: zapisze ono przykład w nowym folderze `s3-object-store`. Następnie wywołaj narzędzie `build` raz dla każdej encji Release, w tej kolejności — `release-compose-auth.yaml` i `release-helm-synth-auth.yaml` — za każdym razem z `workspace_root` ustawionym na `s3-object-store`, `release` ustawionym na ten plik, `auto_pull` ustawionym na true i `write` ustawionym na true. Potem wywołaj narzędzie `build` w ten sam sposób z `release` ustawionym na `release-helm-synth.yaml`: to wywołanie ma zostać odrzucone, więc odczytaj mi komunikat odmowy. Podaj mi, jakie pliki zapisały dwie pierwsze kompilacje; znajdują się w `s3-object-store/dist/`.Uwaga o dostarczaniu poświadczeń
Na ścieżce Compose każdy klucz jest sekretem typu inject-value (aggregate-auth.yaml): jego wartość jest dostarczana kanałem środowiska komponentu w zmiennej wskazanej przez jego values.key, AWS_ACCESS_KEY_ID lub AWS_SECRET_ACCESS_KEY, czyli w zmiennych, które encja Recipe przekazuje serwerowi, a dołączenie dostarczające wartość pod jakąkolwiek inną nazwą zatrzymuje kompilację ze wskazaniem slotu. Każdy origin jest odwołaniem do zmiennej Compose, więc wyrenderowany plik zawiera odwołanie, a nie klucz:
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}Syntetyzowana ścieżka helm używa poświadczeń referencyjnych (aggregate-helm-synth-auth.yaml): każdy klucz jest materializowany jako Secret Kubernetes nazwany od komponentu i slotu, a StatefulSet odwołuje się do niego przez secretKeyRef w env, więc żaden klucz nie pojawia się w manifeście StatefulSet — wyłącznie w obiektach Secret:
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyWartości origin w aggregate-helm-synth-auth.yaml to deweloperskie symbole zastępcze, zapisywane w emitowanych obiektach Secret bez zmian. W przypadku encji Release obsługującej rzeczywisty ruch należy zamiast tego zmapować core/referenced-secret na k8s-existing-secret, a w każdym origin wskazać Secret, który już istnieje w przestrzeni nazw i przechowuje klucz pod key dołączenia.
Uruchomienie (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dAPI S3 odpowiada pod http://localhost:8333, gdy tylko usługa bucketu utworzy media. Należy skierować dowolnego klienta S3 na ten adres z wyeksportowaną parą kluczy i regionem us-east-1. Środowisko usuwa się poleceniem docker compose -f dist/app/compose/docker-compose.yaml down.