Object store compatibile con S3 — un componente, due target, una coppia di chiavi obbligatoria
Questo esempio compila un unico object store compatibile con S3, il componente core/storage/s3-object-store, nelle sue due realizzazioni self-hosted:
- Docker Compose per lo sviluppo locale, tramite
compose/s3-object-store, e - la Recipe helm sintetizzata
helm/s3-object-storesu Kubernetes, senza alcun chart esterno.
Entrambe eseguono SeaweedFS (Apache-2.0) dall’immagine chrislusf/seaweedfs pubblicata dal suo progetto, come un unico processo server che contiene un unico bucket, creato prima che il server inizi a servire. Lo stesso componente è realizzato su Amazon S3 e su Google Cloud Storage da altre Recipes; un consumatore legge lo stesso endpoint, lo stesso bucket e la stessa regione pubblicati, qualunque sia la realizzazione selezionata dal Manifest.
I due slot di chiave del componente, access_key_id e secret_access_key, sono facoltativi, perché un servizio gestito non prende alcuna chiave da un bucket. SeaweedFS prende la coppia come account S3 del server stesso e non ha alcun valore predefinito per essa, quindi entrambe le sue realizzazioni si arrestano quando uno dei due slot è vuoto. aggregate.yaml non riempie nulla e mostra la build che si arresta; gli altri due Aggregates riempiono entrambi gli slot nella forma in cui ciascun target li consegna: aggregate-auth.yaml per il percorso Compose (credenziali inject-value esposte come variabili d’ambiente), e aggregate-helm-synth-auth.yaml per il percorso helm sintetizzato (credenziali referenziabili materializzate come Secret Kubernetes).
File
| File | Ruolo |
|---|---|
aggregate.yaml | Intento dello sviluppatore: un componente store di tipo core/storage/s3-object-store che contiene il bucket media, senza alcuna chiave associata — una sua build si arresta, indicando lo slot vuoto access_key_id. |
aggregate-auth.yaml | Lo stesso store con entrambe le chiavi associate come credenziali inject-value (percorso Compose). |
aggregate-helm-synth-auth.yaml | Lo stesso store con entrambe le chiavi associate come credenziali referenziabili per il percorso helm sintetizzato — ciascuna chiave viene materializzata come un Secret Kubernetes a cui fa riferimento lo StatefulSet. |
manifest-compose.yaml | Mappa il tipo dello store sulla Recipe Compose (compose/s3-object-store) e la credenziale su dotenv-secret. |
manifest-helm-synth.yaml | Mappa il tipo dello store sulla Recipe helm sintetizzata (helm/s3-object-store) e la credenziale su k8s-secret-from-parameter. |
release-compose.yaml / release-helm-synth.yaml | Documenti dell’operatore per le due realizzazioni di aggregate.yaml, che non associa alcuna chiave, quindi ciascuna build si arresta. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Documenti dell’operatore per i due Aggregates che riempiono entrambi gli slot. |
Che cosa dimostra
- Un componente, molte realizzazioni. L’Aggregate indica il nome del bucket e nulla del server. Ciascun Manifest dice come realizzare lo store, e un Manifest che seleziona invece una realizzazione gestita distribuisce lo stesso Aggregate su Amazon S3 o su Cloud Storage.
- Il bucket arriva con lo store. Il
values.bucketdello sviluppatore è il bucket che lo store contiene e pubblica. Un init container su Kubernetes, e un servizio init su Compose, lo crea prima che il server inizi a servire e lascia com’è uno già esistente, così un consumatore non incontra mai uno store senza il suo bucket. Un nome di bucket che SeaweedFS non accetta arresta la build, indicando la regola. - Un server stateful su un unico volume. Su Kubernetes la Recipe sintetizzata renderizza uno StatefulSet di una replica con un claim di volume montato in
/data, un Service ClusterIP e il Service headless indicato dallo StatefulSet; su Compose il servizio monta un volume con nome nello stesso percorso e pubblica la porta S3 sull’host. - Una coppia di chiavi obbligatoria senza valore predefinito. Con un account presente, SeaweedFS autentica ogni richiesta S3, quindi nessuna chiave posseduta da ogni lettore del catalogo può farne le veci. Ciascuna Recipe si arresta su uno slot vuoto prima che venga renderizzato qualcosa, indicando lo slot e che cosa associare. La coppia associata diventa l’account del server, e la chiave segreta è anche la chiave di firma del filer del server, così nemmeno la porta gRPC accanto alla porta S3 accetta modifiche non autenticate.
- Che cosa legge un consumatore. Lo store pubblica
bucket,endpoint(http://store-default:8333su Kubernetes,http://store:8333su Compose),host,port8333,protocols3eregionus-east-1, la regione che i client S3 leggono da un server che non ne riporta alcuna. Un consumatore cablato allo store punta il proprio client S3 all’endpoint e presenta una coppia di chiavi sulla propria connessione.
Generare l’esempio
Puoi eseguire la build di questo esempio con i comandi qui sotto, oppure farla eseguire al tuo assistente IA.
Scrivi l’esempio in una nuova cartella che porta il suo nome:
aggrega scaffold --example s3-object-storePoi stampa i prossimi comandi da eseguire. Il primo ti porta nella nuova cartella:
cd s3-object-storeBuild
Questo workspace non contiene alcun .aggrega-config.yaml, quindi le entità della libreria standard vengono risolte dal registry dell’hub, hub.aggrega.ai, e non serve alcun flag di catalogo; --auto-pull scrive durante il build il lockfile che manca a un clone appena creato:
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullGli artefatti renderizzati finiscono sotto dist/.
La build di aggregate.yaml, che non associa alcuna chiave, si arresta su entrambi i target prima che venga renderizzato qualcosa:
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml si arresta sulla stessa asserzione, e il suo rimedio indica la forma che prende il percorso Compose: «attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}» (associa ad access_key_id una credenziale che consegni AWS_ACCESS_KEY_ID, come core/secret-value con chiave AWS_ACCESS_KEY_ID e come origine un riferimento a una variabile Compose come ${AWS_ACCESS_KEY_ID}). La correzione è il passo che compiono gli altri due Aggregates: associare una credenziale sotto ciascuno di features.access_key_id e features.secret_access_key sul componente store.
Con un assistente AI
Un assistente IA configurato con gli strumenti di Aggrega può fare lo stesso: incolla questo prompt nell’assistente.
Usa solo gli strumenti di Aggrega e non creare tu alcuna cartella. Se la cartella dell’area di lavoro non contiene ancora una cartella `s3-object-store`, chiama una volta lo strumento `scaffold` con `example` impostato su `s3-object-store` e senza `dir`: scrive l’esempio in una nuova cartella `s3-object-store`. Poi chiama lo strumento `build` una volta per ogni Release, in quest’ordine — `release-compose-auth.yaml` e `release-helm-synth-auth.yaml` — ogni volta con `workspace_root` impostato su `s3-object-store`, `release` impostato su quel file, `auto_pull` impostato su true e `write` impostato su true. Poi chiama lo strumento `build` allo stesso modo con `release` impostato su `release-helm-synth.yaml`: deve essere rifiutata, quindi leggimi il rifiuto. Dimmi quali file hanno scritto le prime due build; si trovano sotto `s3-object-store/dist/`.Nota sulla consegna delle credenziali
Sul percorso Compose ciascuna chiave è un segreto inject-value (aggregate-auth.yaml): il suo valore viene consegnato sulla pipe d’ambiente del componente con la variabile indicata dal suo values.key, AWS_ACCESS_KEY_ID o AWS_SECRET_ACCESS_KEY, che sono le variabili che la Recipe fornisce al server, e un’associazione che consegna con qualsiasi altro nome arresta la build, indicando lo slot. Ciascun origin è un riferimento a una variabile Compose, così il file renderizzato contiene il riferimento anziché la chiave:
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}Il percorso helm sintetizzato usa credenziali referenziabili (aggregate-helm-synth-auth.yaml): ciascuna chiave viene materializzata come un Secret Kubernetes con il nome del componente e dello slot, e lo StatefulSet vi fa riferimento tramite un secretKeyRef env, così nessuna delle due chiavi compare nel manifest dello StatefulSet — solo nei Secret:
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyI valori origin in aggregate-helm-synth-auth.yaml sono segnaposto di sviluppo, scritti così come sono nei Secret emessi. Per una Release che porta traffico reale, mappa invece core/referenced-secret su k8s-existing-secret, con ciascun origin che indica un Secret già esistente nel namespace e che contiene la chiave sotto la key dell’associazione.
Eseguirlo (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dL’API S3 risponde su http://localhost:8333 una volta che il servizio del bucket ha creato media. Punta qualsiasi client S3 a quell’indirizzo con la coppia di chiavi esportata e la regione us-east-1. Per smontarlo, usa docker compose -f dist/app/compose/docker-compose.yaml down.