S3-kompatibler Objektspeicher — eine Komponente, zwei Ziele, ein erforderliches Schlüsselpaar
Dieses Beispiel kompiliert einen einzigen S3-kompatiblen Objektspeicher, die Komponente core/storage/s3-object-store, zu seinen zwei selbst gehosteten Realisierungen:
- Docker Compose für die lokale Entwicklung, über
compose/s3-object-store, und - das synthetisierte helm-Recipe
helm/s3-object-storeauf Kubernetes, ohne externes Chart.
Beide führen SeaweedFS (Apache-2.0) aus dem vom Projekt veröffentlichten Image chrislusf/seaweedfs als einen einzigen Serverprozess aus, der einen Bucket enthält, der angelegt wird, bevor der Server Anfragen bedient. Dieselbe Komponente wird von anderen Recipes auf Amazon S3 und auf Google Cloud Storage realisiert; ein Konsument liest denselben veröffentlichten Endpunkt, Bucket und dieselbe Region, gleich welche Realisierung das Manifest auswählt.
Die beiden Schlüssel-Slots der Komponente, access_key_id und secret_access_key, sind optional, weil ein verwalteter Dienst keinen Schlüssel von einem Bucket entgegennimmt. SeaweedFS nimmt das Paar als eigenes S3-Konto des Servers und hat keinen Standardwert dafür, daher brechen beide Realisierungen ab, wenn einer der Slots leer ist. aggregate.yaml füllt nichts und zeigt den abbrechenden Build; die beiden anderen Aggregates füllen beide Slots in der Form, in der das jeweilige Ziel sie zustellt: aggregate-auth.yaml für den Compose-Pfad (Zugangsdaten vom Typ inject-value, als Umgebungsvariablen bereitgestellt) und aggregate-helm-synth-auth.yaml für den synthetisierten helm-Pfad (referenzierbare Zugangsdaten, als Kubernetes-Secrets materialisiert).
Dateien
| Datei | Rolle |
|---|---|
aggregate.yaml | Entwicklerabsicht: eine Komponente store vom Typ core/storage/s3-object-store, die den Bucket media enthält, ohne angebundenen Schlüssel — ein Build davon bricht ab und benennt den leeren Slot access_key_id. |
aggregate-auth.yaml | Derselbe Speicher mit beiden Schlüsseln, angebunden als Zugangsdaten vom Typ inject-value (Compose-Pfad). |
aggregate-helm-synth-auth.yaml | Derselbe Speicher mit beiden Schlüsseln, angebunden als referenzierbare Zugangsdaten für den synthetisierten helm-Pfad — jeder Schlüssel wird als Kubernetes-Secret materialisiert, das das StatefulSet referenziert. |
manifest-compose.yaml | Bildet den Speichertyp auf das Compose-Recipe (compose/s3-object-store) und die Zugangsdaten auf dotenv-secret ab. |
manifest-helm-synth.yaml | Bildet den Speichertyp auf das synthetisierte helm-Recipe (helm/s3-object-store) und die Zugangsdaten auf k8s-secret-from-parameter ab. |
release-compose.yaml / release-helm-synth.yaml | Dokumente des Operators für die beiden Realisierungen von aggregate.yaml, das keinen Schlüssel anbindet, sodass jeder Build abbricht. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Dokumente des Operators für die beiden Aggregates, die beide Slots füllen. |
Was es zeigt
- Eine Komponente, viele Realisierungen. Das Aggregate benennt den Bucket und nichts über den Server. Jedes Manifest sagt, wie der Speicher zu realisieren ist, und ein Manifest, das stattdessen eine verwaltete Realisierung auswählt, stellt dasselbe Aggregate auf Amazon S3 oder Cloud Storage bereit.
- Der Bucket kommt mit dem Speicher. Der
values.bucketdes Entwicklers ist der Bucket, den der Speicher enthält und veröffentlicht. Ein Init-Container auf Kubernetes und ein Init-Service auf Compose legen ihn an, bevor der Server Anfragen bedient, und lassen einen bereits vorhandenen unverändert, sodass ein Konsument nie auf einen Speicher ohne seinen Bucket trifft. Ein Bucket-Name, den SeaweedFS nicht akzeptiert, bricht den Build ab und benennt die Regel. - Ein zustandsbehafteter Server auf einem Volume. Auf Kubernetes rendert das synthetisierte Recipe ein StatefulSet mit einer Replica und einem Volume-Claim, der unter
/dataeingehängt ist, einen ClusterIP-Service und den Headless-Service, den das StatefulSet benennt; auf Compose hängt der Service ein benanntes Volume unter demselben Pfad ein und veröffentlicht den S3-Port auf dem Host. - Ein erforderliches Schlüsselpaar ohne Standardwert. Ist ein Konto vorhanden, authentifiziert SeaweedFS jede S3-Anfrage, sodass kein Schlüssel, den jeder Leser des Katalogs besitzt, an seine Stelle treten kann. Jedes Recipe bricht bei einem leeren Slot ab, bevor etwas gerendert wird, und benennt den Slot und das, was anzubinden ist. Das angebundene Paar wird zum Konto des Servers, und der geheime Schlüssel ist zugleich der Filer-Signaturschlüssel des Servers, sodass auch der gRPC-Port neben dem S3-Port keine nicht authentifizierte Änderung annimmt.
- Was ein Konsument liest. Der Speicher veröffentlicht
bucket,endpoint(http://store-default:8333auf Kubernetes,http://store:8333auf Compose),host,port8333,protocols3undregionus-east-1, die Region, die S3-Clients von einem Server lesen, der keine meldet. Ein damit verdrahteter Konsument richtet seinen S3-Client auf den Endpunkt und legt auf seiner eigenen Verbindung ein Schlüsselpaar vor.
Das Beispiel generieren
Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.
Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:
aggrega scaffold --example s3-object-storeDanach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:
cd s3-object-storeBuild
Dieser Workspace enthält kein .aggrega-config.yaml, daher werden die Entitäten der Standardbibliothek aus der Hub-Registry hub.aggrega.ai aufgelöst, und es ist kein Katalog-Flag nötig; --auto-pull schreibt während des Builds das Lockfile, das einem frischen Klon fehlt:
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullGerenderte Artefakte landen unter dist/.
Der Build von aggregate.yaml, das keinen Schlüssel anbindet, bricht auf beiden Zielen ab, bevor etwas gerendert wird:
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml bricht bei derselben Assertion ab, und deren Abhilfe benennt die Form, die der Compose-Pfad annimmt: „attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}“ (binden Sie an access_key_id Zugangsdaten an, die AWS_ACCESS_KEY_ID zustellen, etwa core/secret-value mit dem Schlüssel AWS_ACCESS_KEY_ID und einer Compose-Variablenreferenz wie ${AWS_ACCESS_KEY_ID} als Ursprung). Die Behebung ist der Schritt, den die beiden anderen Aggregates gehen: Zugangsdaten unter features.access_key_id und unter features.secret_access_key an der Komponente store anbinden.
Mit einem KI-Assistenten
Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.
Verwenden Sie ausschließlich die Aggrega-Werkzeuge und legen Sie selbst keinen Ordner an. Wenn der Ordner des Arbeitsbereichs noch keinen Ordner `s3-object-store` enthält, rufen Sie das Werkzeug `scaffold` einmal auf, mit `example` auf `s3-object-store` gesetzt und ohne `dir`: Es schreibt das Beispiel in einen neuen Ordner `s3-object-store`. Rufen Sie dann das Werkzeug `build` einmal für jedes Release auf, in dieser Reihenfolge — `release-compose-auth.yaml` und `release-helm-synth-auth.yaml` —, jedes Mal mit `workspace_root` auf `s3-object-store`, `release` auf diese Datei, `auto_pull` auf true und `write` auf true gesetzt. Rufen Sie dann das Werkzeug `build` auf dieselbe Weise mit `release` auf `release-helm-synth.yaml` gesetzt auf: Dieser Aufruf soll abgelehnt werden, lesen Sie mir also die Ablehnung vor. Nennen Sie mir die Dateien, die die ersten beiden Builds geschrieben haben; sie liegen unter `s3-object-store/dist/`.Hinweis zur Zustellung der Zugangsdaten
Auf dem Compose-Pfad ist jeder Schlüssel ein Secret vom Typ inject-value (aggregate-auth.yaml): Sein Wert wird über die Umgebungs-Pipe der Komponente unter der Variable zugestellt, die sein values.key benennt, AWS_ACCESS_KEY_ID oder AWS_SECRET_ACCESS_KEY, also den Variablen, die das Recipe dem Server übergibt, und eine Anbindung, die unter einem anderen Namen zustellt, bricht den Build ab und benennt den Slot. Jeder origin ist eine Compose-Variablenreferenz, sodass die gerenderte Datei die Referenz statt des Schlüssels enthält:
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}Der synthetisierte helm-Pfad verwendet referenzierbare Zugangsdaten (aggregate-helm-synth-auth.yaml): Jeder Schlüssel wird als Kubernetes-Secret materialisiert, das nach der Komponente und dem Slot benannt ist, und das StatefulSet referenziert es über einen secretKeyRef in der Umgebung, sodass keiner der Schlüssel im StatefulSet-Manifest erscheint — nur in den Secrets:
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyDie Werte origin in aggregate-helm-synth-auth.yaml sind Platzhalter für die Entwicklung, die unverändert in die ausgegebenen Secrets geschrieben werden. Für ein Release mit echtem Datenverkehr bilden Sie stattdessen core/referenced-secret auf k8s-existing-secret ab, wobei jeder origin ein Secret benennt, das bereits im Namespace existiert und den Schlüssel unter dem key der Anbindung enthält.
Ausführen (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dDie S3-API antwortet unter http://localhost:8333, sobald der Bucket-Service media angelegt hat. Richten Sie einen beliebigen S3-Client mit dem exportierten Schlüsselpaar und der Region us-east-1 auf diese Adresse. Abbauen mit docker compose -f dist/app/compose/docker-compose.yaml down.