Ir al contenido
AggregaAggrega
Seleccionar idioma: Español
Esta página se tradujo automáticamente. Lee el original en inglés.

Almacén de objetos compatible con S3 — un componente, dos destinos, un par de claves obligatorio

Este ejemplo compila un único almacén de objetos compatible con S3, el componente core/storage/s3-object-store, a sus dos realizaciones autoalojadas:

  • Docker Compose para el desarrollo local, mediante compose/s3-object-store, y
  • la Recipe helm sintetizada helm/s3-object-store en Kubernetes, sin chart externo.

Ambas ejecutan SeaweedFS (Apache-2.0) a partir de la imagen chrislusf/seaweedfs publicada por su proyecto, como un único proceso de servidor que contiene un único bucket, creado antes de que el servidor empiece a servir. El mismo componente se realiza en Amazon S3 y en Google Cloud Storage mediante otras Recipes; un consumidor lee el mismo endpoint, el mismo bucket y la misma región publicados sea cual sea la realización que seleccione el Manifest.

Las dos ranuras de clave del componente, access_key_id y secret_access_key, son opcionales, porque un servicio gestionado no toma ninguna clave de un bucket. SeaweedFS toma el par como la propia cuenta S3 del servidor y no tiene ningún valor predeterminado para él, así que ambas realizaciones se detienen cuando cualquiera de las ranuras está vacía. aggregate.yaml no rellena nada y muestra la compilación deteniéndose; los otros dos Aggregates rellenan ambas ranuras en la forma en que cada destino las entrega: aggregate-auth.yaml para la ruta de Compose (credenciales inject-value expuestas como variables de entorno), y aggregate-helm-synth-auth.yaml para la ruta helm sintetizada (credenciales referenciables materializadas como Secrets de Kubernetes).

Archivos

ArchivoRol
aggregate.yamlIntención del desarrollador: un componente store de tipo core/storage/s3-object-store que contiene el bucket media, sin ninguna clave vinculada — una compilación suya se detiene, nombrando la ranura vacía access_key_id.
aggregate-auth.yamlEl mismo almacén con ambas claves vinculadas como credenciales inject-value (ruta de Compose).
aggregate-helm-synth-auth.yamlEl mismo almacén con ambas claves vinculadas como credenciales referenciables para la ruta helm sintetizada — cada clave se materializa como un Secret de Kubernetes al que hace referencia el StatefulSet.
manifest-compose.yamlAsigna el tipo de almacén a la Recipe de Compose (compose/s3-object-store) y la credencial a dotenv-secret.
manifest-helm-synth.yamlAsigna el tipo de almacén a la Recipe helm sintetizada (helm/s3-object-store) y la credencial a k8s-secret-from-parameter.
release-compose.yaml / release-helm-synth.yamlDocumentos del operador para las dos realizaciones de aggregate.yaml, que no vincula ninguna clave, así que cada compilación se detiene.
release-compose-auth.yaml / release-helm-synth-auth.yamlDocumentos del operador para los dos Aggregates que rellenan ambas ranuras.

Lo que demuestra

  • Un componente, muchas realizaciones. El Aggregate nombra el bucket y nada sobre el servidor. Cada Manifest dice cómo realizar el almacén, y un Manifest que selecciona en su lugar una realización gestionada despliega el mismo Aggregate en Amazon S3 o en Cloud Storage.
  • El bucket viene con el almacén. El values.bucket del desarrollador es el bucket que el almacén contiene y publica. Un contenedor init en Kubernetes, y un servicio init en Compose, lo crea antes de que el servidor empiece a servir y deja tal como está uno ya existente, así que un consumidor nunca encuentra un almacén sin su bucket. Un nombre de bucket que SeaweedFS no acepta detiene la compilación, nombrando la regla.
  • Un servidor con estado sobre un único volumen. En Kubernetes la Recipe sintetizada renderiza un StatefulSet de una réplica con una solicitud de volumen montada en /data, un Service ClusterIP y el Service headless que nombra el StatefulSet; en Compose el servicio monta un volumen con nombre en la misma ruta y publica el puerto S3 en el host.
  • Un par de claves obligatorio sin valor predeterminado. Con una cuenta presente, SeaweedFS autentica cada solicitud S3, así que ninguna clave que tenga cualquier lector del catálogo puede ocupar su lugar. Cada Recipe se detiene ante una ranura vacía antes de que se renderice nada, nombrando la ranura y lo que hay que vincular. El par vinculado se convierte en la cuenta del servidor, y la clave secreta es también la clave de firma del filer del servidor, así que el puerto gRPC junto al puerto S3 tampoco acepta ningún cambio sin autenticar.
  • Lo que lee un consumidor. El almacén publica bucket, endpoint (http://store-default:8333 en Kubernetes, http://store:8333 en Compose), host, port 8333, protocol s3 y region us-east-1, la región que los clientes S3 leen de un servidor que no informa ninguna. Un consumidor conectado a él apunta su cliente S3 al endpoint y presenta un par de claves en su propia conexión.

Generar el ejemplo

Puedes compilar este ejemplo con los comandos de abajo, o hacer que tu asistente de IA lo compile por ti.

Escribe el ejemplo en una carpeta nueva con su nombre:

Terminal window
aggrega scaffold --example s3-object-store

Después imprime los comandos que hay que ejecutar a continuación. El primero entra en la carpeta nueva:

Terminal window
cd s3-object-store

Compilación

Este workspace no lleva ningún .aggrega-config.yaml, así que las entidades de la biblioteca estándar se resuelven desde el registro del hub, hub.aggrega.ai, y no se necesita ningún flag de catálogo; --auto-pull escribe durante la compilación el lockfile que le falta a un clon recién creado:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)
aggrega build --release release-helm-synth-auth.yaml --auto-pull

Los artefactos renderizados quedan en dist/.

La compilación de aggregate.yaml, que no vincula ninguna clave, se detiene en ambos destinos antes de que se renderice nada:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull
[… omitted: the pull's lines, which report the same halt, and a lint notice]
[CATALOG_ERROR E0033]
Recipe/FeatureRecipe assertions
caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_id

release-compose.yaml se detiene en la misma aserción, y su remedio nombra la forma que adopta la ruta de Compose: «attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}» (vincula a access_key_id una credencial que entregue AWS_ACCESS_KEY_ID, como core/secret-value con la clave AWS_ACCESS_KEY_ID y como origen una referencia a una variable de Compose como ${AWS_ACCESS_KEY_ID}). La corrección es el paso que dan los otros dos Aggregates: vincular una credencial bajo cada una de features.access_key_id y features.secret_access_key en el componente store.

Con un asistente de IA

Un asistente de IA configurado con las herramientas de Aggrega puede hacer lo mismo: pégale este prompt.

Usa solo las herramientas de Aggrega y no crees ninguna carpeta por tu cuenta. Si la carpeta del espacio de trabajo aún no contiene una carpeta `s3-object-store`, llama una vez a la herramienta `scaffold` con `example` establecido en `s3-object-store` y sin `dir`: escribe el ejemplo en una nueva carpeta `s3-object-store`. Luego llama a la herramienta `build` una vez por cada Release, en este orden — `release-compose-auth.yaml` y `release-helm-synth-auth.yaml` —, cada vez con `workspace_root` establecido en `s3-object-store`, `release` establecido en ese archivo, `auto_pull` establecido en true y `write` establecido en true. Después llama a la herramienta `build` de la misma forma con `release` establecido en `release-helm-synth.yaml`: debe ser rechazada, así que léeme el rechazo. Dime qué archivos escribieron las dos primeras compilaciones; están en `s3-object-store/dist/`.

Nota sobre la entrega de credenciales

En la ruta de Compose cada clave es un secreto inject-value (aggregate-auth.yaml): su valor se entrega por la tubería de entorno del componente bajo la variable que nombra su values.key, AWS_ACCESS_KEY_ID o AWS_SECRET_ACCESS_KEY, que son las variables que la Recipe le da al servidor, y una vinculación que entregue bajo cualquier otro nombre detiene la compilación, nombrando la ranura. Cada origin es una referencia a una variable de Compose, así que el archivo renderizado lleva la referencia en lugar de la clave:

environment:
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}

La ruta helm sintetizada usa credenciales referenciables (aggregate-helm-synth-auth.yaml): cada clave se materializa como un Secret de Kubernetes con el nombre del componente y de la ranura, y el StatefulSet hace referencia a él mediante un secretKeyRef de entorno, así que ninguna de las claves aparece en el manifiesto del StatefulSet — solo en los Secrets:

env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: store-access-key-id
key: access-key-id
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key
- name: WEED_JWT_FILER_SIGNING_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key

Los valores origin de aggregate-helm-synth-auth.yaml son marcadores de posición de desarrollo, escritos tal cual en los Secrets emitidos. Para una Release que lleve tráfico real, asigna en su lugar core/referenced-secret a k8s-existing-secret, con cada origin nombrando un Secret que ya existe en el namespace y que contiene la clave bajo la key de la vinculación.

Ejecutarlo (Compose)

Terminal window
aggrega build --release release-compose-auth.yaml --auto-pull
export S3_ACCESS_KEY_ID=<an access key identifier of your choosing>
export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>
docker compose -f dist/app/compose/docker-compose.yaml up -d

La API S3 responde en http://localhost:8333 una vez que el servicio del bucket ha creado media. Apunta cualquier cliente S3 a esa dirección con el par de claves exportado y la región us-east-1. Para desmontarlo, usa docker compose -f dist/app/compose/docker-compose.yaml down.