S3-совместимое объектное хранилище — один компонент, две цели, обязательная пара ключей
Этот пример компилирует одно S3-совместимое объектное хранилище, компонент core/storage/s3-object-store, в две его самостоятельно размещаемые реализации:
- Docker Compose для локальной разработки, через
compose/s3-object-store, и - синтезированный helm Recipe
helm/s3-object-storeв Kubernetes, без внешнего чарта.
Обе запускают SeaweedFS (Apache-2.0) из образа chrislusf/seaweedfs, публикуемого его проектом, как один серверный процесс с одним бакетом, который создаётся до того, как сервер начинает обслуживать запросы. Тот же компонент реализуется в Amazon S3 и в Google Cloud Storage другими Recipes; потребитель читает одни и те же опубликованные endpoint, бакет и регион, какую бы реализацию ни выбрал Manifest.
Два слота ключей компонента, access_key_id и secret_access_key, необязательны, потому что управляемый сервис не берёт ключ от бакета. SeaweedFS использует эту пару как собственную S3-учётную запись сервера и не имеет для неё значения по умолчанию, поэтому обе его реализации останавливаются, если любой из слотов пуст. aggregate.yaml ничего не заполняет и показывает остановку сборки; два других Aggregates заполняют оба слота в той форме, в которой их передаёт каждая цель: aggregate-auth.yaml для пути Compose (учётные данные inject-value, представленные как переменные окружения) и aggregate-helm-synth-auth.yaml для пути синтезированного helm (ссылочные учётные данные, материализуемые как Kubernetes Secrets).
Файлы
| Файл | Роль |
|---|---|
aggregate.yaml | Намерение разработчика: один компонент store типа core/storage/s3-object-store с бакетом media, без подключённого ключа — его сборка останавливается с указанием пустого слота access_key_id. |
aggregate-auth.yaml | То же хранилище с обоими ключами, подключёнными как учётные данные inject-value (путь Compose). |
aggregate-helm-synth-auth.yaml | То же хранилище с обоими ключами, подключёнными как ссылочные учётные данные для пути синтезированного helm, — каждый ключ материализуется как Kubernetes Secret, на который ссылается StatefulSet. |
manifest-compose.yaml | Сопоставляет тип хранилища с Recipe для Compose (compose/s3-object-store), а учётные данные — с dotenv-secret. |
manifest-helm-synth.yaml | Сопоставляет тип хранилища с синтезированным helm Recipe (helm/s3-object-store), а учётные данные — с k8s-secret-from-parameter. |
release-compose.yaml / release-helm-synth.yaml | Записи оператора для двух реализаций aggregate.yaml, который не подключает ключей, поэтому каждая сборка останавливается. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Записи оператора для двух Aggregates, заполняющих оба слота. |
Что демонстрирует пример
- Один компонент, много реализаций. Aggregate называет бакет и ничего не говорит о сервере. Каждый Manifest определяет, как реализовать хранилище, а Manifest, выбирающий вместо этого управляемую реализацию, развёртывает тот же Aggregate в Amazon S3 или Cloud Storage.
- Бакет поставляется вместе с хранилищем.
values.bucketразработчика — это бакет, который хранилище содержит и публикует. Init-контейнер в Kubernetes и init-сервис в Compose создают его до того, как сервер начинает обслуживать запросы, и оставляют существующий бакет как есть, поэтому потребитель никогда не встречает хранилище без его бакета. Имя бакета, которое SeaweedFS не принимает, останавливает сборку с указанием правила. - Сервер с состоянием на одном томе. В Kubernetes синтезированный Recipe отрисовывает StatefulSet из одной реплики с запросом тома, смонтированным в
/data, Service типа ClusterIP и headless Service, который называет StatefulSet; в Compose сервис монтирует именованный том по тому же пути и публикует порт S3 на хосте. - Обязательная пара ключей без значения по умолчанию. При наличии учётной записи SeaweedFS аутентифицирует каждый S3-запрос, поэтому никакой ключ, известный каждому читателю каталога, не может её заменить. Каждый Recipe останавливается на пустом слоте до какой-либо отрисовки, указывая слот и то, что нужно подключить. Подключённая пара становится учётной записью сервера, а секретный ключ также служит ключом подписи filer сервера, поэтому порт gRPC рядом с портом S3 тоже не принимает неаутентифицированных изменений.
- Что читает потребитель. Хранилище публикует
bucket,endpoint(http://store-default:8333в Kubernetes,http://store:8333в Compose),host,port8333,protocols3иregionus-east-1— регион, который S3-клиенты читают у сервера, не сообщающего никакого. Подключённый к нему потребитель направляет свой S3-клиент на endpoint и предъявляет пару ключей в собственном подключении.
Создание примера
Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.
Запишите пример в новую папку, названную по его имени:
aggrega scaffold --example s3-object-storeЗатем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:
cd s3-object-storeСборка
В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен; --auto-pull во время сборки записывает lock-файл, которого нет в свежем клоне:
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullОтрендеренные артефакты помещаются в dist/.
Сборка aggregate.yaml, который не подключает ключей, на любой цели останавливается до какой-либо отрисовки:
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml останавливается на той же проверке, и её способ исправления называет форму, которую принимает путь Compose: «attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}» (подключите к access_key_id учётные данные, передающие AWS_ACCESS_KEY_ID, например core/secret-value с ключом AWS_ACCESS_KEY_ID и origin в виде ссылки на переменную Compose, такой как ${AWS_ACCESS_KEY_ID}). Исправление — это шаг, который делают два других Aggregates: подключить учётные данные под каждым из features.access_key_id и features.secret_access_key в компоненте store.
С ИИ-ассистентом
ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.
Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если папка рабочей области ещё не содержит папку `s3-object-store`, вызовите один раз инструмент `scaffold` с параметром `example` со значением `s3-object-store` и без `dir`: он запишет пример в новую папку `s3-object-store`. Затем вызовите инструмент `build` по одному разу для каждой сущности Release, в таком порядке — `release-compose-auth.yaml` и `release-helm-synth-auth.yaml`, — каждый раз с параметрами `workspace_root` — `s3-object-store`, `release` — этот файл, `auto_pull` — true и `write` — true. Затем вызовите инструмент `build` так же с параметром `release` со значением `release-helm-synth.yaml`: этот вызов должен быть отклонён, поэтому прочитайте мне отказ. Сообщите мне, какие файлы записали первые две сборки; они находятся в `s3-object-store/dist/`.Примечание о передаче учётных данных
На пути Compose каждый ключ — это секрет inject-value (aggregate-auth.yaml): его значение передаётся по каналу окружения компонента в переменной, которую называет его values.key, — AWS_ACCESS_KEY_ID или AWS_SECRET_ACCESS_KEY; это те переменные, которые Recipe передаёт серверу, а подключение, передающее значение под любым другим именем, останавливает сборку с указанием слота. Каждый origin — это ссылка на переменную Compose, поэтому отрисованный файл содержит ссылку, а не ключ:
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}Путь синтезированного helm использует ссылочные учётные данные (aggregate-helm-synth-auth.yaml): каждый ключ материализуется как Kubernetes Secret, названный по компоненту и слоту, а StatefulSet ссылается на него через env secretKeyRef, поэтому ни один ключ не появляется в манифесте StatefulSet — только в Secrets:
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyЗначения origin в aggregate-helm-synth-auth.yaml — заглушки для разработки, записываемые в создаваемые Secrets как есть. Для сущности Release с реальным трафиком вместо этого сопоставьте core/referenced-secret с k8s-existing-secret, указав в каждом origin Secret, который уже существует в пространстве имён и хранит ключ под key подключения.
Запуск (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dS3 API отвечает на http://localhost:8333, как только сервис бакета создаст media. Направьте любой S3-клиент на этот адрес с экспортированной парой ключей и регионом us-east-1. Остановить можно командой docker compose -f dist/app/compose/docker-compose.yaml down.