Перейти к содержимому
AggregaAggrega
Выберите язык: Русский
Эта страница переведена машинным способом. Читать оригинал на английском.

S3-совместимое объектное хранилище — один компонент, две цели, обязательная пара ключей

Этот пример компилирует одно S3-совместимое объектное хранилище, компонент core/storage/s3-object-store, в две его самостоятельно размещаемые реализации:

  • Docker Compose для локальной разработки, через compose/s3-object-store, и
  • синтезированный helm Recipe helm/s3-object-store в Kubernetes, без внешнего чарта.

Обе запускают SeaweedFS (Apache-2.0) из образа chrislusf/seaweedfs, публикуемого его проектом, как один серверный процесс с одним бакетом, который создаётся до того, как сервер начинает обслуживать запросы. Тот же компонент реализуется в Amazon S3 и в Google Cloud Storage другими Recipes; потребитель читает одни и те же опубликованные endpoint, бакет и регион, какую бы реализацию ни выбрал Manifest.

Два слота ключей компонента, access_key_id и secret_access_key, необязательны, потому что управляемый сервис не берёт ключ от бакета. SeaweedFS использует эту пару как собственную S3-учётную запись сервера и не имеет для неё значения по умолчанию, поэтому обе его реализации останавливаются, если любой из слотов пуст. aggregate.yaml ничего не заполняет и показывает остановку сборки; два других Aggregates заполняют оба слота в той форме, в которой их передаёт каждая цель: aggregate-auth.yaml для пути Compose (учётные данные inject-value, представленные как переменные окружения) и aggregate-helm-synth-auth.yaml для пути синтезированного helm (ссылочные учётные данные, материализуемые как Kubernetes Secrets).

Файлы

ФайлРоль
aggregate.yamlНамерение разработчика: один компонент store типа core/storage/s3-object-store с бакетом media, без подключённого ключа — его сборка останавливается с указанием пустого слота access_key_id.
aggregate-auth.yamlТо же хранилище с обоими ключами, подключёнными как учётные данные inject-value (путь Compose).
aggregate-helm-synth-auth.yamlТо же хранилище с обоими ключами, подключёнными как ссылочные учётные данные для пути синтезированного helm, — каждый ключ материализуется как Kubernetes Secret, на который ссылается StatefulSet.
manifest-compose.yamlСопоставляет тип хранилища с Recipe для Compose (compose/s3-object-store), а учётные данные — с dotenv-secret.
manifest-helm-synth.yamlСопоставляет тип хранилища с синтезированным helm Recipe (helm/s3-object-store), а учётные данные — с k8s-secret-from-parameter.
release-compose.yaml / release-helm-synth.yamlЗаписи оператора для двух реализаций aggregate.yaml, который не подключает ключей, поэтому каждая сборка останавливается.
release-compose-auth.yaml / release-helm-synth-auth.yamlЗаписи оператора для двух Aggregates, заполняющих оба слота.

Что демонстрирует пример

  • Один компонент, много реализаций. Aggregate называет бакет и ничего не говорит о сервере. Каждый Manifest определяет, как реализовать хранилище, а Manifest, выбирающий вместо этого управляемую реализацию, развёртывает тот же Aggregate в Amazon S3 или Cloud Storage.
  • Бакет поставляется вместе с хранилищем. values.bucket разработчика — это бакет, который хранилище содержит и публикует. Init-контейнер в Kubernetes и init-сервис в Compose создают его до того, как сервер начинает обслуживать запросы, и оставляют существующий бакет как есть, поэтому потребитель никогда не встречает хранилище без его бакета. Имя бакета, которое SeaweedFS не принимает, останавливает сборку с указанием правила.
  • Сервер с состоянием на одном томе. В Kubernetes синтезированный Recipe отрисовывает StatefulSet из одной реплики с запросом тома, смонтированным в /data, Service типа ClusterIP и headless Service, который называет StatefulSet; в Compose сервис монтирует именованный том по тому же пути и публикует порт S3 на хосте.
  • Обязательная пара ключей без значения по умолчанию. При наличии учётной записи SeaweedFS аутентифицирует каждый S3-запрос, поэтому никакой ключ, известный каждому читателю каталога, не может её заменить. Каждый Recipe останавливается на пустом слоте до какой-либо отрисовки, указывая слот и то, что нужно подключить. Подключённая пара становится учётной записью сервера, а секретный ключ также служит ключом подписи filer сервера, поэтому порт gRPC рядом с портом S3 тоже не принимает неаутентифицированных изменений.
  • Что читает потребитель. Хранилище публикует bucket, endpoint (http://store-default:8333 в Kubernetes, http://store:8333 в Compose), host, port 8333, protocol s3 и region us-east-1 — регион, который S3-клиенты читают у сервера, не сообщающего никакого. Подключённый к нему потребитель направляет свой S3-клиент на endpoint и предъявляет пару ключей в собственном подключении.

Создание примера

Этот пример можно собрать командами ниже или поручить сборку вашему ИИ-ассистенту.

Запишите пример в новую папку, названную по его имени:

Terminal window
aggrega scaffold --example s3-object-store

Затем она выводит команды, которые нужно выполнить дальше. Первая переходит в новую папку:

Terminal window
cd s3-object-store

Сборка

В этом рабочем пространстве нет .aggrega-config.yaml, поэтому сущности стандартной библиотеки разрешаются из реестра hub, hub.aggrega.ai, и флаг каталога не нужен; --auto-pull во время сборки записывает lock-файл, которого нет в свежем клоне:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)
aggrega build --release release-helm-synth-auth.yaml --auto-pull

Отрендеренные артефакты помещаются в dist/.

Сборка aggregate.yaml, который не подключает ключей, на любой цели останавливается до какой-либо отрисовки:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull
[… omitted: the pull's lines, which report the same halt, and a lint notice]
[CATALOG_ERROR E0033]
Recipe/FeatureRecipe assertions
caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_id

release-compose.yaml останавливается на той же проверке, и её способ исправления называет форму, которую принимает путь Compose: «attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}» (подключите к access_key_id учётные данные, передающие AWS_ACCESS_KEY_ID, например core/secret-value с ключом AWS_ACCESS_KEY_ID и origin в виде ссылки на переменную Compose, такой как ${AWS_ACCESS_KEY_ID}). Исправление — это шаг, который делают два других Aggregates: подключить учётные данные под каждым из features.access_key_id и features.secret_access_key в компоненте store.

С ИИ-ассистентом

ИИ-ассистент, настроенный с инструментами Aggrega, может сделать то же самое: вставьте в него этот промпт.

Используйте только инструменты Aggrega и не создавайте папки самостоятельно. Если папка рабочей области ещё не содержит папку `s3-object-store`, вызовите один раз инструмент `scaffold` с параметром `example` со значением `s3-object-store` и без `dir`: он запишет пример в новую папку `s3-object-store`. Затем вызовите инструмент `build` по одному разу для каждой сущности Release, в таком порядке — `release-compose-auth.yaml` и `release-helm-synth-auth.yaml`, — каждый раз с параметрами `workspace_root` — `s3-object-store`, `release` — этот файл, `auto_pull` — true и `write` — true. Затем вызовите инструмент `build` так же с параметром `release` со значением `release-helm-synth.yaml`: этот вызов должен быть отклонён, поэтому прочитайте мне отказ. Сообщите мне, какие файлы записали первые две сборки; они находятся в `s3-object-store/dist/`.

Примечание о передаче учётных данных

На пути Compose каждый ключ — это секрет inject-value (aggregate-auth.yaml): его значение передаётся по каналу окружения компонента в переменной, которую называет его values.key, — AWS_ACCESS_KEY_ID или AWS_SECRET_ACCESS_KEY; это те переменные, которые Recipe передаёт серверу, а подключение, передающее значение под любым другим именем, останавливает сборку с указанием слота. Каждый origin — это ссылка на переменную Compose, поэтому отрисованный файл содержит ссылку, а не ключ:

environment:
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}

Путь синтезированного helm использует ссылочные учётные данные (aggregate-helm-synth-auth.yaml): каждый ключ материализуется как Kubernetes Secret, названный по компоненту и слоту, а StatefulSet ссылается на него через env secretKeyRef, поэтому ни один ключ не появляется в манифесте StatefulSet — только в Secrets:

env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: store-access-key-id
key: access-key-id
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key
- name: WEED_JWT_FILER_SIGNING_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key

Значения origin в aggregate-helm-synth-auth.yaml — заглушки для разработки, записываемые в создаваемые Secrets как есть. Для сущности Release с реальным трафиком вместо этого сопоставьте core/referenced-secret с k8s-existing-secret, указав в каждом origin Secret, который уже существует в пространстве имён и хранит ключ под key подключения.

Запуск (Compose)

Terminal window
aggrega build --release release-compose-auth.yaml --auto-pull
export S3_ACCESS_KEY_ID=<an access key identifier of your choosing>
export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>
docker compose -f dist/app/compose/docker-compose.yaml up -d

S3 API отвечает на http://localhost:8333, как только сервис бакета создаст media. Направьте любой S3-клиент на этот адрес с экспортированной парой ключей и регионом us-east-1. Остановить можно командой docker compose -f dist/app/compose/docker-compose.yaml down.