Перейти до вмісту
AggregaAggrega
Обрати мову: Українська
Цю сторінку перекладено машинним способом. Читати оригінал англійською.

S3-сумісне об’єктне сховище — один компонент, дві цілі, обов’язкова пара ключів

Цей приклад компілює одне S3-сумісне об’єктне сховище, компонент core/storage/s3-object-store, у дві його самостійно розгорнуті реалізації:

  • Docker Compose для локальної розробки, через compose/s3-object-store, і
  • синтезований helm Recipe helm/s3-object-store у Kubernetes, без зовнішнього чарту.

Обидві запускають SeaweedFS (Apache-2.0) з образу chrislusf/seaweedfs, який публікує його проєкт, як один серверний процес з одним бакетом, що створюється до того, як сервер почне обслуговувати запити. Той самий компонент реалізують в Amazon S3 і в Google Cloud Storage інші Recipes; споживач читає ту саму опубліковану кінцеву точку, бакет і регіон, хоч яку реалізацію вибере Manifest.

Два слоти ключів компонента, access_key_id і secret_access_key, необов’язкові, бо керований сервіс не бере ключа від бакета. SeaweedFS використовує цю пару як власний обліковий запис S3 сервера і не має для неї значення за замовчуванням, тому обидві його реалізації зупиняються, якщо будь-який зі слотів порожній. aggregate.yaml нічого не заповнює і показує, як збирання зупиняється; два інші Aggregates заповнюють обидва слоти в тій формі, у якій їх доставляє кожна ціль: aggregate-auth.yaml для шляху Compose (облікові дані inject-value, що з’являються як змінні середовища) і aggregate-helm-synth-auth.yaml для синтезованого шляху helm (облікові дані, на які можна посилатися, матеріалізовані як Kubernetes Secrets).

Файли

ФайлРоль
aggregate.yamlНамір розробника: один компонент store типу core/storage/s3-object-store з бакетом media, без приєднаного ключа — його збирання зупиняється з повідомленням про порожній слот access_key_id.
aggregate-auth.yamlТе саме сховище з обома ключами, приєднаними як облікові дані inject-value (шлях Compose).
aggregate-helm-synth-auth.yamlТе саме сховище з обома ключами, приєднаними як облікові дані, на які можна посилатися, для синтезованого шляху helm — кожен ключ матеріалізується як Kubernetes Secret, на який посилається StatefulSet.
manifest-compose.yamlЗіставляє тип сховища з Compose Recipe (compose/s3-object-store), а облікові дані — з dotenv-secret.
manifest-helm-synth.yamlЗіставляє тип сховища із синтезованим helm Recipe (helm/s3-object-store), а облікові дані — з k8s-secret-from-parameter.
release-compose.yaml / release-helm-synth.yamlЗаписи оператора для двох реалізацій aggregate.yaml, який не приєднує жодного ключа, тож кожне збирання зупиняється.
release-compose-auth.yaml / release-helm-synth-auth.yamlЗаписи оператора для двох сутностей Aggregates, що заповнюють обидва слоти.

Що демонструє приклад

  • Один компонент, багато реалізацій. Aggregate називає бакет і нічого не каже про сервер. Кожен Manifest визначає, як реалізувати сховище, а Manifest, який натомість вибирає керовану реалізацію, розгортає той самий Aggregate в Amazon S3 або Cloud Storage.
  • Бакет постачається разом зі сховищем. values.bucket розробника — це бакет, який сховище містить і публікує. Init-контейнер у Kubernetes та init-сервіс у Compose створюють його до того, як сервер почне обслуговувати запити, і залишають наявний бакет як є, тож споживач ніколи не натрапить на сховище без його бакета. Ім’я бакета, якого SeaweedFS не приймає, зупиняє збирання з указанням правила.
  • Сервер зі станом на одному томі. У Kubernetes синтезований Recipe рендерить StatefulSet з однією реплікою та запитом тому, змонтованим у /data, Service типу ClusterIP і headless Service, який називає StatefulSet; у Compose сервіс монтує іменований том за тим самим шляхом і публікує порт S3 на хості.
  • Обов’язкова пара ключів без значення за замовчуванням. Коли обліковий запис існує, SeaweedFS автентифікує кожен запит S3, тож жоден ключ, відомий кожному читачеві каталогу, не може його замінити. Кожен Recipe зупиняється на порожньому слоті ще до рендерингу, називаючи слот і те, що слід приєднати. Приєднана пара стає обліковим записом сервера, а секретний ключ також є ключем підпису filer сервера, тож порт gRPC поруч із портом S3 теж не приймає неавтентифікованих змін.
  • Що читає споживач. Сховище публікує bucket, endpoint (http://store-default:8333 у Kubernetes, http://store:8333 у Compose), host, port 8333, protocol s3 і region us-east-1 — регіон, який клієнти S3 читають із сервера, що не повідомляє жодного. Підключений до нього споживач спрямовує свій клієнт S3 на кінцеву точку і пред’являє пару ключів у власному з’єднанні.

Створення прикладу

Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.

Запишіть приклад у нову теку, названу за ним:

Terminal window
aggrega scaffold --example s3-object-store

Потім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:

Terminal window
cd s3-object-store

Збирання

Цей робочий простір не містить .aggrega-config.yaml, тож сутності стандартної бібліотеки розв’язуються з реєстру hub, hub.aggrega.ai, і прапорець каталогу не потрібен; --auto-pull під час збирання записує lock-файл, якого бракує свіжому клону:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)
aggrega build --release release-helm-synth-auth.yaml --auto-pull

Відрендерені артефакти потрапляють у dist/.

Збирання aggregate.yaml, який не приєднує жодного ключа, зупиняється на будь-якій цілі ще до рендерингу:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull
[… omitted: the pull's lines, which report the same halt, and a lint notice]
[CATALOG_ERROR E0033]
Recipe/FeatureRecipe assertions
caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_id

release-compose.yaml зупиняється на тій самій перевірці, і її спосіб виправлення називає форму, якої набуває шлях Compose: «attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}» (приєднайте до access_key_id облікові дані, що доставляють AWS_ACCESS_KEY_ID, наприклад core/secret-value з ключем AWS_ACCESS_KEY_ID і origin у вигляді посилання на змінну Compose, як-от ${AWS_ACCESS_KEY_ID}). Виправлення — це крок, який роблять два інші Aggregates: приєднати облікові дані під кожним із features.access_key_id і features.secret_access_key у компоненті store.

З ШІ-асистентом

ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.

Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо папка робочої області ще не містить папки `s3-object-store`, викличте один раз інструмент `scaffold` з параметром `example` зі значенням `s3-object-store` і без `dir`: він запише приклад у нову папку `s3-object-store`. Потім викличте інструмент `build` по одному разу для кожної сутності Release, у такому порядку — `release-compose-auth.yaml` і `release-helm-synth-auth.yaml`, — щоразу з параметрами `workspace_root` — `s3-object-store`, `release` — цей файл, `auto_pull` — true і `write` — true. Потім викличте інструмент `build` так само з параметром `release` зі значенням `release-helm-synth.yaml`: цей виклик має бути відхилено, тож прочитайте мені відмову. Скажіть мені, які файли записали перші дві збірки; вони розташовані в `s3-object-store/dist/`.

Примітка щодо доставки облікових даних

На шляху Compose кожен ключ — це секрет inject-value (aggregate-auth.yaml): його значення передається каналом середовища компонента у змінній, яку називає його values.key, — AWS_ACCESS_KEY_ID або AWS_SECRET_ACCESS_KEY; це ті змінні, які Recipe передає серверу, а приєднання, що доставляє значення під будь-яким іншим ім’ям, зупиняє збирання з указанням слота. Кожен origin — це посилання на змінну Compose, тож відрендерений файл містить посилання, а не ключ:

environment:
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}

Синтезований шлях helm використовує облікові дані, на які можна посилатися (aggregate-helm-synth-auth.yaml): кожен ключ матеріалізується як Kubernetes Secret, названий за компонентом і слотом, а StatefulSet посилається на нього через env secretKeyRef, тому жоден ключ не з’являється в маніфесті StatefulSet — лише в Secrets:

env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: store-access-key-id
key: access-key-id
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key
- name: WEED_JWT_FILER_SIGNING_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key

Значення origin в aggregate-helm-synth-auth.yaml — заповнювачі для розробки, що записуються у створювані Secrets як є. Для сутності Release з реальним трафіком натомість зіставте core/referenced-secret з k8s-existing-secret, указавши в кожному origin Secret, який уже існує в просторі імен і зберігає ключ під key приєднання.

Запуск (Compose)

Terminal window
aggrega build --release release-compose-auth.yaml --auto-pull
export S3_ACCESS_KEY_ID=<an access key identifier of your choosing>
export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>
docker compose -f dist/app/compose/docker-compose.yaml up -d

S3 API відповідає на http://localhost:8333, щойно сервіс бакета створить media. Спрямуйте будь-який клієнт S3 на цю адресу з експортованою парою ключів і регіоном us-east-1. Для зупинки виконайте docker compose -f dist/app/compose/docker-compose.yaml down.