S3-сумісне об’єктне сховище — один компонент, дві цілі, обов’язкова пара ключів
Цей приклад компілює одне S3-сумісне об’єктне сховище, компонент core/storage/s3-object-store, у дві його самостійно розгорнуті реалізації:
- Docker Compose для локальної розробки, через
compose/s3-object-store, і - синтезований helm Recipe
helm/s3-object-storeу Kubernetes, без зовнішнього чарту.
Обидві запускають SeaweedFS (Apache-2.0) з образу chrislusf/seaweedfs, який публікує його проєкт, як один серверний процес з одним бакетом, що створюється до того, як сервер почне обслуговувати запити. Той самий компонент реалізують в Amazon S3 і в Google Cloud Storage інші Recipes; споживач читає ту саму опубліковану кінцеву точку, бакет і регіон, хоч яку реалізацію вибере Manifest.
Два слоти ключів компонента, access_key_id і secret_access_key, необов’язкові, бо керований сервіс не бере ключа від бакета. SeaweedFS використовує цю пару як власний обліковий запис S3 сервера і не має для неї значення за замовчуванням, тому обидві його реалізації зупиняються, якщо будь-який зі слотів порожній. aggregate.yaml нічого не заповнює і показує, як збирання зупиняється; два інші Aggregates заповнюють обидва слоти в тій формі, у якій їх доставляє кожна ціль: aggregate-auth.yaml для шляху Compose (облікові дані inject-value, що з’являються як змінні середовища) і aggregate-helm-synth-auth.yaml для синтезованого шляху helm (облікові дані, на які можна посилатися, матеріалізовані як Kubernetes Secrets).
Файли
| Файл | Роль |
|---|---|
aggregate.yaml | Намір розробника: один компонент store типу core/storage/s3-object-store з бакетом media, без приєднаного ключа — його збирання зупиняється з повідомленням про порожній слот access_key_id. |
aggregate-auth.yaml | Те саме сховище з обома ключами, приєднаними як облікові дані inject-value (шлях Compose). |
aggregate-helm-synth-auth.yaml | Те саме сховище з обома ключами, приєднаними як облікові дані, на які можна посилатися, для синтезованого шляху helm — кожен ключ матеріалізується як Kubernetes Secret, на який посилається StatefulSet. |
manifest-compose.yaml | Зіставляє тип сховища з Compose Recipe (compose/s3-object-store), а облікові дані — з dotenv-secret. |
manifest-helm-synth.yaml | Зіставляє тип сховища із синтезованим helm Recipe (helm/s3-object-store), а облікові дані — з k8s-secret-from-parameter. |
release-compose.yaml / release-helm-synth.yaml | Записи оператора для двох реалізацій aggregate.yaml, який не приєднує жодного ключа, тож кожне збирання зупиняється. |
release-compose-auth.yaml / release-helm-synth-auth.yaml | Записи оператора для двох сутностей Aggregates, що заповнюють обидва слоти. |
Що демонструє приклад
- Один компонент, багато реалізацій. Aggregate називає бакет і нічого не каже про сервер. Кожен Manifest визначає, як реалізувати сховище, а Manifest, який натомість вибирає керовану реалізацію, розгортає той самий Aggregate в Amazon S3 або Cloud Storage.
- Бакет постачається разом зі сховищем.
values.bucketрозробника — це бакет, який сховище містить і публікує. Init-контейнер у Kubernetes та init-сервіс у Compose створюють його до того, як сервер почне обслуговувати запити, і залишають наявний бакет як є, тож споживач ніколи не натрапить на сховище без його бакета. Ім’я бакета, якого SeaweedFS не приймає, зупиняє збирання з указанням правила. - Сервер зі станом на одному томі. У Kubernetes синтезований Recipe рендерить StatefulSet з однією реплікою та запитом тому, змонтованим у
/data, Service типу ClusterIP і headless Service, який називає StatefulSet; у Compose сервіс монтує іменований том за тим самим шляхом і публікує порт S3 на хості. - Обов’язкова пара ключів без значення за замовчуванням. Коли обліковий запис існує, SeaweedFS автентифікує кожен запит S3, тож жоден ключ, відомий кожному читачеві каталогу, не може його замінити. Кожен Recipe зупиняється на порожньому слоті ще до рендерингу, називаючи слот і те, що слід приєднати. Приєднана пара стає обліковим записом сервера, а секретний ключ також є ключем підпису filer сервера, тож порт gRPC поруч із портом S3 теж не приймає неавтентифікованих змін.
- Що читає споживач. Сховище публікує
bucket,endpoint(http://store-default:8333у Kubernetes,http://store:8333у Compose),host,port8333,protocols3іregionus-east-1— регіон, який клієнти S3 читають із сервера, що не повідомляє жодного. Підключений до нього споживач спрямовує свій клієнт S3 на кінцеву точку і пред’являє пару ключів у власному з’єднанні.
Створення прикладу
Цей приклад можна зібрати командами нижче або доручити збирання вашому ШІ-асистенту.
Запишіть приклад у нову теку, названу за ним:
aggrega scaffold --example s3-object-storeПотім вона виводить команди, які слід виконати далі. Перша переходить у нову теку:
cd s3-object-storeЗбирання
Цей робочий простір не містить .aggrega-config.yaml, тож сутності стандартної бібліотеки розв’язуються з реєстру hub, hub.aggrega.ai, і прапорець каталогу не потрібен; --auto-pull під час збирання записує lock-файл, якого бракує свіжому клону:
# Local development (Docker Compose)aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)aggrega build --release release-helm-synth-auth.yaml --auto-pullВідрендерені артефакти потрапляють у dist/.
Збирання aggregate.yaml, який не приєднує жодного ключа, зупиняється на будь-якій цілі ще до рендерингу:
aggrega build --release release-helm-synth.yaml --auto-pull[… omitted: the pull's lines, which report the same halt, and a lint notice][CATALOG_ERROR E0033] Recipe/FeatureRecipe assertions caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_idrelease-compose.yaml зупиняється на тій самій перевірці, і її спосіб виправлення називає форму, якої набуває шлях Compose: «attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}» (приєднайте до access_key_id облікові дані, що доставляють AWS_ACCESS_KEY_ID, наприклад core/secret-value з ключем AWS_ACCESS_KEY_ID і origin у вигляді посилання на змінну Compose, як-от ${AWS_ACCESS_KEY_ID}). Виправлення — це крок, який роблять два інші Aggregates: приєднати облікові дані під кожним із features.access_key_id і features.secret_access_key у компоненті store.
З ШІ-асистентом
ШІ-асистент, налаштований з інструментами Aggrega, може зробити те саме: вставте йому цей промпт.
Використовуйте лише інструменти Aggrega і не створюйте жодної папки самостійно. Якщо папка робочої області ще не містить папки `s3-object-store`, викличте один раз інструмент `scaffold` з параметром `example` зі значенням `s3-object-store` і без `dir`: він запише приклад у нову папку `s3-object-store`. Потім викличте інструмент `build` по одному разу для кожної сутності Release, у такому порядку — `release-compose-auth.yaml` і `release-helm-synth-auth.yaml`, — щоразу з параметрами `workspace_root` — `s3-object-store`, `release` — цей файл, `auto_pull` — true і `write` — true. Потім викличте інструмент `build` так само з параметром `release` зі значенням `release-helm-synth.yaml`: цей виклик має бути відхилено, тож прочитайте мені відмову. Скажіть мені, які файли записали перші дві збірки; вони розташовані в `s3-object-store/dist/`.Примітка щодо доставки облікових даних
На шляху Compose кожен ключ — це секрет inject-value (aggregate-auth.yaml): його значення передається каналом середовища компонента у змінній, яку називає його values.key, — AWS_ACCESS_KEY_ID або AWS_SECRET_ACCESS_KEY; це ті змінні, які Recipe передає серверу, а приєднання, що доставляє значення під будь-яким іншим ім’ям, зупиняє збирання з указанням слота. Кожен origin — це посилання на змінну Compose, тож відрендерений файл містить посилання, а не ключ:
environment: AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}Синтезований шлях helm використовує облікові дані, на які можна посилатися (aggregate-helm-synth-auth.yaml): кожен ключ матеріалізується як Kubernetes Secret, названий за компонентом і слотом, а StatefulSet посилається на нього через env secretKeyRef, тому жоден ключ не з’являється в маніфесті StatefulSet — лише в Secrets:
env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: store-access-key-id key: access-key-id - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-key - name: WEED_JWT_FILER_SIGNING_KEY valueFrom: secretKeyRef: name: store-secret-access-key key: secret-access-keyЗначення origin в aggregate-helm-synth-auth.yaml — заповнювачі для розробки, що записуються у створювані Secrets як є. Для сутності Release з реальним трафіком натомість зіставте core/referenced-secret з k8s-existing-secret, указавши в кожному origin Secret, який уже існує в просторі імен і зберігає ключ під key приєднання.
Запуск (Compose)
aggrega build --release release-compose-auth.yaml --auto-pullexport S3_ACCESS_KEY_ID=<an access key identifier of your choosing>export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>docker compose -f dist/app/compose/docker-compose.yaml up -dS3 API відповідає на http://localhost:8333, щойно сервіс бакета створить media. Спрямуйте будь-який клієнт S3 на цю адресу з експортованою парою ключів і регіоном us-east-1. Для зупинки виконайте docker compose -f dist/app/compose/docker-compose.yaml down.