Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Penyimpanan objek yang kompatibel dengan S3 — satu komponen, dua target, sepasang kunci yang wajib

Contoh ini mengompilasi satu penyimpanan objek yang kompatibel dengan S3, komponen core/storage/s3-object-store, ke dua realisasi self-hosted-nya:

  • Docker Compose untuk pengembangan lokal, melalui compose/s3-object-store, dan
  • helm Recipe tersintesis helm/s3-object-store di Kubernetes, tanpa chart eksternal.

Keduanya menjalankan SeaweedFS (Apache-2.0) dari image chrislusf/seaweedfs yang diterbitkan proyeknya sebagai satu proses server yang menyimpan satu bucket, yang dibuat sebelum server mulai melayani. Komponen yang sama direalisasikan di Amazon S3 dan di Google Cloud Storage oleh Recipes lain; konsumen membaca endpoint, bucket, dan region terpublikasi yang sama, realisasi mana pun yang dipilih Manifest.

Dua slot kunci komponen, access_key_id dan secret_access_key, bersifat opsional, karena layanan terkelola tidak mengambil kunci dari bucket. SeaweedFS mengambil pasangan itu sebagai akun S3 milik server sendiri dan tidak memiliki nilai bawaan untuknya, sehingga kedua realisasinya berhenti jika salah satu slot kosong. aggregate.yaml tidak mengisi apa pun dan menunjukkan build yang berhenti; dua Aggregates lainnya mengisi kedua slot dalam bentuk yang dikirimkan oleh masing-masing target: aggregate-auth.yaml untuk jalur Compose (kredensial inject-value yang dimunculkan sebagai variabel lingkungan), dan aggregate-helm-synth-auth.yaml untuk jalur helm tersintesis (kredensial yang dapat direferensikan yang diwujudkan sebagai Secret Kubernetes).

Berkas

BerkasPeran
aggregate.yamlMaksud pengembang: satu komponen store bertipe core/storage/s3-object-store yang menyimpan bucket media, tanpa kunci yang dilampirkan — build-nya berhenti dengan menyebut slot access_key_id yang kosong.
aggregate-auth.yamlPenyimpanan yang sama dengan kedua kunci dilampirkan sebagai kredensial inject-value (jalur Compose).
aggregate-helm-synth-auth.yamlPenyimpanan yang sama dengan kedua kunci dilampirkan sebagai kredensial yang dapat direferensikan untuk jalur helm tersintesis — setiap kunci diwujudkan sebagai Secret Kubernetes yang direferensikan oleh StatefulSet.
manifest-compose.yamlMemetakan tipe penyimpanan ke Compose Recipe (compose/s3-object-store) dan kredensial ke dotenv-secret.
manifest-helm-synth.yamlMemetakan tipe penyimpanan ke helm Recipe tersintesis (helm/s3-object-store) dan kredensial ke k8s-secret-from-parameter.
release-compose.yaml / release-helm-synth.yamlCatatan operator untuk dua realisasi aggregate.yaml, yang tidak melampirkan kunci, sehingga setiap build berhenti.
release-compose-auth.yaml / release-helm-synth-auth.yamlCatatan operator untuk dua Aggregates yang mengisi kedua slot.

Apa yang didemonstrasikan

  • Satu komponen, banyak realisasi. Aggregate menyebut bucket dan tidak menyebut apa pun tentang server. Setiap Manifest menyatakan bagaimana penyimpanan direalisasikan, dan Manifest yang memilih realisasi terkelola sebagai gantinya men-deploy Aggregate yang sama ke Amazon S3 atau Cloud Storage.
  • Bucket datang bersama penyimpanannya. values.bucket milik pengembang adalah bucket yang disimpan dan dipublikasikan oleh penyimpanan tersebut. Sebuah init container di Kubernetes, dan sebuah init service di Compose, membuatnya sebelum server mulai melayani dan membiarkan bucket yang sudah ada apa adanya, sehingga konsumen tidak pernah bertemu penyimpanan tanpa bucket-nya. Nama bucket yang tidak diterima SeaweedFS menghentikan build dengan menyebut aturannya.
  • Server stateful pada satu volume. Di Kubernetes, Recipe tersintesis merender sebuah StatefulSet satu replika dengan volume claim yang di-mount di /data, sebuah ClusterIP Service, dan headless Service yang disebut oleh StatefulSet; di Compose, layanan me-mount volume bernama pada path yang sama dan memublikasikan port S3 di host.
  • Sepasang kunci wajib tanpa nilai bawaan. Bila ada akun, SeaweedFS mengautentikasi setiap permintaan S3, sehingga tidak ada kunci yang dimiliki setiap pembaca katalog yang dapat menggantikannya. Setiap Recipe berhenti pada slot yang kosong sebelum apa pun dirender, dengan menyebut slot tersebut dan apa yang harus dilampirkan. Pasangan yang dilampirkan menjadi akun server, dan secret key juga merupakan kunci penandatanganan filer milik server, sehingga port gRPC di samping port S3 juga tidak menerima perubahan yang tidak terautentikasi.
  • Apa yang dibaca konsumen. Penyimpanan memublikasikan bucket, endpoint (http://store-default:8333 di Kubernetes, http://store:8333 di Compose), host, port 8333, protocol s3, dan region us-east-1, yaitu region yang dibaca klien S3 dari server yang tidak melaporkan region apa pun. Konsumen yang tersambung dengannya mengarahkan klien S3-nya ke endpoint tersebut dan menyajikan sepasang kunci pada koneksinya sendiri.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example s3-object-store

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd s3-object-store

Build

Workspace ini tidak memuat .aggrega-config.yaml, sehingga entitas pustaka standar di-resolve dari registry hub, hub.aggrega.ai, dan flag katalog tidak diperlukan; --auto-pull menulis lockfile yang tidak dimiliki clone baru selama build:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose-auth.yaml --auto-pull
# Kubernetes (synthesized helm Recipe)
aggrega build --release release-helm-synth-auth.yaml --auto-pull

Artefak yang dirender ditempatkan di bawah dist/.

Mem-build aggregate.yaml, yang tidak melampirkan kunci, berhenti pada kedua target sebelum apa pun dirender:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull
[… omitted: the pull's lines, which report the same halt, and a lint notice]
[CATALOG_ERROR E0033]
Recipe/FeatureRecipe assertions
caused by: Recipe "s3-object-store" instance "store" assertion "key_slots_filled": assertion "Recipe/s3-object-store/store/key_slots_filled": template: Recipe/s3-object-store/store/key_slots_filled:1:138: executing "Recipe/s3-object-store/store/key_slots_filled" at <fail (printf "the %s slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to %s" $slot $slot)>: error calling fail: assertion failed: the access_key_id slot is empty, and SeaweedFS takes the access_key_id and secret_access_key pair as the account its S3 API authenticates every request by, so there is no default for either: attach a referenceable credential, such as core/referenced-secret, to access_key_id

release-compose.yaml berhenti pada asersi yang sama, dan petunjuk perbaikannya menyebut bentuk yang diambil jalur Compose: “attach a credential to access_key_id delivering AWS_ACCESS_KEY_ID, such as core/secret-value with key AWS_ACCESS_KEY_ID and its origin a Compose variable reference such as ${AWS_ACCESS_KEY_ID}” (lampirkan ke access_key_id kredensial yang mengirimkan AWS_ACCESS_KEY_ID, misalnya core/secret-value dengan kunci AWS_ACCESS_KEY_ID dan origin berupa referensi variabel Compose seperti ${AWS_ACCESS_KEY_ID}). Perbaikannya adalah langkah yang diambil dua Aggregates lainnya: melampirkan kredensial di bawah masing-masing features.access_key_id dan features.secret_access_key pada komponen store.

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `s3-object-store`, panggil alat `scaffold` sekali dengan `example` diatur ke `s3-object-store` dan tanpa `dir`: alat ini menulis contoh ke folder `s3-object-store` yang baru. Lalu panggil alat `build` sekali untuk setiap Release, dengan urutan ini — `release-compose-auth.yaml` dan `release-helm-synth-auth.yaml` — setiap kali dengan `workspace_root` diatur ke `s3-object-store`, `release` diatur ke file tersebut, `auto_pull` diatur ke true, dan `write` diatur ke true. Kemudian panggil alat `build` dengan cara yang sama dengan `release` diatur ke `release-helm-synth.yaml`: panggilan ini memang seharusnya ditolak, jadi bacakan penolakannya kepada saya. Beri tahu saya file mana yang ditulis oleh dua build pertama; file tersebut berada di bawah `s3-object-store/dist/`.

Catatan pengiriman kredensial

Di jalur Compose, setiap kunci berupa secret inject-value (aggregate-auth.yaml): nilainya dikirim melalui pipa lingkungan komponen di bawah variabel yang disebut oleh values.key-nya, AWS_ACCESS_KEY_ID atau AWS_SECRET_ACCESS_KEY, yaitu variabel yang diberikan Recipe kepada server, dan lampiran yang mengirim di bawah nama lain mana pun menghentikan build dengan menyebut slot tersebut. Setiap origin adalah referensi variabel Compose, sehingga file yang dirender membawa referensi, bukan kunci:

environment:
AWS_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID}
AWS_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY}
WEED_JWT_FILER_SIGNING_KEY: ${S3_SECRET_ACCESS_KEY}

Jalur helm tersintesis menggunakan kredensial yang dapat direferensikan (aggregate-helm-synth-auth.yaml): setiap kunci diwujudkan sebagai Secret Kubernetes yang dinamai berdasarkan komponen dan slot, dan StatefulSet mereferensikannya melalui env secretKeyRef, sehingga tidak ada kunci yang muncul di manifest StatefulSet — hanya di Secret:

env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: store-access-key-id
key: access-key-id
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key
- name: WEED_JWT_FILER_SIGNING_KEY
valueFrom:
secretKeyRef:
name: store-secret-access-key
key: secret-access-key

Nilai origin di aggregate-helm-synth-auth.yaml adalah placeholder pengembangan, yang ditulis apa adanya ke dalam Secret yang dihasilkan. Untuk Release yang melayani lalu lintas nyata, petakan core/referenced-secret ke k8s-existing-secret sebagai gantinya, dengan setiap origin menyebut Secret yang sudah ada di namespace dan menyimpan kunci tersebut di bawah key milik lampiran.

Menjalankannya (Compose)

Terminal window
aggrega build --release release-compose-auth.yaml --auto-pull
export S3_ACCESS_KEY_ID=<an access key identifier of your choosing>
export S3_SECRET_ACCESS_KEY=<a secret key of your choosing>
docker compose -f dist/app/compose/docker-compose.yaml up -d

API S3 menjawab di http://localhost:8333 setelah layanan bucket membuat media. Arahkan klien S3 apa pun ke alamat itu dengan pasangan kunci yang diekspor dan region us-east-1. Hentikan dengan docker compose -f dist/app/compose/docker-compose.yaml down.