Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Fluentd — agregator log, dua target

Contoh ini mengompilasi agregator log Fluentd — ujung penerima dari sebuah pipeline log — dari satu Aggregate yang ditulis oleh Developer ke dua realisasi:

  • Docker Compose untuk pengembangan lokal, dan
  • Recipe helm yang disintesis yang menjalankan image upstream resmi fluent/fluentd secara langsung di Kubernetes (tanpa chart eksternal).

Recipe helm yang disintesis tidak mengambil apa pun saat build; helm/fluentd-chart merender chart milik proyek Fluent sendiri sebagai agregator yang sama, untuk build yang dapat menjangkau repositori chart.

aggregate.yaml yang sama menggerakkan keduanya. Hanya lapisan Recipe yang dipilih oleh Manifest yang berubah per realisasi.

Peran agregator

Sebuah pipeline log memiliki dua ujung. Sebuah forwarder (seperti Fluent Bit) mengumpulkan record log dan mengirimkannya ke hilir. Sebuah agregator adalah penampung di ujung lainnya: ia mendengarkan pada protokol input forward, menerima record yang dikirim forwarder hulu kepadanya, dan merutekannya ke output-nya. Di sini Fluentd memainkan peran agregator.

Karena agregator menerima alih-alih meneruskan, ia tidak mendeklarasikan socket uses hilir. Sebagai gantinya, ia mengekspor host dan port dari endpoint forward-nya melalui provides, sehingga forwarder dapat mengikatnya pada socket forward dan mengirimkan record kepadanya. Endpoint forward mendengarkan pada port 24224 — port forward Fluentd yang lazim digunakan.

Berkas

BerkasPeran
aggregate.yamlIntent Developer: sebuah komponen aggregator (core/observability/fluentd) yang mendengarkan pada input forward.
manifest-compose.yamlMemetakan tipe Fluentd ke Recipe Compose (compose/fluentd).
manifest-helm-synth.yamlMemetakan tipe Fluentd ke Recipe helm yang disintesis (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlRecord Operator untuk kedua realisasi.
release-helm-synth-buffer.yamlRealisasi helm yang disintesis dengan buffering tahan lama diaktifkan (infra.storage.size ditetapkan).

Karena Recipe Compose maupun Recipe helm yang disintesis sama-sama bernama fluentd, Manifests merujuknya dengan cakupan provider sebagai compose/fluentd dan helm/fluentd.

Apa yang didemonstrasikan

  • Satu permukaan penulisan, banyak target. Satu Aggregate menjadi sumber kebenaran tentang apa stack tersebut. Setiap Manifest menyatakan bagaimana merealisasikannya.
  • Ujung penerima dari String Pipe. Agregator mengekspor endpoint forward-nya melalui provides — host (layanan agregator) dan port (24224) pada protokol forward. Forwarder yang mengikat komponen ini menyalurkan string tersebut ke output forward-nya sendiri; compiler merutekannya tanpa menafsirkannya.
  • Sintesis Workload (Kubernetes). Recipe helm yang disintesis mendeklarasikan sebuah Workload — sebuah Deployment ditambah sebuah Service ClusterIP yang menjalankan image resmi fluent/fluentd — yang diterjemahkan oleh provider helm menjadi manifest Kubernetes tanpa chart eksternal. Kumpulan resource yang dirender persis sama dengan yang dideklarasikan oleh Workload.
  • Perutean yang dikendalikan developer. Match output milik developer memilih record yang diterima mana yang dirutekan ke output agregator. Nilai default-nya adalah **, yang merutekan setiap record yang diterima.
  • Buffer sementara secara default, tahan lama bila diminta. Agregator melakukan buffering di memori, sehingga render default tidak menyertakan volume persisten. Menetapkan infra.storage.size (lihat release-helm-synth-buffer.yaml) menopang buffer dengan volume tahan lama yang di-mount di /fluentd/log; workload tetap berupa Deployment dengan satu replika.
  • Image yang dapat direproduksi. infra.engine_version mengunci tag image Fluentd, sehingga workload yang dirender merujuk ke image yang tetap dan Recipe yang disintesis tidak merender tag yang mengambang.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example fluentd-aggregator

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd fluentd-aggregator

Build

Workspace ini tidak memuat .aggrega-config.yaml, sehingga entitas pustaka standar di-resolve dari registry hub, hub.aggrega.ai, dan flag katalog tidak diperlukan; --auto-pull menulis lockfile yang tidak dimiliki clone baru selama build:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)
aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volume
aggrega build --release release-helm-synth-buffer.yaml --auto-pull

Artefak yang dirender ditempatkan di bawah dist/.

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `fluentd-aggregator`, panggil alat `scaffold` sekali dengan `example` diatur ke `fluentd-aggregator` dan tanpa `dir`: alat ini menulis contoh ke dalam folder `fluentd-aggregator` yang baru. Lalu panggil alat `build` sekali untuk setiap Release, dengan urutan ini — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — setiap kali dengan `workspace_root` diatur ke `fluentd-aggregator`, `release` diatur ke file tersebut, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana yang ditulis oleh setiap build; file tersebut berada di bawah `fluentd-aggregator/dist/`.

Seperti apa endpoint forward

Di Compose, agregator menulis fluent.conf dengan sumber input forward yang terikat ke port forward, dan merutekan record yang cocok ke output standar:

<source>
@type forward
bind 0.0.0.0
port 24224
</source>
<match **>
@type stdout
</match>

Di Kubernetes, Recipe helm yang disintesis menulis fluent.conf yang sama saat start-up, dan Service ClusterIP mengekspos port forward:

spec:
type: ClusterIP
[… omitted: the selector matching the aggregator's Pods]
ports:
- name: forward
port: 24224
targetPort: forward

Deployment merujuk ke image yang dikunci dan mengekspos port forward pada container:

image: fluent/fluentd:v1.19.3-debian-2.1
[… omitted: the start-up command that writes the fluent.conf shown above]
ports:
- name: forward
containerPort: 24224

Ketika infra.storage.size ditetapkan, Recipe juga merender sebuah PersistentVolumeClaim dan me-mount-nya di /fluentd/log, menopang buffer file sehingga record yang di-buffer tetap bertahan setelah restart.

Menjalankannya (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Agregator mendengarkan record yang diteruskan pada localhost:24224. Kirimkan record uji dengan forwarder Fluentd atau Fluent Bit apa pun yang diarahkan ke port tersebut, dan record yang diterima akan muncul di output standar agregator. Hentikan dengan docker compose -f dist/app/compose/docker-compose.yaml down.