Fluentd — agregator log, dua target
Contoh ini mengompilasi agregator log Fluentd — ujung penerima dari sebuah pipeline log — dari satu Aggregate yang ditulis oleh Developer ke dua realisasi:
- Docker Compose untuk pengembangan lokal, dan
- Recipe helm yang disintesis yang menjalankan image upstream resmi
fluent/fluentdsecara langsung di Kubernetes (tanpa chart eksternal).
Recipe helm yang disintesis tidak mengambil apa pun saat build; helm/fluentd-chart
merender chart milik proyek Fluent sendiri sebagai agregator yang sama, untuk build yang
dapat menjangkau repositori chart.
aggregate.yaml yang sama menggerakkan keduanya. Hanya lapisan Recipe yang dipilih oleh
Manifest yang berubah per realisasi.
Peran agregator
Sebuah pipeline log memiliki dua ujung. Sebuah forwarder (seperti Fluent Bit) mengumpulkan
record log dan mengirimkannya ke hilir. Sebuah agregator adalah penampung di ujung
lainnya: ia mendengarkan pada protokol input forward, menerima record yang dikirim
forwarder hulu kepadanya, dan merutekannya ke output-nya. Di sini Fluentd memainkan
peran agregator.
Karena agregator menerima alih-alih meneruskan, ia tidak mendeklarasikan socket
uses hilir. Sebagai gantinya, ia mengekspor host dan port dari endpoint forward-nya
melalui provides, sehingga forwarder dapat mengikatnya pada socket forward dan mengirimkan
record kepadanya. Endpoint forward mendengarkan pada port 24224 — port forward
Fluentd yang lazim digunakan.
Berkas
| Berkas | Peran |
|---|---|
aggregate.yaml | Intent Developer: sebuah komponen aggregator (core/observability/fluentd) yang mendengarkan pada input forward. |
manifest-compose.yaml | Memetakan tipe Fluentd ke Recipe Compose (compose/fluentd). |
manifest-helm-synth.yaml | Memetakan tipe Fluentd ke Recipe helm yang disintesis (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Record Operator untuk kedua realisasi. |
release-helm-synth-buffer.yaml | Realisasi helm yang disintesis dengan buffering tahan lama diaktifkan (infra.storage.size ditetapkan). |
Karena Recipe Compose maupun Recipe helm yang disintesis sama-sama bernama fluentd,
Manifests merujuknya dengan cakupan provider sebagai compose/fluentd dan
helm/fluentd.
Apa yang didemonstrasikan
- Satu permukaan penulisan, banyak target. Satu Aggregate menjadi sumber kebenaran tentang apa stack tersebut. Setiap Manifest menyatakan bagaimana merealisasikannya.
- Ujung penerima dari String Pipe. Agregator mengekspor endpoint forward-nya
melalui
provides—host(layanan agregator) danport(24224) pada protokolforward. Forwarder yang mengikat komponen ini menyalurkan string tersebut ke output forward-nya sendiri; compiler merutekannya tanpa menafsirkannya. - Sintesis Workload (Kubernetes). Recipe helm yang disintesis mendeklarasikan sebuah
Workload — sebuah Deployment ditambah sebuah Service ClusterIP yang menjalankan image resmi
fluent/fluentd— yang diterjemahkan oleh provider helm menjadi manifest Kubernetes tanpa chart eksternal. Kumpulan resource yang dirender persis sama dengan yang dideklarasikan oleh Workload. - Perutean yang dikendalikan developer. Match output milik developer memilih record
yang diterima mana yang dirutekan ke output agregator. Nilai default-nya adalah
**, yang merutekan setiap record yang diterima. - Buffer sementara secara default, tahan lama bila diminta. Agregator melakukan buffering di
memori, sehingga render default tidak menyertakan volume persisten. Menetapkan
infra.storage.size(lihatrelease-helm-synth-buffer.yaml) menopang buffer dengan volume tahan lama yang di-mount di/fluentd/log; workload tetap berupa Deployment dengan satu replika. - Image yang dapat direproduksi.
infra.engine_versionmengunci tag image Fluentd, sehingga workload yang dirender merujuk ke image yang tetap dan Recipe yang disintesis tidak merender tag yang mengambang.
Membuat contoh
Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.
Tulis contoh ke folder baru yang dinamai sesuai contoh itu:
aggrega scaffold --example fluentd-aggregatorKemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:
cd fluentd-aggregatorBuild
Workspace ini tidak memuat .aggrega-config.yaml, sehingga entitas pustaka standar di-resolve dari registry hub, hub.aggrega.ai, dan flag katalog tidak diperlukan; --auto-pull menulis lockfile yang tidak dimiliki clone baru selama build:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullArtefak yang dirender ditempatkan di bawah dist/.
Dengan asisten AI
Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.
Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `fluentd-aggregator`, panggil alat `scaffold` sekali dengan `example` diatur ke `fluentd-aggregator` dan tanpa `dir`: alat ini menulis contoh ke dalam folder `fluentd-aggregator` yang baru. Lalu panggil alat `build` sekali untuk setiap Release, dengan urutan ini — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — setiap kali dengan `workspace_root` diatur ke `fluentd-aggregator`, `release` diatur ke file tersebut, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana yang ditulis oleh setiap build; file tersebut berada di bawah `fluentd-aggregator/dist/`.Seperti apa endpoint forward
Di Compose, agregator menulis fluent.conf dengan sumber input forward
yang terikat ke port forward, dan merutekan record yang cocok ke output standar:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>Di Kubernetes, Recipe helm yang disintesis menulis fluent.conf yang sama saat
start-up, dan Service ClusterIP mengekspos port forward:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardDeployment merujuk ke image yang dikunci dan mengekspos port forward pada container:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224Ketika infra.storage.size ditetapkan, Recipe juga merender sebuah
PersistentVolumeClaim dan me-mount-nya di /fluentd/log, menopang buffer file sehingga
record yang di-buffer tetap bertahan setelah restart.
Menjalankannya (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dAgregator mendengarkan record yang diteruskan pada localhost:24224. Kirimkan
record uji dengan forwarder Fluentd atau Fluent Bit apa pun yang diarahkan ke port tersebut, dan
record yang diterima akan muncul di output standar agregator. Hentikan dengan
docker compose -f dist/app/compose/docker-compose.yaml down.