Fluent Bit ke Fluentd — pipeline log dua tingkat, dua target
Contoh ini mengompilasi pipeline log nyata — forwarder Fluent Bit yang mengirimkan record ke aggregator Fluentd melalui protokol forward — dari satu Aggregate yang ditulis oleh Developer ke dua realisasi:
- Docker Compose untuk pengembangan lokal, dan
- Recipes helm hasil sintesis yang menjalankan image upstream resmi
fluent/fluent-bitdanfluent/fluentdlangsung di Kubernetes (tanpa chart eksternal).
Recipes helm hasil sintesis tidak mengambil apa pun saat build; helm/fluent-bit-chart
dan helm/fluentd-chart merender chart milik proyek Fluent sendiri, untuk
build yang dapat menjangkau repositori chart.
aggregate.yaml yang sama menggerakkan keduanya. Hanya lapisan Recipe yang dipilih oleh
Manifest yang berubah per realisasi.
Pipeline
Dua komponen membentuk pipeline dari forwarder ke aggregator:
forwarder(core/observability/fluent-bit) mengumpulkan record log dan mengirimkannya melalui outputforward. Komponen ini bertipe server stateless.aggregator(core/observability/fluentd) mendengarkan pada protokol inputforward, menerima record, dan merutekannya ke output-nya. Komponen ini bertipe server stateful; Recipe helm hasil sintesis secara default melakukan buffer di memori, sehingga dirender sebagai Deployment dengan satu replika.
Forwarder mendeklarasikan penggunaan forward_target atas aggregator.
provides.host dan provides.port milik aggregator — host dan port dari
endpoint forward-nya (port forward Fluentd yang lazim, 24224) — dialirkan
ke forwarder dan dirender ke dalam Host dan Port dari output forward-nya.
Dengan demikian, forwarder mengirim ke endpoint forward aggregator, yang dihubungkan
secara ahead-of-time dari satu edge.
Berkas
| Berkas | Peran |
|---|---|
aggregate.yaml | Intensi Developer: sink aggregator (core/observability/fluentd) dan forwarder (core/observability/fluent-bit) yang mendeklarasikan penggunaan forward_target atas aggregator. |
manifest-compose.yaml | Memetakan tipe Fluent Bit ke Recipe Compose (compose/fluent-bit) dan tipe Fluentd ke Recipe Compose (compose/fluentd). |
manifest-helm-synth.yaml | Memetakan tipe Fluent Bit ke Recipe helm hasil sintesis (helm/fluent-bit) dan tipe Fluentd ke Recipe helm hasil sintesis (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Record Operator untuk kedua realisasi. |
Karena Recipe Compose dan Recipe helm hasil sintesis sama-sama bernama
fluent-bit dan fluentd, Manifests merujuknya dengan cakupan provider
(compose/… dan helm/…).
Apa yang didemonstrasikan
- Satu permukaan penulisan, banyak target. Satu Aggregate menjadi sumber kebenaran tentang apa pipeline itu. Setiap Manifest menyatakan bagaimana merealisasikannya.
- Penghubungan forward melalui String Pipe. Forwarder mendeklarasikan
penggunaan
forward_targetatas aggregator;provides.hostdanprovides.portmilik Recipe aggregator dialirkan ke forwarder dan dirender ke dalamHostdanPortdari outputforward. Compiler merutekan string tanpa menafsirkannya — sehingga build Compose menghubungkan nama service compose dan build Kubernetes menghubungkan nama Service, dari edge yang sama. - Sink stateful pada socket forwarder stateless. Socket
forward_targetmilik forwarder memilihserverataustateful-server. Fluentd bertipe server stateful, dan mengikat socket tersebut dengan bersih — socket memilih berdasarkan peran server operasional, bukan berdasarkan apakah sink menyimpan state. Apa yang digunakan sink diperiksa secara terpisah: output forward menggunakan protokol forward Fluentd, sehingga build berhenti kecuali sink memublikasikanprotocol: forward, seperti yang dilakukan Fluentd. - Sintesis Workload (Kubernetes). Setiap Recipe helm hasil sintesis mendeklarasikan Workload — sebuah Deployment ditambah Service ClusterIP yang menjalankan image resmi — yang diterjemahkan oleh provider helm menjadi manifest Kubernetes tanpa chart eksternal. Kumpulan resource yang dirender persis sama dengan yang dideklarasikan Workloads.
- Image yang dapat direproduksi.
infra.engine_versionmenyematkan setiap tag image, sehingga workload yang dirender merujuk image tetap dan Recipes hasil sintesis tidak merender tag mengambang.
Membuat contoh
Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.
Tulis contoh ke folder baru yang dinamai sesuai contoh itu:
aggrega scaffold --example fluent-bit-to-fluentdKemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:
cd fluent-bit-to-fluentdBuild
Workspace ini tidak memuat .aggrega-config.yaml, sehingga entitas pustaka standar di-resolve dari registry hub, hub.aggrega.ai, dan flag katalog tidak diperlukan; --auto-pull menulis lockfile yang tidak dimiliki clone baru selama build:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullArtefak yang dirender ditempatkan di bawah dist/.
Dengan asisten AI
Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.
Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `fluent-bit-to-fluentd`, panggil alat `scaffold` sekali dengan `example` diatur ke `fluent-bit-to-fluentd` dan tanpa `dir`: alat ini menulis contoh ke dalam folder `fluent-bit-to-fluentd` yang baru. Lalu panggil alat `build` sekali untuk setiap Release, dengan urutan ini — `release-compose.yaml`, `release-helm-synth.yaml` — setiap kali dengan `workspace_root` diatur ke `fluent-bit-to-fluentd`, `release` diatur ke file tersebut, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana yang ditulis oleh setiap build; file tersebut berada di bawah `fluent-bit-to-fluentd/dist/`.Seperti apa target forward yang diinjeksikan
Pada Compose, forwarder menulis fluent-bit.conf yang output forward-nya
menargetkan nama service compose dan port forward milik aggregator:
[OUTPUT] Name forward Match * Host aggregator Port 24224Pada Kubernetes, output yang sama menargetkan nama Service in-cluster milik aggregator:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Keduanya di-resolve dari edge Aggregate yang sama — host dan port aggregator mengalir
melalui penggunaan forward_target, dan setiap target merendernya dengan idiomnya sendiri.
Port 24224 adalah endpoint forward aggregator, yang diekspor melalui
provides-nya dan dialirkan ke forwarder secara ahead-of-time.
Menjalankannya (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dEndpoint pemantauan forwarder hanya dipublikasikan pada alamat loopback host,
di http://localhost:2020 — endpoint /api/v1/metrics-nya melaporkan
record yang diproses dan diteruskan. Endpoint ini tidak memeriksa pemanggil, sehingga tidak
dipublikasikan pada antarmuka host lainnya kecuali Release menetapkan
infra.publish_on_all_interfaces: true pada forwarder. Hentikan dengan
docker compose -f dist/app/compose/docker-compose.yaml down.