Lewati ke konten
AggregaAggrega
Pilih Bahasa: Bahasa Indonesia
Halaman ini diterjemahkan oleh mesin. Baca versi asli dalam bahasa Inggris.

Fluent Bit ke Fluentd — pipeline log dua tingkat, dua target

Contoh ini mengompilasi pipeline log nyata — forwarder Fluent Bit yang mengirimkan record ke aggregator Fluentd melalui protokol forward — dari satu Aggregate yang ditulis oleh Developer ke dua realisasi:

  • Docker Compose untuk pengembangan lokal, dan
  • Recipes helm hasil sintesis yang menjalankan image upstream resmi fluent/fluent-bit dan fluent/fluentd langsung di Kubernetes (tanpa chart eksternal).

Recipes helm hasil sintesis tidak mengambil apa pun saat build; helm/fluent-bit-chart dan helm/fluentd-chart merender chart milik proyek Fluent sendiri, untuk build yang dapat menjangkau repositori chart.

aggregate.yaml yang sama menggerakkan keduanya. Hanya lapisan Recipe yang dipilih oleh Manifest yang berubah per realisasi.

Pipeline

Dua komponen membentuk pipeline dari forwarder ke aggregator:

  • forwarder (core/observability/fluent-bit) mengumpulkan record log dan mengirimkannya melalui output forward. Komponen ini bertipe server stateless.
  • aggregator (core/observability/fluentd) mendengarkan pada protokol input forward, menerima record, dan merutekannya ke output-nya. Komponen ini bertipe server stateful; Recipe helm hasil sintesis secara default melakukan buffer di memori, sehingga dirender sebagai Deployment dengan satu replika.

Forwarder mendeklarasikan penggunaan forward_target atas aggregator. provides.host dan provides.port milik aggregator — host dan port dari endpoint forward-nya (port forward Fluentd yang lazim, 24224) — dialirkan ke forwarder dan dirender ke dalam Host dan Port dari output forward-nya. Dengan demikian, forwarder mengirim ke endpoint forward aggregator, yang dihubungkan secara ahead-of-time dari satu edge.

Berkas

BerkasPeran
aggregate.yamlIntensi Developer: sink aggregator (core/observability/fluentd) dan forwarder (core/observability/fluent-bit) yang mendeklarasikan penggunaan forward_target atas aggregator.
manifest-compose.yamlMemetakan tipe Fluent Bit ke Recipe Compose (compose/fluent-bit) dan tipe Fluentd ke Recipe Compose (compose/fluentd).
manifest-helm-synth.yamlMemetakan tipe Fluent Bit ke Recipe helm hasil sintesis (helm/fluent-bit) dan tipe Fluentd ke Recipe helm hasil sintesis (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlRecord Operator untuk kedua realisasi.

Karena Recipe Compose dan Recipe helm hasil sintesis sama-sama bernama fluent-bit dan fluentd, Manifests merujuknya dengan cakupan provider (compose/… dan helm/…).

Apa yang didemonstrasikan

  • Satu permukaan penulisan, banyak target. Satu Aggregate menjadi sumber kebenaran tentang apa pipeline itu. Setiap Manifest menyatakan bagaimana merealisasikannya.
  • Penghubungan forward melalui String Pipe. Forwarder mendeklarasikan penggunaan forward_target atas aggregator; provides.host dan provides.port milik Recipe aggregator dialirkan ke forwarder dan dirender ke dalam Host dan Port dari output forward. Compiler merutekan string tanpa menafsirkannya — sehingga build Compose menghubungkan nama service compose dan build Kubernetes menghubungkan nama Service, dari edge yang sama.
  • Sink stateful pada socket forwarder stateless. Socket forward_target milik forwarder memilih server atau stateful-server. Fluentd bertipe server stateful, dan mengikat socket tersebut dengan bersih — socket memilih berdasarkan peran server operasional, bukan berdasarkan apakah sink menyimpan state. Apa yang digunakan sink diperiksa secara terpisah: output forward menggunakan protokol forward Fluentd, sehingga build berhenti kecuali sink memublikasikan protocol: forward, seperti yang dilakukan Fluentd.
  • Sintesis Workload (Kubernetes). Setiap Recipe helm hasil sintesis mendeklarasikan Workload — sebuah Deployment ditambah Service ClusterIP yang menjalankan image resmi — yang diterjemahkan oleh provider helm menjadi manifest Kubernetes tanpa chart eksternal. Kumpulan resource yang dirender persis sama dengan yang dideklarasikan Workloads.
  • Image yang dapat direproduksi. infra.engine_version menyematkan setiap tag image, sehingga workload yang dirender merujuk image tetap dan Recipes hasil sintesis tidak merender tag mengambang.

Membuat contoh

Anda dapat mem-build contoh ini dengan perintah di bawah, atau meminta asisten AI Anda mem-build-nya untuk Anda.

Tulis contoh ke folder baru yang dinamai sesuai contoh itu:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

Kemudian ia mencetak perintah yang dijalankan berikutnya. Perintah pertama berpindah ke folder baru:

Terminal window
cd fluent-bit-to-fluentd

Build

Workspace ini tidak memuat .aggrega-config.yaml, sehingga entitas pustaka standar di-resolve dari registry hub, hub.aggrega.ai, dan flag katalog tidak diperlukan; --auto-pull menulis lockfile yang tidak dimiliki clone baru selama build:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

Artefak yang dirender ditempatkan di bawah dist/.

Dengan asisten AI

Asisten AI yang disiapkan dengan tool Aggrega dapat melakukan hal yang sama: tempelkan prompt ini ke asisten tersebut.

Gunakan hanya alat Aggrega, dan jangan membuat folder sendiri. Jika folder ruang kerja belum berisi folder `fluent-bit-to-fluentd`, panggil alat `scaffold` sekali dengan `example` diatur ke `fluent-bit-to-fluentd` dan tanpa `dir`: alat ini menulis contoh ke dalam folder `fluent-bit-to-fluentd` yang baru. Lalu panggil alat `build` sekali untuk setiap Release, dengan urutan ini — `release-compose.yaml`, `release-helm-synth.yaml` — setiap kali dengan `workspace_root` diatur ke `fluent-bit-to-fluentd`, `release` diatur ke file tersebut, `auto_pull` diatur ke true, dan `write` diatur ke true. Beri tahu saya file mana yang ditulis oleh setiap build; file tersebut berada di bawah `fluent-bit-to-fluentd/dist/`.

Seperti apa target forward yang diinjeksikan

Pada Compose, forwarder menulis fluent-bit.conf yang output forward-nya menargetkan nama service compose dan port forward milik aggregator:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

Pada Kubernetes, output yang sama menargetkan nama Service in-cluster milik aggregator:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

Keduanya di-resolve dari edge Aggregate yang sama — host dan port aggregator mengalir melalui penggunaan forward_target, dan setiap target merendernya dengan idiomnya sendiri. Port 24224 adalah endpoint forward aggregator, yang diekspor melalui provides-nya dan dialirkan ke forwarder secara ahead-of-time.

Menjalankannya (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Endpoint pemantauan forwarder hanya dipublikasikan pada alamat loopback host, di http://localhost:2020 — endpoint /api/v1/metrics-nya melaporkan record yang diproses dan diteruskan. Endpoint ini tidak memeriksa pemanggil, sehingga tidak dipublikasikan pada antarmuka host lainnya kecuali Release menetapkan infra.publish_on_all_interfaces: true pada forwarder. Hentikan dengan docker compose -f dist/app/compose/docker-compose.yaml down.