Fluent Bit'ten Fluentd'ye — iki katmanlı bir günlük işlem hattı, iki hedef
Bu örnek, gerçek bir günlük işlem hattını — kayıtları forward protokolü üzerinden bir Fluentd toplayıcısına gönderen bir Fluent Bit iletici — Developer tarafından yazılmış tek bir Aggregate üzerinden iki gerçekleştirime derler:
- yerel geliştirme için Docker Compose ve
- resmî upstream
fluent/fluent-bitvefluent/fluentdimajlarını doğrudan Kubernetes üzerinde çalıştıran sentezlenmiş helm Recipes (harici chart olmadan).
Sentezlenmiş helm Recipes derleme sırasında hiçbir şey indirmez; bir chart deposuna erişebilen bir derleme için ise helm/fluent-bit-chart ve helm/fluentd-chart, Fluent projesinin kendi chart’larını işler.
Her ikisini de aynı aggregate.yaml yönlendirir. Gerçekleştirime göre yalnızca Manifest tarafından seçilen Recipe katmanı değişir.
İşlem hattı
İki bileşen, ileticiden toplayıcıya giden bir işlem hattı oluşturur:
forwarder(core/observability/fluent-bit) günlük kayıtlarını toplar ve bunları birforwardçıkışı üzerinden gönderir. Durumsuz bir sunucu olarak tiplenmiştir.aggregator(core/observability/fluentd)forwardgiriş protokolünü dinler, kayıtları alır ve bunları kendi çıkışına yönlendirir. Durumlu bir sunucu olarak tiplenmiştir; sentezlenmiş helm Recipe varsayılan olarak bellekte arabelleğe aldığından tek replikalı bir Deployment olarak işlenir.
İletici, toplayıcının bir forward_target kullanımını bildirir. Toplayıcının provides.host ve provides.port değerleri — forward uç noktasının ana makinesi ve portu (uzlaşımsal Fluentd forward portu, 24224) — ileticiye aktarılır ve forward çıkışının Host ve Port alanlarına işlenir. Böylece iletici, tek bir kenardan derleme öncesinde bağlanmış olarak, toplayıcının forward uç noktasına gönderim yapar.
Dosyalar
| Dosya | Rol |
|---|---|
aggregate.yaml | Developer amacı: bir aggregator alıcısı (core/observability/fluentd) ve toplayıcının bir forward_target kullanımını bildiren bir forwarder (core/observability/fluent-bit). |
manifest-compose.yaml | Fluent Bit tipini Compose Recipe’ye (compose/fluent-bit), Fluentd tipini de Compose Recipe’ye (compose/fluentd) eşler. |
manifest-helm-synth.yaml | Fluent Bit tipini sentezlenmiş helm Recipe’ye (helm/fluent-bit), Fluentd tipini de sentezlenmiş helm Recipe’ye (helm/fluentd) eşler. |
release-compose.yaml / release-helm-synth.yaml | İki gerçekleştirim için operatör kayıtları. |
Hem bir Compose hem de bir sentezlenmiş helm Recipe fluent-bit ve fluentd adlarını taşıdığından, Manifests bunlara provider kapsamlı olarak (compose/… ve helm/…) başvurur.
Neyi gösteriyor
- Tek yazım yüzeyi, birçok hedef. İşlem hattının ne olduğu konusunda tek doğruluk kaynağı tek bir Aggregate’tir. Her Manifest onun nasıl gerçekleştirileceğini söyler.
- String Pipe üzerinden forward bağlantısı. İletici, toplayıcının bir
forward_targetkullanımını bildirir; toplayıcı Recipe’sininprovides.hostveprovides.portdeğerleri ileticiye aktarılır ve birforwardçıkışınınHostvePortalanlarına işlenir. Derleyici dizeleri yorumlamadan yönlendirir — böylece aynı kenardan Compose derlemesi bir compose servis adını, Kubernetes derlemesi ise bir Service adını bağlar. - Durumsuz bir ileticinin soketinde durumlu bir alıcı. İleticinin
forward_targetsoketi birserverya da birstateful-serverseçer. Fluentd durumlu bir sunucu olarak tiplenmiştir ve soketi sorunsuz bağlar — soket, alıcının durum tutup tutmadığına göre değil, operasyonel sunucu rolüne göre seçim yapar. Alıcının hangi protokolü konuştuğu bundan ayrı denetlenir: forward çıkışı Fluentd forward protokolünü konuşur, bu nedenle alıcı Fluentd’nin yaptığı gibiprotocol: forwardyayımlamadıkça derleme durur. - Workload sentezi (Kubernetes). Her sentezlenmiş helm Recipe, helm provider’ın harici chart olmadan Kubernetes manifest’lerine çevirdiği bir Workload — resmî imajı çalıştıran bir Deployment ve bir ClusterIP Service — bildirir. İşlenen kaynak kümesi tam olarak Workloads’ın bildirdiği şeydir.
- Yeniden üretilebilir imajlar.
infra.engine_versionher imaj etiketini sabitler; böylece işlenen iş yükleri sabit imajlara başvurur ve sentezlenmiş Recipes kayan etiket işlemez.
Örneği oluşturun
Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.
Örneği, adını taşıyan yeni bir klasöre yazın:
aggrega scaffold --example fluent-bit-to-fluentdArdından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:
cd fluent-bit-to-fluentdDerleme
Bu çalışma alanında .aggrega-config.yaml bulunmaz; bu nedenle standart kütüphane varlıkları hub kayıt defteri hub.aggrega.ai üzerinden çözümlenir ve katalog bayrağına gerek yoktur; --auto-pull, yeni bir klonda eksik olan kilit dosyasını derleme sırasında yazar:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullİşlenen yapıtlar dist/ altına yerleşir.
Bir yapay zekâ asistanıyla
Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.
Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz bir `fluent-bit-to-fluentd` klasörü yoksa `scaffold` aracını `example` değeri `fluent-bit-to-fluentd` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `fluent-bit-to-fluentd` klasörüne yazar. Ardından `build` aracını her Release için bir kez, şu sırayla çağırın — `release-compose.yaml`, `release-helm-synth.yaml` — her seferinde `workspace_root` değeri `fluent-bit-to-fluentd`, `release` değeri o dosya, `auto_pull` değeri true ve `write` değeri true olacak şekilde. Her derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `fluent-bit-to-fluentd/dist/` altındadır.Enjekte edilen forward hedefi nasıl görünür
Compose üzerinde iletici, forward çıkışı toplayıcının compose servis adını ve forward portunu hedefleyen bir fluent-bit.conf yazar:
[OUTPUT] Name forward Match * Host aggregator Port 24224Kubernetes üzerinde aynı çıkış, toplayıcının küme içi Service adını hedefler:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Her ikisi de aynı Aggregate kenarından çözümlenir — toplayıcının ana makinesi ve portu forward_target kullanımı üzerinden taşınır ve her hedef bunları kendi deyişiyle işler. 24224 portu, toplayıcının provides üzerinden dışa aktarılan ve derleme öncesinde ileticiye aktarılan forward uç noktasıdır.
Çalıştırın (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dİleticinin izleme uç noktası yalnızca ana makinenin geri döngü adresinde, http://localhost:2020 adresinde yayımlanır — /api/v1/metrics uç noktası işlenen ve iletilen kayıtları raporlar. Uç nokta hiçbir çağıranı denetlemez; bu nedenle Release iletici üzerinde infra.publish_on_all_interfaces: true ayarlamadıkça ana makinenin diğer arayüzlerinde yayımlanmaz. docker compose -f dist/app/compose/docker-compose.yaml down ile kaldırın.