İçeriğe geç
AggregaAggrega
Dil seçin: Türkçe
Bu sayfa makine çevirisiyle çevrilmiştir. İngilizce orijinalini okuyun.

Fluent Bit'ten Fluentd'ye — iki katmanlı bir günlük işlem hattı, iki hedef

Bu örnek, gerçek bir günlük işlem hattını — kayıtları forward protokolü üzerinden bir Fluentd toplayıcısına gönderen bir Fluent Bit iletici — Developer tarafından yazılmış tek bir Aggregate üzerinden iki gerçekleştirime derler:

  • yerel geliştirme için Docker Compose ve
  • resmî upstream fluent/fluent-bit ve fluent/fluentd imajlarını doğrudan Kubernetes üzerinde çalıştıran sentezlenmiş helm Recipes (harici chart olmadan).

Sentezlenmiş helm Recipes derleme sırasında hiçbir şey indirmez; bir chart deposuna erişebilen bir derleme için ise helm/fluent-bit-chart ve helm/fluentd-chart, Fluent projesinin kendi chart’larını işler.

Her ikisini de aynı aggregate.yaml yönlendirir. Gerçekleştirime göre yalnızca Manifest tarafından seçilen Recipe katmanı değişir.

İşlem hattı

İki bileşen, ileticiden toplayıcıya giden bir işlem hattı oluşturur:

  • forwarder (core/observability/fluent-bit) günlük kayıtlarını toplar ve bunları bir forward çıkışı üzerinden gönderir. Durumsuz bir sunucu olarak tiplenmiştir.
  • aggregator (core/observability/fluentd) forward giriş protokolünü dinler, kayıtları alır ve bunları kendi çıkışına yönlendirir. Durumlu bir sunucu olarak tiplenmiştir; sentezlenmiş helm Recipe varsayılan olarak bellekte arabelleğe aldığından tek replikalı bir Deployment olarak işlenir.

İletici, toplayıcının bir forward_target kullanımını bildirir. Toplayıcının provides.host ve provides.port değerleri — forward uç noktasının ana makinesi ve portu (uzlaşımsal Fluentd forward portu, 24224) — ileticiye aktarılır ve forward çıkışının Host ve Port alanlarına işlenir. Böylece iletici, tek bir kenardan derleme öncesinde bağlanmış olarak, toplayıcının forward uç noktasına gönderim yapar.

Dosyalar

DosyaRol
aggregate.yamlDeveloper amacı: bir aggregator alıcısı (core/observability/fluentd) ve toplayıcının bir forward_target kullanımını bildiren bir forwarder (core/observability/fluent-bit).
manifest-compose.yamlFluent Bit tipini Compose Recipe’ye (compose/fluent-bit), Fluentd tipini de Compose Recipe’ye (compose/fluentd) eşler.
manifest-helm-synth.yamlFluent Bit tipini sentezlenmiş helm Recipe’ye (helm/fluent-bit), Fluentd tipini de sentezlenmiş helm Recipe’ye (helm/fluentd) eşler.
release-compose.yaml / release-helm-synth.yamlİki gerçekleştirim için operatör kayıtları.

Hem bir Compose hem de bir sentezlenmiş helm Recipe fluent-bit ve fluentd adlarını taşıdığından, Manifests bunlara provider kapsamlı olarak (compose/… ve helm/…) başvurur.

Neyi gösteriyor

  • Tek yazım yüzeyi, birçok hedef. İşlem hattının ne olduğu konusunda tek doğruluk kaynağı tek bir Aggregate’tir. Her Manifest onun nasıl gerçekleştirileceğini söyler.
  • String Pipe üzerinden forward bağlantısı. İletici, toplayıcının bir forward_target kullanımını bildirir; toplayıcı Recipe’sinin provides.host ve provides.port değerleri ileticiye aktarılır ve bir forward çıkışının Host ve Port alanlarına işlenir. Derleyici dizeleri yorumlamadan yönlendirir — böylece aynı kenardan Compose derlemesi bir compose servis adını, Kubernetes derlemesi ise bir Service adını bağlar.
  • Durumsuz bir ileticinin soketinde durumlu bir alıcı. İleticinin forward_target soketi bir server ya da bir stateful-server seçer. Fluentd durumlu bir sunucu olarak tiplenmiştir ve soketi sorunsuz bağlar — soket, alıcının durum tutup tutmadığına göre değil, operasyonel sunucu rolüne göre seçim yapar. Alıcının hangi protokolü konuştuğu bundan ayrı denetlenir: forward çıkışı Fluentd forward protokolünü konuşur, bu nedenle alıcı Fluentd’nin yaptığı gibi protocol: forward yayımlamadıkça derleme durur.
  • Workload sentezi (Kubernetes). Her sentezlenmiş helm Recipe, helm provider’ın harici chart olmadan Kubernetes manifest’lerine çevirdiği bir Workload — resmî imajı çalıştıran bir Deployment ve bir ClusterIP Service — bildirir. İşlenen kaynak kümesi tam olarak Workloads’ın bildirdiği şeydir.
  • Yeniden üretilebilir imajlar. infra.engine_version her imaj etiketini sabitler; böylece işlenen iş yükleri sabit imajlara başvurur ve sentezlenmiş Recipes kayan etiket işlemez.

Örneği oluşturun

Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.

Örneği, adını taşıyan yeni bir klasöre yazın:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

Ardından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:

Terminal window
cd fluent-bit-to-fluentd

Derleme

Bu çalışma alanında .aggrega-config.yaml bulunmaz; bu nedenle standart kütüphane varlıkları hub kayıt defteri hub.aggrega.ai üzerinden çözümlenir ve katalog bayrağına gerek yoktur; --auto-pull, yeni bir klonda eksik olan kilit dosyasını derleme sırasında yazar:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

İşlenen yapıtlar dist/ altına yerleşir.

Bir yapay zekâ asistanıyla

Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.

Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz bir `fluent-bit-to-fluentd` klasörü yoksa `scaffold` aracını `example` değeri `fluent-bit-to-fluentd` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `fluent-bit-to-fluentd` klasörüne yazar. Ardından `build` aracını her Release için bir kez, şu sırayla çağırın — `release-compose.yaml`, `release-helm-synth.yaml` — her seferinde `workspace_root` değeri `fluent-bit-to-fluentd`, `release` değeri o dosya, `auto_pull` değeri true ve `write` değeri true olacak şekilde. Her derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `fluent-bit-to-fluentd/dist/` altındadır.

Enjekte edilen forward hedefi nasıl görünür

Compose üzerinde iletici, forward çıkışı toplayıcının compose servis adını ve forward portunu hedefleyen bir fluent-bit.conf yazar:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

Kubernetes üzerinde aynı çıkış, toplayıcının küme içi Service adını hedefler:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

Her ikisi de aynı Aggregate kenarından çözümlenir — toplayıcının ana makinesi ve portu forward_target kullanımı üzerinden taşınır ve her hedef bunları kendi deyişiyle işler. 24224 portu, toplayıcının provides üzerinden dışa aktarılan ve derleme öncesinde ileticiye aktarılan forward uç noktasıdır.

Çalıştırın (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

İleticinin izleme uç noktası yalnızca ana makinenin geri döngü adresinde, http://localhost:2020 adresinde yayımlanır — /api/v1/metrics uç noktası işlenen ve iletilen kayıtları raporlar. Uç nokta hiçbir çağıranı denetlemez; bu nedenle Release iletici üzerinde infra.publish_on_all_interfaces: true ayarlamadıkça ana makinenin diğer arayüzlerinde yayımlanmaz. docker compose -f dist/app/compose/docker-compose.yaml down ile kaldırın.