Fluentd — bir günlük toplayıcı, iki hedef
Bu örnek, bir Fluentd günlük toplayıcısını — bir günlük hattının alıcı ucunu — Developer tarafından yazılmış tek bir Aggregate’ten iki gerçekleştirmeye derler:
- yerel geliştirme için Docker Compose ve
- resmi upstream
fluent/fluentdimajını doğrudan Kubernetes üzerinde çalıştıran sentezlenmiş helm Recipe (harici chart olmadan).
Sentezlenmiş helm Recipe derleme zamanında hiçbir şey indirmez; helm/fluentd-chart
ise bir chart deposuna erişebilen bir derleme için Fluent projesinin kendi chart’ını
aynı toplayıcı olarak işler.
Her ikisini de aynı aggregate.yaml yönlendirir. Gerçekleştirime göre yalnızca Manifest tarafından seçilen Recipe katmanı değişir.
Toplayıcı rolü
Bir günlük hattının iki ucu vardır. Bir iletici (Fluent Bit gibi) günlük
kayıtlarını toplar ve aşağı akışa gönderir. Bir toplayıcı ise diğer uçtaki
alıcıdır: forward girdi protokolünü dinler, yukarı akıştaki ileticilerin
gönderdiği kayıtları alır ve bunları kendi çıktısına yönlendirir. Burada Fluentd
toplayıcı rolünü üstlenir.
Toplayıcı iletmek yerine aldığı için aşağı akışa yönelik bir
uses soketi bildirmez. Bunun yerine forward uç noktasının ana bilgisayarını ve portunu
provides üzerinden dışa aktarır; böylece bir iletici onu bir forward soketine bağlayıp
kayıtları ona gönderebilir. Forward uç noktası 24224 portunu dinler — bu,
uzlaşım olarak kullanılan Fluentd forward portudur.
Dosyalar
| Dosya | Rol |
|---|---|
aggregate.yaml | Developer niyeti: forward girdisini dinleyen bir aggregator bileşeni (core/observability/fluentd). |
manifest-compose.yaml | Fluentd türünü Compose Recipe’ine (compose/fluentd) eşler. |
manifest-helm-synth.yaml | Fluentd türünü sentezlenmiş helm Recipe’ine (helm/fluentd) eşler. |
release-compose.yaml / release-helm-synth.yaml | İki gerçekleştirim için operatör kayıtları. |
release-helm-synth-buffer.yaml | Kalıcı arabelleğe almanın etkin olduğu sentezlenmiş helm gerçekleştirmesi (infra.storage.size ayarlı). |
Hem bir Compose hem de bir sentezlenmiş helm Recipe’i fluentd adını taşıdığından,
Manifests bunlara sağlayıcı kapsamlı olarak compose/fluentd ve
helm/fluentd şeklinde başvurur.
Neyi gösteriyor
- Tek yazım yüzeyi, birçok hedef. Tek bir Aggregate, yığının ne olduğu konusunda doğruluğun kaynağıdır. Her Manifest onun nasıl gerçekleştirileceğini söyler.
- String Pipe’ın alıcı ucu. Toplayıcı, forward uç noktasını
providesüzerinden dışa aktarır —forwardprotokolü üzerindehost(toplayıcının servisi) veport(24224). Bu bileşeni bağlayan bir iletici, bu dizgeleri kendi forward çıktısına aktarır; derleyici bunları yorumlamadan yönlendirir. - Workload sentezi (Kubernetes). Sentezlenmiş helm Recipe, helm sağlayıcısının
harici chart olmadan Kubernetes manifest’lerine çevirdiği bir Workload — resmi
fluent/fluentdimajını çalıştıran bir Deployment ile bir ClusterIP Service — bildirir. İşlenen kaynak kümesi tam olarak Workload’un bildirdiği kümedir. - Developer denetimli yönlendirme. Geliştiricinin çıktı eşleşmesi, alınan hangi
kayıtların toplayıcının çıktısına yönlendirileceğini seçer. Varsayılanı
**’dır; bu, alınan her kaydı yönlendirir. - Varsayılan olarak geçici arabellek, istek üzerine kalıcı. Toplayıcı bellekte
arabelleğe alır; bu nedenle varsayılan çıktı kalıcı birim içermez.
infra.storage.sizeayarlandığında (bkz.release-helm-synth-buffer.yaml) arabellek,/fluentd/logkonumuna bağlanan kalıcı bir birimle desteklenir; iş yükü tek kopyalı bir Deployment olarak kalır. - Yeniden üretilebilir imajlar.
infra.engine_versionFluentd imaj etiketini sabitler; böylece işlenen iş yükü sabit bir imaja başvurur ve sentezlenmiş Recipe değişken bir etiket üretmez.
Örneği oluşturun
Bu örneği aşağıdaki komutlarla derleyebilir ya da yapay zekâ asistanınıza sizin için derletebilirsiniz.
Örneği, adını taşıyan yeni bir klasöre yazın:
aggrega scaffold --example fluentd-aggregatorArdından sırada çalıştırılacak komutları yazdırır. İlki yeni klasöre geçer:
cd fluentd-aggregatorDerleme
Bu çalışma alanında .aggrega-config.yaml bulunmaz; bu nedenle standart kütüphane varlıkları hub kayıt defteri hub.aggrega.ai üzerinden çözümlenir ve katalog bayrağına gerek yoktur; --auto-pull, yeni bir klonda eksik olan kilit dosyasını derleme sırasında yazar:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullİşlenen yapıtlar dist/ altına yerleşir.
Bir yapay zekâ asistanıyla
Aggrega araçlarıyla kurulmuş bir yapay zekâ asistanı da aynısını yapabilir: bu istemi ona yapıştırın.
Yalnızca Aggrega araçlarını kullanın ve kendiniz klasör oluşturmayın. Çalışma alanı klasöründe henüz bir `fluentd-aggregator` klasörü yoksa `scaffold` aracını `example` değeri `fluentd-aggregator` olacak şekilde ve `dir` olmadan bir kez çağırın: araç örneği yeni bir `fluentd-aggregator` klasörüne yazar. Ardından `build` aracını her Release için bir kez, şu sırayla çağırın — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — her seferinde `workspace_root` değeri `fluentd-aggregator`, `release` değeri o dosya, `auto_pull` değeri true ve `write` değeri true olacak şekilde. Her derlemenin hangi dosyaları yazdığını bana söyleyin; dosyalar `fluentd-aggregator/dist/` altındadır.Forward uç noktası nasıl görünür
Compose üzerinde toplayıcı, forward portuna bağlı bir forward girdi kaynağı içeren
bir fluent.conf yazar ve eşleşen kayıtları standart çıktıya yönlendirir:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>Kubernetes üzerinde sentezlenmiş helm Recipe aynı fluent.conf dosyasını başlangıçta
yazar ve ClusterIP Service forward portunu açığa çıkarır:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardDeployment sabitlenmiş imaja başvurur ve forward portunu konteyner üzerinde açığa çıkarır:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224infra.storage.size ayarlandığında Recipe ayrıca bir
PersistentVolumeClaim üretir ve onu /fluentd/log konumuna bağlar; bu, arabelleğe alınan
kayıtların yeniden başlatmalardan sağ çıkması için bir dosya arabelleğini destekler.
Çalıştırın (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dToplayıcı iletilen kayıtları localhost:24224 üzerinde dinler. O porta yönlendirilmiş
herhangi bir Fluentd veya Fluent Bit ileticisiyle ona bir test kaydı gönderin; alınan
kayıtlar toplayıcının standart çıktısında görünür. Kaldırmak için
docker compose -f dist/app/compose/docker-compose.yaml down komutunu kullanın.