Fluent Bit do Fluentd — dwuwarstwowy potok logów, dwa cele
Ten przykład kompiluje rzeczywisty potok logów — forwarder Fluent Bit przesyłający rekordy do agregatora Fluentd przez protokół forward — z jednej encji Aggregate napisanej przez programistę do dwóch realizacji:
- Docker Compose do lokalnego programowania oraz
- syntetyzowane encje helm Recipes uruchamiające oficjalne obrazy upstream
fluent/fluent-bitifluent/fluentdbezpośrednio w Kubernetes (bez zewnętrznych chartów).
Syntetyzowane encje helm Recipes niczego nie pobierają w czasie budowania; helm/fluent-bit-chart
i helm/fluentd-chart renderują natomiast własne charty projektu Fluent, dla
budowania, które ma dostęp do repozytorium chartów.
Ten sam aggregate.yaml steruje obiema. Między realizacjami zmienia się tylko warstwa Recipe wybrana przez
Manifest.
Potok
Dwa komponenty tworzą potok od forwardera do agregatora:
forwarder(core/observability/fluent-bit) zbiera rekordy logów i wysyła je na wyjścieforward. Ma typ bezstanowego serwera.aggregator(core/observability/fluentd) nasłuchuje na protokole wejściowymforward, odbiera rekordy i kieruje je na swoje wyjście. Ma typ stanowego serwera; syntetyzowana encja helm Recipe domyślnie buforuje w pamięci, więc renderuje się jako Deployment z jedną repliką.
Forwarder deklaruje użycie forward_target agregatora. Wartości
provides.host i provides.port agregatora — host i port jego
punktu końcowego forward (konwencjonalny port forward Fluentd, 24224) — są przekazywane potokiem
do forwardera i renderowane do pól Host i Port jego wyjścia forward.
Forwarder wysyła więc do punktu końcowego forward agregatora, połączonego
z wyprzedzeniem z jednej krawędzi.
Pliki
| Plik | Rola |
|---|---|
aggregate.yaml | Intencja programisty: ujście aggregator (core/observability/fluentd) i forwarder (core/observability/fluent-bit), który deklaruje użycie forward_target agregatora. |
manifest-compose.yaml | Mapuje typ Fluent Bit na encję Compose Recipe (compose/fluent-bit), a typ Fluentd na encję Compose Recipe (compose/fluentd). |
manifest-helm-synth.yaml | Mapuje typ Fluent Bit na syntetyzowaną encję helm Recipe (helm/fluent-bit), a typ Fluentd na syntetyzowaną encję helm Recipe (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Rekordy operatora dla dwóch realizacji. |
Ponieważ zarówno encja Compose Recipe, jak i syntetyzowana encja helm Recipe noszą nazwy
fluent-bit i fluentd, encje Manifests odwołują się do nich z zakresem dostawcy
(compose/… i helm/…).
Co demonstruje
- Jedna powierzchnia tworzenia, wiele celów. Pojedyncza encja Aggregate jest źródłem prawdy o tym, czym jest potok. Każdy Manifest określa, jak go zrealizować.
- Połączenie forward przez String Pipe. Forwarder deklaruje
użycie
forward_targetagregatora; wartościprovides.hostiprovides.portencji Recipe agregatora są przekazywane do forwardera i renderowane do pólHostiPortwyjściaforward. Kompilator kieruje ciągi znaków bez ich interpretowania — więc budowanie Compose łączy nazwę usługi compose, a budowanie Kubernetes łączy nazwę obiektu Service, z tej samej krawędzi. - Stanowe ujście na gnieździe bezstanowego forwardera. Gniazdo
forward_targetforwardera wybieraserverlubstateful-server. Fluentd ma typ stanowego serwera i bez problemu wiąże się z gniazdem — gniazdo wybiera według operacyjnej roli serwera, a nie według tego, czy ujście przechowuje stan. To, jakim protokołem posługuje się ujście, jest sprawdzane osobno: wyjście forward używa protokołu forward Fluentd, więc budowanie zostaje przerwane, chyba że ujście publikujeprotocol: forward, tak jak Fluentd. - Synteza obciążeń (Kubernetes). Każda syntetyzowana encja helm Recipe deklaruje Workload — Deployment oraz Service typu ClusterIP uruchamiające oficjalny obraz — który dostawca helm tłumaczy na manifesty Kubernetes bez zewnętrznego chartu. Wyrenderowany zestaw zasobów to dokładnie to, co deklarują encje Workloads.
- Odtwarzalne obrazy.
infra.engine_versionprzypina tag każdego obrazu, więc wyrenderowane obciążenia odwołują się do stałych obrazów, a syntetyzowane encje Recipes nie renderują żadnego ruchomego tagu.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example fluent-bit-to-fluentdNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd fluent-bit-to-fluentdKompilacja
Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna; --auto-pull zapisuje w trakcie kompilacji plik blokady, którego brakuje w świeżym klonie:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullWyrenderowane artefakty trafiają do dist/.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `fluent-bit-to-fluentd`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `fluent-bit-to-fluentd` i bez `dir`: zapisuje ono przykład w nowym folderze `fluent-bit-to-fluentd`. Następnie wywołaj narzędzie `build` raz dla każdej encji Release, w tej kolejności — `release-compose.yaml`, `release-helm-synth.yaml` — za każdym razem z `workspace_root` ustawionym na `fluent-bit-to-fluentd`, `release` ustawionym na ten plik, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj mi, które pliki zapisała każda kompilacja; znajdują się w `fluent-bit-to-fluentd/dist/`.Jak wygląda wstrzyknięty cel forward
W Compose forwarder zapisuje plik fluent-bit.conf, którego wyjście forward
kieruje do nazwy usługi compose agregatora i portu forward:
[OUTPUT] Name forward Match * Host aggregator Port 24224W Kubernetes to samo wyjście kieruje do wewnątrzklastrowej nazwy obiektu Service agregatora:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Oba są rozwiązywane z tej samej krawędzi encji Aggregate — host i port agregatora przechodzą
przez użycie forward_target, a każdy cel renderuje je we własnym idiomie.
Port 24224 to punkt końcowy forward agregatora, eksportowany przez jego
provides i przekazywany do forwardera z wyprzedzeniem.
Uruchomienie (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dPunkt końcowy monitorowania forwardera jest publikowany wyłącznie na adresie pętli zwrotnej hosta,
pod http://localhost:2020 — jego punkt końcowy /api/v1/metrics raportuje
przetworzone i przekazane rekordy. Punkt końcowy nie sprawdza wywołującego, więc nie jest
publikowany na innych interfejsach hosta, chyba że encja Release ustawi
infra.publish_on_all_interfaces: true dla forwardera. Zamknięcie:
docker compose -f dist/app/compose/docker-compose.yaml down.