Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Fluent Bit do Fluentd — dwuwarstwowy potok logów, dwa cele

Ten przykład kompiluje rzeczywisty potok logów — forwarder Fluent Bit przesyłający rekordy do agregatora Fluentd przez protokół forward — z jednej encji Aggregate napisanej przez programistę do dwóch realizacji:

  • Docker Compose do lokalnego programowania oraz
  • syntetyzowane encje helm Recipes uruchamiające oficjalne obrazy upstream fluent/fluent-bit i fluent/fluentd bezpośrednio w Kubernetes (bez zewnętrznych chartów).

Syntetyzowane encje helm Recipes niczego nie pobierają w czasie budowania; helm/fluent-bit-chart i helm/fluentd-chart renderują natomiast własne charty projektu Fluent, dla budowania, które ma dostęp do repozytorium chartów.

Ten sam aggregate.yaml steruje obiema. Między realizacjami zmienia się tylko warstwa Recipe wybrana przez Manifest.

Potok

Dwa komponenty tworzą potok od forwardera do agregatora:

  • forwarder (core/observability/fluent-bit) zbiera rekordy logów i wysyła je na wyjście forward. Ma typ bezstanowego serwera.
  • aggregator (core/observability/fluentd) nasłuchuje na protokole wejściowym forward, odbiera rekordy i kieruje je na swoje wyjście. Ma typ stanowego serwera; syntetyzowana encja helm Recipe domyślnie buforuje w pamięci, więc renderuje się jako Deployment z jedną repliką.

Forwarder deklaruje użycie forward_target agregatora. Wartości provides.host i provides.port agregatora — host i port jego punktu końcowego forward (konwencjonalny port forward Fluentd, 24224) — są przekazywane potokiem do forwardera i renderowane do pól Host i Port jego wyjścia forward. Forwarder wysyła więc do punktu końcowego forward agregatora, połączonego z wyprzedzeniem z jednej krawędzi.

Pliki

PlikRola
aggregate.yamlIntencja programisty: ujście aggregator (core/observability/fluentd) i forwarder (core/observability/fluent-bit), który deklaruje użycie forward_target agregatora.
manifest-compose.yamlMapuje typ Fluent Bit na encję Compose Recipe (compose/fluent-bit), a typ Fluentd na encję Compose Recipe (compose/fluentd).
manifest-helm-synth.yamlMapuje typ Fluent Bit na syntetyzowaną encję helm Recipe (helm/fluent-bit), a typ Fluentd na syntetyzowaną encję helm Recipe (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlRekordy operatora dla dwóch realizacji.

Ponieważ zarówno encja Compose Recipe, jak i syntetyzowana encja helm Recipe noszą nazwy fluent-bit i fluentd, encje Manifests odwołują się do nich z zakresem dostawcy (compose/… i helm/…).

Co demonstruje

  • Jedna powierzchnia tworzenia, wiele celów. Pojedyncza encja Aggregate jest źródłem prawdy o tym, czym jest potok. Każdy Manifest określa, jak go zrealizować.
  • Połączenie forward przez String Pipe. Forwarder deklaruje użycie forward_target agregatora; wartości provides.host i provides.port encji Recipe agregatora są przekazywane do forwardera i renderowane do pól Host i Port wyjścia forward. Kompilator kieruje ciągi znaków bez ich interpretowania — więc budowanie Compose łączy nazwę usługi compose, a budowanie Kubernetes łączy nazwę obiektu Service, z tej samej krawędzi.
  • Stanowe ujście na gnieździe bezstanowego forwardera. Gniazdo forward_target forwardera wybiera server lub stateful-server. Fluentd ma typ stanowego serwera i bez problemu wiąże się z gniazdem — gniazdo wybiera według operacyjnej roli serwera, a nie według tego, czy ujście przechowuje stan. To, jakim protokołem posługuje się ujście, jest sprawdzane osobno: wyjście forward używa protokołu forward Fluentd, więc budowanie zostaje przerwane, chyba że ujście publikuje protocol: forward, tak jak Fluentd.
  • Synteza obciążeń (Kubernetes). Każda syntetyzowana encja helm Recipe deklaruje Workload — Deployment oraz Service typu ClusterIP uruchamiające oficjalny obraz — który dostawca helm tłumaczy na manifesty Kubernetes bez zewnętrznego chartu. Wyrenderowany zestaw zasobów to dokładnie to, co deklarują encje Workloads.
  • Odtwarzalne obrazy. infra.engine_version przypina tag każdego obrazu, więc wyrenderowane obciążenia odwołują się do stałych obrazów, a syntetyzowane encje Recipes nie renderują żadnego ruchomego tagu.

Generowanie przykładu

Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.

Należy zapisać przykład w nowym folderze nazwanym tak jak on:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

Następnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:

Terminal window
cd fluent-bit-to-fluentd

Kompilacja

Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna; --auto-pull zapisuje w trakcie kompilacji plik blokady, którego brakuje w świeżym klonie:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

Wyrenderowane artefakty trafiają do dist/.

Z asystentem AI

Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.

Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `fluent-bit-to-fluentd`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `fluent-bit-to-fluentd` i bez `dir`: zapisuje ono przykład w nowym folderze `fluent-bit-to-fluentd`. Następnie wywołaj narzędzie `build` raz dla każdej encji Release, w tej kolejności — `release-compose.yaml`, `release-helm-synth.yaml` — za każdym razem z `workspace_root` ustawionym na `fluent-bit-to-fluentd`, `release` ustawionym na ten plik, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj mi, które pliki zapisała każda kompilacja; znajdują się w `fluent-bit-to-fluentd/dist/`.

Jak wygląda wstrzyknięty cel forward

W Compose forwarder zapisuje plik fluent-bit.conf, którego wyjście forward kieruje do nazwy usługi compose agregatora i portu forward:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

W Kubernetes to samo wyjście kieruje do wewnątrzklastrowej nazwy obiektu Service agregatora:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

Oba są rozwiązywane z tej samej krawędzi encji Aggregate — host i port agregatora przechodzą przez użycie forward_target, a każdy cel renderuje je we własnym idiomie. Port 24224 to punkt końcowy forward agregatora, eksportowany przez jego provides i przekazywany do forwardera z wyprzedzeniem.

Uruchomienie (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Punkt końcowy monitorowania forwardera jest publikowany wyłącznie na adresie pętli zwrotnej hosta, pod http://localhost:2020 — jego punkt końcowy /api/v1/metrics raportuje przetworzone i przekazane rekordy. Punkt końcowy nie sprawdza wywołującego, więc nie jest publikowany na innych interfejsach hosta, chyba że encja Release ustawi infra.publish_on_all_interfaces: true dla forwardera. Zamknięcie: docker compose -f dist/app/compose/docker-compose.yaml down.