Fluentd — agregator logów, dwa cele
Ten przykład kompiluje agregator logów Fluentd — odbierający koniec potoku logów — z jednej encji Aggregate napisanej przez dewelopera do dwóch realizacji:
- Docker Compose do lokalnego programowania oraz
- syntetyzowana encja helm Recipe uruchamiająca oficjalny obraz
fluent/fluentdbezpośrednio w Kubernetes (bez zewnętrznego chartu).
Syntetyzowana encja helm Recipe niczego nie pobiera w czasie budowania; helm/fluentd-chart
renderuje własny chart projektu Fluent jako ten sam agregator, dla budowania, które
ma dostęp do repozytorium chartów.
Ten sam aggregate.yaml steruje obiema. Między realizacjami zmienia się tylko warstwa Recipe wybrana przez
Manifest.
Rola agregatora
Potok logów ma dwa końce. Forwarder (np. Fluent Bit) zbiera rekordy logów
i wysyła je dalej. Agregator jest odbiornikiem na drugim końcu: nasłuchuje
w protokole wejściowym forward, odbiera rekordy wysyłane przez forwardery
i kieruje je do swojego wyjścia. Fluentd pełni tu rolę agregatora.
Ponieważ agregator odbiera, a nie przekazuje dalej, nie deklaruje gniazda uses
skierowanego dalej. Zamiast tego eksportuje host i port swojego punktu końcowego forward
przez provides, dzięki czemu forwarder może powiązać go z gniazdem forward i wysyłać
do niego rekordy. Punkt końcowy forward nasłuchuje na porcie 24224 —
zwyczajowym porcie forward Fluentd.
Pliki
| Plik | Rola |
|---|---|
aggregate.yaml | Intencja dewelopera: komponent aggregator (core/observability/fluentd) nasłuchujący na wejściu forward. |
manifest-compose.yaml | Mapuje typ Fluentd na encję Compose Recipe (compose/fluentd). |
manifest-helm-synth.yaml | Mapuje typ Fluentd na syntetyzowaną encję helm Recipe (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Rekordy operatora dla dwóch realizacji. |
release-helm-synth-buffer.yaml | Syntetyzowana realizacja helm z włączonym trwałym buforowaniem (ustawione infra.storage.size). |
Ponieważ zarówno encja Compose Recipe, jak i syntetyzowana helm Recipe noszą nazwę fluentd,
encje Manifests odwołują się do nich z zakresem dostawcy jako compose/fluentd i
helm/fluentd.
Co demonstruje
- Jedna powierzchnia tworzenia, wiele celów. Pojedyncza encja Aggregate jest źródłem prawdy o tym, czym jest stos. Każda encja Manifest mówi, jak go zrealizować.
- Odbierający koniec String Pipe. Agregator eksportuje swój punkt końcowy forward
przez
provides—host(usługa agregatora) iport(24224) w protokoleforward. Forwarder, który wiąże ten komponent, przekazuje te ciągi do własnego wyjścia forward; kompilator kieruje je, nie interpretując ich. - Synteza encji Workload (Kubernetes). Syntetyzowana encja helm Recipe deklaruje
Workload — Deployment oraz ClusterIP Service uruchamiające oficjalny obraz
fluent/fluentd— który dostawca helm tłumaczy na manifesty Kubernetes bez zewnętrznego chartu. Wyrenderowany zestaw zasobów jest dokładnie tym, co deklaruje Workload. - Routing kontrolowany przez dewelopera. Dopasowanie wyjścia dewelopera wybiera, które
odebrane rekordy trafiają do wyjścia agregatora. Domyślnie jest to
**, co kieruje każdy odebrany rekord. - Domyślnie bufor ulotny, na żądanie trwały. Agregator buforuje
w pamięci, więc domyślny render nie zawiera trwałego woluminu. Ustawienie
infra.storage.size(zob.release-helm-synth-buffer.yaml) zapewnia buforowi trwały wolumin zamontowany w/fluentd/log; obciążenie pozostaje Deploymentem z jedną repliką. - Odtwarzalne obrazy.
infra.engine_versionprzypina tag obrazu Fluentd, dzięki czemu wyrenderowane obciążenie odwołuje się do stałego obrazu, a syntetyzowana encja Recipe nie renderuje ruchomego tagu.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example fluentd-aggregatorNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd fluentd-aggregatorKompilacja
Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna; --auto-pull zapisuje w trakcie kompilacji plik blokady, którego brakuje w świeżym klonie:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullWyrenderowane artefakty trafiają do dist/.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `fluentd-aggregator`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `fluentd-aggregator` i bez `dir`: zapisuje ono przykład w nowym folderze `fluentd-aggregator`. Następnie wywołaj narzędzie `build` raz dla każdej encji Release, w tej kolejności — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — za każdym razem z `workspace_root` ustawionym na `fluentd-aggregator`, `release` ustawionym na ten plik, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj mi, które pliki zapisała każda kompilacja; znajdują się w `fluentd-aggregator/dist/`.Jak wygląda punkt końcowy forward
W Compose agregator zapisuje plik fluent.conf ze źródłem wejściowym forward
powiązanym z portem forward i kieruje dopasowane rekordy na standardowe wyjście:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>W Kubernetes syntetyzowana encja helm Recipe zapisuje ten sam plik fluent.conf przy
starcie, a ClusterIP Service udostępnia port forward:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardDeployment odwołuje się do przypiętego obrazu i udostępnia port forward w kontenerze:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224Gdy ustawione jest infra.storage.size, encja Recipe dodatkowo renderuje
PersistentVolumeClaim i montuje go w /fluentd/log, zapewniając bufor plikowy, dzięki
czemu zbuforowane rekordy przetrwają restarty.
Uruchomienie (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dAgregator nasłuchuje przekazywanych rekordów na localhost:24224. Można wysłać do niego
rekord testowy dowolnym forwarderem Fluentd lub Fluent Bit skierowanym na ten port,
a odebrane rekordy pojawią się na standardowym wyjściu agregatora. Środowisko usuwa się
poleceniem docker compose -f dist/app/compose/docker-compose.yaml down.