Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Fluentd — agregator logów, dwa cele

Ten przykład kompiluje agregator logów Fluentd — odbierający koniec potoku logów — z jednej encji Aggregate napisanej przez dewelopera do dwóch realizacji:

  • Docker Compose do lokalnego programowania oraz
  • syntetyzowana encja helm Recipe uruchamiająca oficjalny obraz fluent/fluentd bezpośrednio w Kubernetes (bez zewnętrznego chartu).

Syntetyzowana encja helm Recipe niczego nie pobiera w czasie budowania; helm/fluentd-chart renderuje własny chart projektu Fluent jako ten sam agregator, dla budowania, które ma dostęp do repozytorium chartów.

Ten sam aggregate.yaml steruje obiema. Między realizacjami zmienia się tylko warstwa Recipe wybrana przez Manifest.

Rola agregatora

Potok logów ma dwa końce. Forwarder (np. Fluent Bit) zbiera rekordy logów i wysyła je dalej. Agregator jest odbiornikiem na drugim końcu: nasłuchuje w protokole wejściowym forward, odbiera rekordy wysyłane przez forwardery i kieruje je do swojego wyjścia. Fluentd pełni tu rolę agregatora.

Ponieważ agregator odbiera, a nie przekazuje dalej, nie deklaruje gniazda uses skierowanego dalej. Zamiast tego eksportuje host i port swojego punktu końcowego forward przez provides, dzięki czemu forwarder może powiązać go z gniazdem forward i wysyłać do niego rekordy. Punkt końcowy forward nasłuchuje na porcie 24224 — zwyczajowym porcie forward Fluentd.

Pliki

PlikRola
aggregate.yamlIntencja dewelopera: komponent aggregator (core/observability/fluentd) nasłuchujący na wejściu forward.
manifest-compose.yamlMapuje typ Fluentd na encję Compose Recipe (compose/fluentd).
manifest-helm-synth.yamlMapuje typ Fluentd na syntetyzowaną encję helm Recipe (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlRekordy operatora dla dwóch realizacji.
release-helm-synth-buffer.yamlSyntetyzowana realizacja helm z włączonym trwałym buforowaniem (ustawione infra.storage.size).

Ponieważ zarówno encja Compose Recipe, jak i syntetyzowana helm Recipe noszą nazwę fluentd, encje Manifests odwołują się do nich z zakresem dostawcy jako compose/fluentd i helm/fluentd.

Co demonstruje

  • Jedna powierzchnia tworzenia, wiele celów. Pojedyncza encja Aggregate jest źródłem prawdy o tym, czym jest stos. Każda encja Manifest mówi, jak go zrealizować.
  • Odbierający koniec String Pipe. Agregator eksportuje swój punkt końcowy forward przez provides — host (usługa agregatora) i port (24224) w protokole forward. Forwarder, który wiąże ten komponent, przekazuje te ciągi do własnego wyjścia forward; kompilator kieruje je, nie interpretując ich.
  • Synteza encji Workload (Kubernetes). Syntetyzowana encja helm Recipe deklaruje Workload — Deployment oraz ClusterIP Service uruchamiające oficjalny obraz fluent/fluentd — który dostawca helm tłumaczy na manifesty Kubernetes bez zewnętrznego chartu. Wyrenderowany zestaw zasobów jest dokładnie tym, co deklaruje Workload.
  • Routing kontrolowany przez dewelopera. Dopasowanie wyjścia dewelopera wybiera, które odebrane rekordy trafiają do wyjścia agregatora. Domyślnie jest to **, co kieruje każdy odebrany rekord.
  • Domyślnie bufor ulotny, na żądanie trwały. Agregator buforuje w pamięci, więc domyślny render nie zawiera trwałego woluminu. Ustawienie infra.storage.size (zob. release-helm-synth-buffer.yaml) zapewnia buforowi trwały wolumin zamontowany w /fluentd/log; obciążenie pozostaje Deploymentem z jedną repliką.
  • Odtwarzalne obrazy. infra.engine_version przypina tag obrazu Fluentd, dzięki czemu wyrenderowane obciążenie odwołuje się do stałego obrazu, a syntetyzowana encja Recipe nie renderuje ruchomego tagu.

Generowanie przykładu

Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.

Należy zapisać przykład w nowym folderze nazwanym tak jak on:

Terminal window
aggrega scaffold --example fluentd-aggregator

Następnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:

Terminal window
cd fluentd-aggregator

Kompilacja

Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna; --auto-pull zapisuje w trakcie kompilacji plik blokady, którego brakuje w świeżym klonie:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)
aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volume
aggrega build --release release-helm-synth-buffer.yaml --auto-pull

Wyrenderowane artefakty trafiają do dist/.

Z asystentem AI

Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.

Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `fluentd-aggregator`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `fluentd-aggregator` i bez `dir`: zapisuje ono przykład w nowym folderze `fluentd-aggregator`. Następnie wywołaj narzędzie `build` raz dla każdej encji Release, w tej kolejności — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — za każdym razem z `workspace_root` ustawionym na `fluentd-aggregator`, `release` ustawionym na ten plik, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj mi, które pliki zapisała każda kompilacja; znajdują się w `fluentd-aggregator/dist/`.

Jak wygląda punkt końcowy forward

W Compose agregator zapisuje plik fluent.conf ze źródłem wejściowym forward powiązanym z portem forward i kieruje dopasowane rekordy na standardowe wyjście:

<source>
@type forward
bind 0.0.0.0
port 24224
</source>
<match **>
@type stdout
</match>

W Kubernetes syntetyzowana encja helm Recipe zapisuje ten sam plik fluent.conf przy starcie, a ClusterIP Service udostępnia port forward:

spec:
type: ClusterIP
[… omitted: the selector matching the aggregator's Pods]
ports:
- name: forward
port: 24224
targetPort: forward

Deployment odwołuje się do przypiętego obrazu i udostępnia port forward w kontenerze:

image: fluent/fluentd:v1.19.3-debian-2.1
[… omitted: the start-up command that writes the fluent.conf shown above]
ports:
- name: forward
containerPort: 24224

Gdy ustawione jest infra.storage.size, encja Recipe dodatkowo renderuje PersistentVolumeClaim i montuje go w /fluentd/log, zapewniając bufor plikowy, dzięki czemu zbuforowane rekordy przetrwają restarty.

Uruchomienie (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Agregator nasłuchuje przekazywanych rekordów na localhost:24224. Można wysłać do niego rekord testowy dowolnym forwarderem Fluentd lub Fluent Bit skierowanym na ten port, a odebrane rekordy pojawią się na standardowym wyjściu agregatora. Środowisko usuwa się poleceniem docker compose -f dist/app/compose/docker-compose.yaml down.