Zum Inhalt springen
AggregaAggrega
Sprache wählen: Deutsch
Diese Seite wurde maschinell übersetzt. Das englische Original lesen.

Von Fluent Bit zu Fluentd — eine zweistufige Log-Pipeline, zwei Ziele

Dieses Beispiel kompiliert eine reale Log-Pipeline — einen Fluent Bit-Forwarder, der Datensätze über das Forward-Protokoll an einen Fluentd-Aggregator sendet — aus einem einzigen vom Entwickler verfassten Aggregate zu zwei Realisierungen:

  • Docker Compose für die lokale Entwicklung und
  • die synthetisierten helm-Recipes, die die offiziellen Upstream-Images fluent/fluent-bit und fluent/fluentd direkt auf Kubernetes ausführen (keine externen Charts).

Die synthetisierten helm-Recipes laden zur Build-Zeit nichts herunter; helm/fluent-bit-chart und helm/fluentd-chart rendern stattdessen die eigenen Charts des Fluent-Projekts, für einen Build, der ein Chart-Repository erreichen kann.

Dasselbe aggregate.yaml steuert beide. Pro Realisierung ändert sich nur die vom Manifest ausgewählte Recipe-Schicht.

Die Pipeline

Zwei Komponenten bilden eine Pipeline vom Forwarder zum Aggregator:

  • forwarder (core/observability/fluent-bit) sammelt Log-Datensätze und sendet sie über eine Ausgabe forward. Er ist als zustandsloser Server typisiert.
  • aggregator (core/observability/fluentd) lauscht auf dem Eingabeprotokoll forward, empfängt die Datensätze und leitet sie an seine Ausgabe weiter. Er ist als zustandsbehafteter Server typisiert; das synthetisierte helm-Recipe puffert standardmäßig im Arbeitsspeicher, daher wird er als Deployment mit einer einzigen Replica gerendert.

Der Forwarder deklariert eine Nutzung forward_target des Aggregators. Die Werte provides.host und provides.port des Aggregators — Host und Port seines Forward-Endpunkts (der konventionelle Fluentd-Forward-Port, 24224) — werden in den Forwarder durchgereicht und in Host und Port seiner Ausgabe forward gerendert. So sendet der Forwarder an den Forward-Endpunkt des Aggregators, im Voraus aus einer einzigen Kante verdrahtet.

Dateien

DateiRolle
aggregate.yamlEntwicklerabsicht: eine Senke aggregator (core/observability/fluentd) und ein forwarder (core/observability/fluent-bit), der eine Nutzung forward_target des Aggregators deklariert.
manifest-compose.yamlBildet den Fluent-Bit-Typ auf das Compose-Recipe (compose/fluent-bit) und den Fluentd-Typ auf das Compose-Recipe (compose/fluentd) ab.
manifest-helm-synth.yamlBildet den Fluent-Bit-Typ auf das synthetisierte helm-Recipe (helm/fluent-bit) und den Fluentd-Typ auf das synthetisierte helm-Recipe (helm/fluentd) ab.
release-compose.yaml / release-helm-synth.yamlBetreiber-Datensätze für die beiden Realisierungen.

Da die Namen fluent-bit und fluentd sowohl von einem Compose- als auch von einem synthetisierten helm-Recipe getragen werden, referenzieren die Manifests sie auf den Provider bezogen (compose/… und helm/…).

Was es zeigt

  • Eine Authoring-Oberfläche, viele Ziele. Ein einziges Aggregate ist die maßgebliche Quelle dafür, was die Pipeline ist. Jedes Manifest sagt, wie sie zu realisieren ist.
  • Forward-Verdrahtung über die String Pipe. Der Forwarder deklariert eine Nutzung forward_target des Aggregators; die Werte provides.host und provides.port des Aggregator-Recipe werden in den Forwarder durchgereicht und in Host und Port einer Ausgabe forward gerendert. Der Compiler leitet die Strings weiter, ohne sie zu interpretieren — so verdrahtet der Compose-Build einen Compose-Servicenamen und der Kubernetes-Build einen Service-Namen, aus derselben Kante.
  • Eine zustandsbehaftete Senke am Socket eines zustandslosen Forwarders. Der Socket forward_target des Forwarders wählt einen server oder einen stateful-server aus. Fluentd ist als zustandsbehafteter Server typisiert und bindet den Socket sauber — der Socket wählt nach der operativen Server-Rolle aus, nicht danach, ob die Senke Zustand hält. Was die Senke spricht, wird davon getrennt geprüft: Die Forward-Ausgabe spricht das Fluentd-Forward-Protokoll, daher bricht der Build ab, sofern die Senke nicht protocol: forward veröffentlicht, wie Fluentd es tut.
  • Workload-Synthese (Kubernetes). Jedes synthetisierte helm-Recipe deklariert eine Workload — ein Deployment plus einen ClusterIP-Service, der das offizielle Image ausführt —, die der helm-Provider ohne externes Chart in Kubernetes-Manifeste übersetzt. Die gerenderte Ressourcenmenge ist genau das, was die Workloads deklarieren.
  • Reproduzierbare Images. infra.engine_version fixiert jeden Image-Tag, sodass die gerenderten Arbeitslasten feste Images referenzieren und die synthetisierten Recipes keinen gleitenden Tag rendern.

Das Beispiel generieren

Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.

Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

Danach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:

Terminal window
cd fluent-bit-to-fluentd

Build

Dieser Workspace enthält kein .aggrega-config.yaml, daher werden die Entitäten der Standardbibliothek aus der Hub-Registry hub.aggrega.ai aufgelöst, und es ist kein Katalog-Flag nötig; --auto-pull schreibt während des Builds das Lockfile, das einem frischen Klon fehlt:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

Gerenderte Artefakte landen unter dist/.

Mit einem KI-Assistenten

Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.

Verwenden Sie ausschließlich die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Arbeitsbereichsordner noch keinen Ordner `fluent-bit-to-fluentd` enthält, rufen Sie das Tool `scaffold` einmal mit `example` auf `fluent-bit-to-fluentd` gesetzt und ohne `dir` auf: Es schreibt das Beispiel in einen neuen Ordner `fluent-bit-to-fluentd`. Rufen Sie dann das Tool `build` einmal für jedes Release auf, in dieser Reihenfolge — `release-compose.yaml`, `release-helm-synth.yaml` — jedes Mal mit `workspace_root` auf `fluent-bit-to-fluentd`, `release` auf diese Datei, `auto_pull` auf true und `write` auf true gesetzt. Nennen Sie mir die Dateien, die jeder Build geschrieben hat; sie liegen unter `fluent-bit-to-fluentd/dist/`.

Wie das injizierte Forward-Ziel aussieht

Auf Compose schreibt der Forwarder eine fluent-bit.conf, deren Ausgabe forward auf den Compose-Servicenamen und den Forward-Port des Aggregators zielt:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

Auf Kubernetes zielt dieselbe Ausgabe auf den clusterinternen Service-Namen des Aggregators:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

Beide ergeben sich aus derselben Aggregate-Kante — Host und Port des Aggregators gelangen über die Nutzung forward_target dorthin, und jedes Ziel rendert sie in seiner eigenen Ausdrucksweise. Der Port 24224 ist der Forward-Endpunkt des Aggregators, über seine provides exportiert und im Voraus in den Forwarder durchgereicht.

Ausführen (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Der Monitoring-Endpunkt des Forwarders wird nur auf der Loopback-Adresse des Hosts veröffentlicht, unter http://localhost:2020 — sein Endpunkt /api/v1/metrics meldet die verarbeiteten und weitergeleiteten Datensätze. Der Endpunkt prüft keinen Aufrufer, daher wird er nicht auf den anderen Schnittstellen des Hosts veröffentlicht, es sei denn, das Release setzt infra.publish_on_all_interfaces: true auf dem Forwarder. Abbauen mit docker compose -f dist/app/compose/docker-compose.yaml down.