Von Fluent Bit zu Fluentd — eine zweistufige Log-Pipeline, zwei Ziele
Dieses Beispiel kompiliert eine reale Log-Pipeline — einen Fluent Bit-Forwarder, der Datensätze über das Forward-Protokoll an einen Fluentd-Aggregator sendet — aus einem einzigen vom Entwickler verfassten Aggregate zu zwei Realisierungen:
- Docker Compose für die lokale Entwicklung und
- die synthetisierten helm-Recipes, die die offiziellen Upstream-Images
fluent/fluent-bitundfluent/fluentddirekt auf Kubernetes ausführen (keine externen Charts).
Die synthetisierten helm-Recipes laden zur Build-Zeit nichts herunter; helm/fluent-bit-chart und helm/fluentd-chart rendern stattdessen die eigenen Charts des Fluent-Projekts, für einen Build, der ein Chart-Repository erreichen kann.
Dasselbe aggregate.yaml steuert beide. Pro Realisierung ändert sich nur die vom Manifest ausgewählte Recipe-Schicht.
Die Pipeline
Zwei Komponenten bilden eine Pipeline vom Forwarder zum Aggregator:
forwarder(core/observability/fluent-bit) sammelt Log-Datensätze und sendet sie über eine Ausgabeforward. Er ist als zustandsloser Server typisiert.aggregator(core/observability/fluentd) lauscht auf dem Eingabeprotokollforward, empfängt die Datensätze und leitet sie an seine Ausgabe weiter. Er ist als zustandsbehafteter Server typisiert; das synthetisierte helm-Recipe puffert standardmäßig im Arbeitsspeicher, daher wird er als Deployment mit einer einzigen Replica gerendert.
Der Forwarder deklariert eine Nutzung forward_target des Aggregators. Die Werte provides.host und provides.port des Aggregators — Host und Port seines Forward-Endpunkts (der konventionelle Fluentd-Forward-Port, 24224) — werden in den Forwarder durchgereicht und in Host und Port seiner Ausgabe forward gerendert. So sendet der Forwarder an den Forward-Endpunkt des Aggregators, im Voraus aus einer einzigen Kante verdrahtet.
Dateien
| Datei | Rolle |
|---|---|
aggregate.yaml | Entwicklerabsicht: eine Senke aggregator (core/observability/fluentd) und ein forwarder (core/observability/fluent-bit), der eine Nutzung forward_target des Aggregators deklariert. |
manifest-compose.yaml | Bildet den Fluent-Bit-Typ auf das Compose-Recipe (compose/fluent-bit) und den Fluentd-Typ auf das Compose-Recipe (compose/fluentd) ab. |
manifest-helm-synth.yaml | Bildet den Fluent-Bit-Typ auf das synthetisierte helm-Recipe (helm/fluent-bit) und den Fluentd-Typ auf das synthetisierte helm-Recipe (helm/fluentd) ab. |
release-compose.yaml / release-helm-synth.yaml | Betreiber-Datensätze für die beiden Realisierungen. |
Da die Namen fluent-bit und fluentd sowohl von einem Compose- als auch von einem synthetisierten helm-Recipe getragen werden, referenzieren die Manifests sie auf den Provider bezogen (compose/… und helm/…).
Was es zeigt
- Eine Authoring-Oberfläche, viele Ziele. Ein einziges Aggregate ist die maßgebliche Quelle dafür, was die Pipeline ist. Jedes Manifest sagt, wie sie zu realisieren ist.
- Forward-Verdrahtung über die String Pipe. Der Forwarder deklariert eine Nutzung
forward_targetdes Aggregators; die Werteprovides.hostundprovides.portdes Aggregator-Recipe werden in den Forwarder durchgereicht und inHostundPorteiner Ausgabeforwardgerendert. Der Compiler leitet die Strings weiter, ohne sie zu interpretieren — so verdrahtet der Compose-Build einen Compose-Servicenamen und der Kubernetes-Build einen Service-Namen, aus derselben Kante. - Eine zustandsbehaftete Senke am Socket eines zustandslosen Forwarders. Der Socket
forward_targetdes Forwarders wählt einenserveroder einenstateful-serveraus. Fluentd ist als zustandsbehafteter Server typisiert und bindet den Socket sauber — der Socket wählt nach der operativen Server-Rolle aus, nicht danach, ob die Senke Zustand hält. Was die Senke spricht, wird davon getrennt geprüft: Die Forward-Ausgabe spricht das Fluentd-Forward-Protokoll, daher bricht der Build ab, sofern die Senke nichtprotocol: forwardveröffentlicht, wie Fluentd es tut. - Workload-Synthese (Kubernetes). Jedes synthetisierte helm-Recipe deklariert eine Workload — ein Deployment plus einen ClusterIP-Service, der das offizielle Image ausführt —, die der helm-Provider ohne externes Chart in Kubernetes-Manifeste übersetzt. Die gerenderte Ressourcenmenge ist genau das, was die Workloads deklarieren.
- Reproduzierbare Images.
infra.engine_versionfixiert jeden Image-Tag, sodass die gerenderten Arbeitslasten feste Images referenzieren und die synthetisierten Recipes keinen gleitenden Tag rendern.
Das Beispiel generieren
Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.
Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:
aggrega scaffold --example fluent-bit-to-fluentdDanach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:
cd fluent-bit-to-fluentdBuild
Dieser Workspace enthält kein .aggrega-config.yaml, daher werden die Entitäten der Standardbibliothek aus der Hub-Registry hub.aggrega.ai aufgelöst, und es ist kein Katalog-Flag nötig; --auto-pull schreibt während des Builds das Lockfile, das einem frischen Klon fehlt:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullGerenderte Artefakte landen unter dist/.
Mit einem KI-Assistenten
Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.
Verwenden Sie ausschließlich die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Arbeitsbereichsordner noch keinen Ordner `fluent-bit-to-fluentd` enthält, rufen Sie das Tool `scaffold` einmal mit `example` auf `fluent-bit-to-fluentd` gesetzt und ohne `dir` auf: Es schreibt das Beispiel in einen neuen Ordner `fluent-bit-to-fluentd`. Rufen Sie dann das Tool `build` einmal für jedes Release auf, in dieser Reihenfolge — `release-compose.yaml`, `release-helm-synth.yaml` — jedes Mal mit `workspace_root` auf `fluent-bit-to-fluentd`, `release` auf diese Datei, `auto_pull` auf true und `write` auf true gesetzt. Nennen Sie mir die Dateien, die jeder Build geschrieben hat; sie liegen unter `fluent-bit-to-fluentd/dist/`.Wie das injizierte Forward-Ziel aussieht
Auf Compose schreibt der Forwarder eine fluent-bit.conf, deren Ausgabe forward auf den Compose-Servicenamen und den Forward-Port des Aggregators zielt:
[OUTPUT] Name forward Match * Host aggregator Port 24224Auf Kubernetes zielt dieselbe Ausgabe auf den clusterinternen Service-Namen des Aggregators:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Beide ergeben sich aus derselben Aggregate-Kante — Host und Port des Aggregators gelangen über die Nutzung forward_target dorthin, und jedes Ziel rendert sie in seiner eigenen Ausdrucksweise. Der Port 24224 ist der Forward-Endpunkt des Aggregators, über seine provides exportiert und im Voraus in den Forwarder durchgereicht.
Ausführen (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dDer Monitoring-Endpunkt des Forwarders wird nur auf der Loopback-Adresse des Hosts veröffentlicht, unter http://localhost:2020 — sein Endpunkt /api/v1/metrics meldet die verarbeiteten und weitergeleiteten Datensätze. Der Endpunkt prüft keinen Aufrufer, daher wird er nicht auf den anderen Schnittstellen des Hosts veröffentlicht, es sei denn, das Release setzt infra.publish_on_all_interfaces: true auf dem Forwarder. Abbauen mit docker compose -f dist/app/compose/docker-compose.yaml down.