Fluentd — ein Log-Aggregator, zwei Ziele
Dieses Beispiel kompiliert einen Fluentd-Log-Aggregator — das empfangende Ende einer Log-Pipeline — aus einem einzigen vom Entwickler verfassten Aggregate zu zwei Realisierungen:
- Docker Compose für die lokale Entwicklung und
- das synthetisierte helm-Recipe, das das offizielle Upstream-Image
fluent/fluentddirekt auf Kubernetes ausführt (kein externes Chart).
Das synthetisierte helm-Recipe lädt zur Build-Zeit nichts herunter; helm/fluentd-chart rendert das eigene Chart des Fluent-Projekts als denselben Aggregator, für einen Build, der ein Chart-Repository erreichen kann.
Dasselbe aggregate.yaml steuert beide. Pro Realisierung ändert sich nur die vom Manifest ausgewählte Recipe-Schicht.
Die Aggregator-Rolle
Eine Log-Pipeline hat zwei Enden. Ein Forwarder (etwa Fluent Bit) sammelt Log-Datensätze und sendet sie stromabwärts. Ein Aggregator ist die Senke am anderen Ende: Er lauscht auf dem Eingabeprotokoll forward, empfängt die Datensätze, die ihm vorgelagerte Forwarder senden, und leitet sie an seine Ausgabe weiter. Fluentd übernimmt hier die Aggregator-Rolle.
Da der Aggregator empfängt statt weiterzuleiten, deklariert er keinen nachgelagerten Socket uses. Stattdessen exportiert er Host und Port seines Forward-Endpunkts über provides, sodass ein Forwarder ihn an einem Forward-Socket binden und Datensätze an ihn senden kann. Der Forward-Endpunkt lauscht auf Port 24224 — dem konventionellen Fluentd-Forward-Port.
Dateien
| Datei | Rolle |
|---|---|
aggregate.yaml | Entwicklerabsicht: eine Komponente aggregator (core/observability/fluentd), die auf der Forward-Eingabe lauscht. |
manifest-compose.yaml | Bildet den Fluentd-Typ auf das Compose-Recipe (compose/fluentd) ab. |
manifest-helm-synth.yaml | Bildet den Fluentd-Typ auf das synthetisierte helm-Recipe (helm/fluentd) ab. |
release-compose.yaml / release-helm-synth.yaml | Betreiber-Datensätze für die beiden Realisierungen. |
release-helm-synth-buffer.yaml | Die synthetisierte helm-Realisierung mit aktivierter dauerhafter Pufferung (infra.storage.size gesetzt). |
Da der Name fluentd sowohl von einem Compose- als auch von einem synthetisierten helm-Recipe getragen wird, referenzieren die Manifests sie auf den Provider bezogen als compose/fluentd und helm/fluentd.
Was es zeigt
- Eine Authoring-Oberfläche, viele Ziele. Ein einziges Aggregate ist die maßgebliche Quelle dafür, was der Stack ist. Jedes Manifest sagt, wie er zu realisieren ist.
- Das empfangende Ende der String Pipe. Der Aggregator exportiert seinen Forward-Endpunkt über
provides—host(der Service des Aggregators) undport(24224) auf dem Protokollforward. Ein Forwarder, der diese Komponente bindet, reicht diese Strings in seine eigene Forward-Ausgabe durch; der Compiler leitet sie weiter, ohne sie zu interpretieren. - Workload-Synthese (Kubernetes). Das synthetisierte helm-Recipe deklariert eine Workload — ein Deployment plus einen ClusterIP-Service, der das offizielle Image
fluent/fluentdausführt —, die der helm-Provider ohne externes Chart in Kubernetes-Manifeste übersetzt. Die gerenderte Ressourcenmenge ist genau das, was die Workload deklariert. - Vom Entwickler gesteuertes Routing. Das Ausgabe-Match des Entwicklers wählt aus, welche empfangenen Datensätze an die Ausgabe des Aggregators geleitet werden. Standardmäßig ist es
**, was jeden empfangenen Datensatz weiterleitet. - Standardmäßig flüchtiger Puffer, auf Wunsch dauerhaft. Der Aggregator puffert im Arbeitsspeicher, daher enthält das Standard-Rendering kein persistentes Volume. Das Setzen von
infra.storage.size(sieherelease-helm-synth-buffer.yaml) hinterlegt den Puffer mit einem dauerhaften Volume, das unter/fluentd/logeingehängt ist; die Arbeitslast bleibt ein Deployment mit einer einzigen Replica. - Reproduzierbare Images.
infra.engine_versionfixiert den Fluentd-Image-Tag, sodass die gerenderte Arbeitslast ein festes Image referenziert und das synthetisierte Recipe keinen gleitenden Tag rendert.
Das Beispiel generieren
Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.
Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:
aggrega scaffold --example fluentd-aggregatorDanach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:
cd fluentd-aggregatorBuild
Dieser Workspace enthält kein .aggrega-config.yaml, daher werden die Entitäten der Standardbibliothek aus der Hub-Registry hub.aggrega.ai aufgelöst, und es ist kein Katalog-Flag nötig; --auto-pull schreibt während des Builds das Lockfile, das einem frischen Klon fehlt:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullGerenderte Artefakte landen unter dist/.
Mit einem KI-Assistenten
Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.
Verwenden Sie ausschließlich die Aggrega-Tools und legen Sie selbst keinen Ordner an. Wenn der Arbeitsbereichsordner noch keinen Ordner `fluentd-aggregator` enthält, rufen Sie das Tool `scaffold` einmal mit `example` auf `fluentd-aggregator` gesetzt und ohne `dir` auf: Es schreibt das Beispiel in einen neuen Ordner `fluentd-aggregator`. Rufen Sie dann das Tool `build` einmal für jedes Release auf, in dieser Reihenfolge — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — jedes Mal mit `workspace_root` auf `fluentd-aggregator`, `release` auf diese Datei, `auto_pull` auf true und `write` auf true gesetzt. Nennen Sie mir die Dateien, die jeder Build geschrieben hat; sie liegen unter `fluentd-aggregator/dist/`.Wie der Forward-Endpunkt aussieht
Auf Compose schreibt der Aggregator eine fluent.conf mit einer Eingabequelle forward, die an den Forward-Port gebunden ist, und leitet passende Datensätze an die Standardausgabe weiter:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>Auf Kubernetes schreibt das synthetisierte helm-Recipe beim Start dieselbe fluent.conf, und der ClusterIP-Service stellt den Forward-Port bereit:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardDas Deployment referenziert das fixierte Image und stellt den Forward-Port am Container bereit:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224Wenn infra.storage.size gesetzt ist, rendert das Recipe zusätzlich einen PersistentVolumeClaim und hängt ihn unter /fluentd/log ein, als Grundlage eines Dateipuffers, sodass gepufferte Datensätze Neustarts überstehen.
Ausführen (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dDer Aggregator lauscht auf localhost:24224 auf weitergeleitete Datensätze. Senden Sie ihm einen Testdatensatz mit einem beliebigen Fluentd- oder Fluent-Bit-Forwarder, der auf diesen Port zeigt, und die empfangenen Datensätze erscheinen auf der Standardausgabe des Aggregators. Abbauen mit docker compose -f dist/app/compose/docker-compose.yaml down.