De Fluent Bit a Fluentd — un pipeline de logs de dos niveles, dos destinos
Este ejemplo compila un pipeline de logs real — un forwarder Fluent Bit que envía registros a un agregador Fluentd mediante el protocolo forward — a partir de un único Aggregate escrito por el desarrollador a dos realizaciones:
- Docker Compose para el desarrollo local, y
- las Recipes helm sintetizadas que ejecutan las imágenes upstream oficiales
fluent/fluent-bityfluent/fluentddirectamente en Kubernetes (sin charts externos).
Las Recipes helm sintetizadas no descargan nada en tiempo de compilación; helm/fluent-bit-chart y helm/fluentd-chart renderizan en su lugar los charts propios del proyecto Fluent, para una compilación que pueda alcanzar un repositorio de charts.
El mismo aggregate.yaml impulsa ambas. Solo cambia por realización la capa de Recipe que selecciona el Manifest.
El pipeline
Dos componentes forman un pipeline de forwarder a agregador:
forwarder(core/observability/fluent-bit) recopila registros de log y los envía por una salidaforward. Está tipado como servidor sin estado.aggregator(core/observability/fluentd) escucha en el protocolo de entradaforward, recibe los registros y los enruta a su salida. Está tipado como servidor con estado; la Recipe helm sintetizada mantiene el búfer en memoria de forma predeterminada, así que se renderiza como un Deployment de una sola réplica.
El forwarder declara un uso forward_target del agregador. Los provides.host y provides.port del agregador — el host y el puerto de su endpoint forward (el puerto forward convencional de Fluentd, 24224) — se canalizan al forwarder y se renderizan en Host y Port de su salida forward. Así, el forwarder envía al endpoint forward del agregador, conectado de antemano a partir de una sola arista.
Archivos
| Archivo | Rol |
|---|---|
aggregate.yaml | Intención del desarrollador: un sumidero aggregator (core/observability/fluentd) y un forwarder (core/observability/fluent-bit) que declara un uso forward_target del agregador. |
manifest-compose.yaml | Asigna el tipo Fluent Bit a la Recipe de Compose (compose/fluent-bit) y el tipo Fluentd a la Recipe de Compose (compose/fluentd). |
manifest-helm-synth.yaml | Asigna el tipo Fluent Bit a la Recipe helm sintetizada (helm/fluent-bit) y el tipo Fluentd a la Recipe helm sintetizada (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Documentos del operador para las dos realizaciones. |
Como los nombres fluent-bit y fluentd los llevan tanto una Recipe de Compose como una helm sintetizada, los Manifests las referencian con ámbito de proveedor (compose/… y helm/…).
Lo que demuestra
- Una única superficie de autoría, muchos destinos. Un único Aggregate es la fuente de verdad sobre qué es el pipeline. Cada Manifest dice cómo realizarlo.
- Conexión forward a través del String Pipe. El forwarder declara un uso
forward_targetdel agregador; losprovides.hostyprovides.portde la Recipe del agregador se canalizan al forwarder y se renderizan enHostyPortde una salidaforward. El compilador enruta las cadenas sin interpretarlas — así, la compilación de Compose conecta un nombre de servicio de compose y la compilación de Kubernetes conecta un nombre de Service, a partir de la misma arista. - Un sumidero con estado en el socket de un forwarder sin estado. El socket
forward_targetdel forwarder selecciona unservero unstateful-server. Fluentd está tipado como servidor con estado, y se vincula al socket sin problemas — el socket selecciona según el rol operativo de servidor, no según si el sumidero guarda estado. Lo que habla el sumidero se comprueba aparte: la salida forward habla el protocolo forward de Fluentd, así que la compilación se detiene a menos que el sumidero publiqueprotocol: forward, como hace Fluentd. - Síntesis de Workload (Kubernetes). Cada Recipe helm sintetizada declara un Workload — un Deployment más un Service ClusterIP que ejecuta la imagen oficial — que el proveedor helm traduce a manifiestos de Kubernetes sin ningún chart externo. El conjunto de recursos renderizado es exactamente lo que declaran los Workloads.
- Imágenes reproducibles.
infra.engine_versionfija cada tag de imagen, así que las cargas de trabajo renderizadas hacen referencia a imágenes fijas y las Recipes sintetizadas no renderizan ningún tag flotante.
Generar el ejemplo
Puedes compilar este ejemplo con los comandos de abajo, o hacer que tu asistente de IA lo compile por ti.
Escribe el ejemplo en una carpeta nueva con su nombre:
aggrega scaffold --example fluent-bit-to-fluentdDespués imprime los comandos que hay que ejecutar a continuación. El primero entra en la carpeta nueva:
cd fluent-bit-to-fluentdCompilación
Este workspace no lleva ningún .aggrega-config.yaml, así que las entidades de la biblioteca estándar se resuelven desde el registro del hub, hub.aggrega.ai, y no se necesita ningún flag de catálogo; --auto-pull escribe durante la compilación el lockfile que le falta a un clon recién creado:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullLos artefactos renderizados quedan en dist/.
Con un asistente de IA
Un asistente de IA configurado con las herramientas de Aggrega puede hacer lo mismo: pégale este prompt.
Usa solo las herramientas de Aggrega y no crees ninguna carpeta por tu cuenta. Si la carpeta del espacio de trabajo aún no contiene una carpeta `fluent-bit-to-fluentd`, llama una vez a la herramienta `scaffold` con `example` establecido en `fluent-bit-to-fluentd` y sin `dir`: escribe el ejemplo en una nueva carpeta `fluent-bit-to-fluentd`. Después llama a la herramienta `build` una vez por cada Release, en este orden — `release-compose.yaml`, `release-helm-synth.yaml` — cada vez con `workspace_root` establecido en `fluent-bit-to-fluentd`, `release` establecido en ese archivo, `auto_pull` establecido en true y `write` establecido en true. Dime qué archivos escribió cada compilación; están en `fluent-bit-to-fluentd/dist/`.Cómo es el destino forward inyectado
En Compose, el forwarder escribe un fluent-bit.conf cuya salida forward apunta al nombre de servicio de compose y al puerto forward del agregador:
[OUTPUT] Name forward Match * Host aggregator Port 24224En Kubernetes, la misma salida apunta al nombre del Service interno del clúster del agregador:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Ambos se derivan de la misma arista del Aggregate — el host y el puerto del agregador viajan a través del uso forward_target, y cada destino los renderiza en su propio idioma. El puerto 24224 es el endpoint forward del agregador, exportado a través de sus provides y canalizado de antemano al forwarder.
Ejecutarlo (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dEl endpoint de monitorización del forwarder se publica solo en la dirección de loopback del host, en http://localhost:2020 — su endpoint /api/v1/metrics informa de los registros procesados y reenviados. El endpoint no comprueba ningún llamador, así que no se publica en las demás interfaces del host a menos que la Release establezca infra.publish_on_all_interfaces: true en el forwarder. Para desmontarlo, usa docker compose -f dist/app/compose/docker-compose.yaml down.