Ir al contenido
AggregaAggrega
Seleccionar idioma: Español
Esta página se tradujo automáticamente. Lee el original en inglés.

Fluentd — un agregador de logs, dos destinos

Este ejemplo compila un agregador de logs Fluentd — el extremo receptor de un pipeline de logs — a partir de un único Aggregate escrito por el desarrollador a dos realizaciones:

  • Docker Compose para el desarrollo local, y
  • la Recipe helm sintetizada que ejecuta la imagen upstream oficial fluent/fluentd directamente en Kubernetes (sin chart externo).

La Recipe helm sintetizada no descarga nada en tiempo de compilación; helm/fluentd-chart renderiza el chart propio del proyecto Fluent como el mismo agregador, para una compilación que pueda alcanzar un repositorio de charts.

El mismo aggregate.yaml impulsa ambas. Solo cambia por realización la capa de Recipe que selecciona el Manifest.

El rol de agregador

Un pipeline de logs tiene dos extremos. Un forwarder (como Fluent Bit) recopila registros de log y los envía aguas abajo. Un agregador es el sumidero en el otro extremo: escucha en el protocolo de entrada forward, recibe los registros que le envían los forwarders aguas arriba y los enruta a su salida. Aquí Fluentd desempeña el rol de agregador.

Como el agregador recibe en lugar de reenviar, no declara ningún socket uses aguas abajo. En su lugar, exporta el host y el puerto de su endpoint forward a través de provides, de modo que un forwarder puede vincularlo en un socket forward y enviarle registros. El endpoint forward escucha en el puerto 24224 — el puerto forward convencional de Fluentd.

Archivos

ArchivoRol
aggregate.yamlIntención del desarrollador: un componente aggregator (core/observability/fluentd) que escucha en la entrada forward.
manifest-compose.yamlAsigna el tipo Fluentd a la Recipe de Compose (compose/fluentd).
manifest-helm-synth.yamlAsigna el tipo Fluentd a la Recipe helm sintetizada (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlDocumentos del operador para las dos realizaciones.
release-helm-synth-buffer.yamlLa realización helm sintetizada con el búfer duradero habilitado (infra.storage.size establecido).

Como el nombre fluentd lo llevan tanto una Recipe de Compose como una helm sintetizada, los Manifests las referencian con ámbito de proveedor como compose/fluentd y helm/fluentd.

Lo que demuestra

  • Una única superficie de autoría, muchos destinos. Un único Aggregate es la fuente de verdad sobre qué es el stack. Cada Manifest dice cómo realizarlo.
  • El extremo receptor del String Pipe. El agregador exporta su endpoint forward a través de provides — host (el servicio del agregador) y port (24224) en el protocolo forward. Un forwarder que se vincula a este componente canaliza esas cadenas a su propia salida forward; el compilador las enruta sin interpretarlas.
  • Síntesis de Workload (Kubernetes). La Recipe helm sintetizada declara un Workload — un Deployment más un Service ClusterIP que ejecuta la imagen oficial fluent/fluentd — que el proveedor helm traduce a manifiestos de Kubernetes sin ningún chart externo. El conjunto de recursos renderizado es exactamente lo que declara el Workload.
  • Enrutamiento controlado por el desarrollador. El match de salida del desarrollador selecciona qué registros recibidos se enrutan a la salida del agregador. Su valor predeterminado es **, que enruta todos los registros recibidos.
  • Búfer efímero de forma predeterminada, duradero bajo petición. El agregador mantiene el búfer en memoria, así que el renderizado predeterminado no lleva ningún volumen persistente. Establecer infra.storage.size (consulta release-helm-synth-buffer.yaml) respalda el búfer con un volumen duradero montado en /fluentd/log; la carga de trabajo sigue siendo un Deployment de una sola réplica.
  • Imágenes reproducibles. infra.engine_version fija el tag de la imagen de Fluentd, así que la carga de trabajo renderizada hace referencia a una imagen fija y la Recipe sintetizada no renderiza ningún tag flotante.

Generar el ejemplo

Puedes compilar este ejemplo con los comandos de abajo, o hacer que tu asistente de IA lo compile por ti.

Escribe el ejemplo en una carpeta nueva con su nombre:

Terminal window
aggrega scaffold --example fluentd-aggregator

Después imprime los comandos que hay que ejecutar a continuación. El primero entra en la carpeta nueva:

Terminal window
cd fluentd-aggregator

Compilación

Este workspace no lleva ningún .aggrega-config.yaml, así que las entidades de la biblioteca estándar se resuelven desde el registro del hub, hub.aggrega.ai, y no se necesita ningún flag de catálogo; --auto-pull escribe durante la compilación el lockfile que le falta a un clon recién creado:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)
aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volume
aggrega build --release release-helm-synth-buffer.yaml --auto-pull

Los artefactos renderizados quedan en dist/.

Con un asistente de IA

Un asistente de IA configurado con las herramientas de Aggrega puede hacer lo mismo: pégale este prompt.

Usa solo las herramientas de Aggrega y no crees ninguna carpeta por tu cuenta. Si la carpeta del espacio de trabajo aún no contiene una carpeta `fluentd-aggregator`, llama una vez a la herramienta `scaffold` con `example` establecido en `fluentd-aggregator` y sin `dir`: escribe el ejemplo en una nueva carpeta `fluentd-aggregator`. Después llama a la herramienta `build` una vez por cada Release, en este orden — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — cada vez con `workspace_root` establecido en `fluentd-aggregator`, `release` establecido en ese archivo, `auto_pull` establecido en true y `write` establecido en true. Dime qué archivos escribió cada compilación; están en `fluentd-aggregator/dist/`.

Cómo es el endpoint forward

En Compose, el agregador escribe un fluent.conf con una fuente de entrada forward vinculada al puerto forward, y enruta los registros coincidentes a la salida estándar:

<source>
@type forward
bind 0.0.0.0
port 24224
</source>
<match **>
@type stdout
</match>

En Kubernetes, la Recipe helm sintetizada escribe el mismo fluent.conf al arrancar, y el Service ClusterIP expone el puerto forward:

spec:
type: ClusterIP
[… omitted: the selector matching the aggregator's Pods]
ports:
- name: forward
port: 24224
targetPort: forward

El Deployment hace referencia a la imagen fijada y expone el puerto forward en el contenedor:

image: fluent/fluentd:v1.19.3-debian-2.1
[… omitted: the start-up command that writes the fluent.conf shown above]
ports:
- name: forward
containerPort: 24224

Cuando infra.storage.size está establecido, la Recipe renderiza además un PersistentVolumeClaim y lo monta en /fluentd/log, respaldando un búfer en archivo para que los registros almacenados en el búfer sobrevivan a los reinicios.

Ejecutarlo (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

El agregador escucha los registros reenviados en localhost:24224. Envíale un registro de prueba con cualquier forwarder de Fluentd o Fluent Bit que apunte a ese puerto, y los registros recibidos aparecen en la salida estándar del agregador. Para desmontarlo, usa docker compose -f dist/app/compose/docker-compose.yaml down.