Fluentd — um agregador de logs, dois destinos
Este exemplo compila um agregador de logs Fluentd — a ponta receptora de um pipeline de logs — a partir de um único Aggregate escrito pelo desenvolvedor para duas realizações:
- Docker Compose para o desenvolvimento local, e
- a Recipe helm sintetizada que executa a imagem upstream oficial
fluent/fluentddiretamente no Kubernetes (sem chart externo).
A Recipe helm sintetizada não baixa nada em tempo de build; helm/fluentd-chart renderiza o chart do próprio projeto Fluent como o mesmo agregador, para um build que consiga alcançar um repositório de charts.
O mesmo aggregate.yaml conduz ambas. Só muda por realização a camada de Recipe selecionada pelo Manifest.
O papel de agregador
Um pipeline de logs tem duas pontas. Um forwarder (como o Fluent Bit) coleta registros de log e os envia a jusante. Um agregador é o sink na outra ponta: ele escuta no protocolo de entrada forward, recebe os registros que os forwarders a montante lhe enviam e os roteia para a sua saída. Aqui o Fluentd desempenha o papel de agregador.
Como o agregador recebe em vez de encaminhar, ele não declara nenhum socket uses a jusante. Em vez disso, exporta o host e a porta do seu endpoint forward por meio de provides, para que um forwarder possa vinculá-lo em um socket forward e enviar registros a ele. O endpoint forward escuta na porta 24224 — a porta forward convencional do Fluentd.
Arquivos
| Arquivo | Papel |
|---|---|
aggregate.yaml | Intenção do desenvolvedor: um componente aggregator (core/observability/fluentd) escutando na entrada forward. |
manifest-compose.yaml | Mapeia o tipo Fluentd para a Recipe do Compose (compose/fluentd). |
manifest-helm-synth.yaml | Mapeia o tipo Fluentd para a Recipe helm sintetizada (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Documentos do operador para as duas realizações. |
release-helm-synth-buffer.yaml | A realização helm sintetizada com o buffer durável habilitado (infra.storage.size definido). |
Como o nome fluentd é usado tanto por uma Recipe do Compose quanto por uma helm sintetizada, os Manifests as referenciam com escopo de provedor como compose/fluentd e helm/fluentd.
O que ele demonstra
- Uma única superfície de autoria, muitos destinos. Um único Aggregate é a fonte da verdade sobre o que o stack é. Cada Manifest diz como realizá-lo.
- A ponta receptora do String Pipe. O agregador exporta o seu endpoint forward por meio de
provides—host(o serviço do agregador) eport(24224) no protocoloforward. Um forwarder que se vincula a este componente canaliza essas strings para a sua própria saída forward; o compilador as roteia sem interpretá-las. - Síntese de Workload (Kubernetes). A Recipe helm sintetizada declara um Workload — um Deployment mais um Service ClusterIP que executa a imagem oficial
fluent/fluentd— que o provedor helm traduz em manifestos do Kubernetes sem nenhum chart externo. O conjunto de recursos renderizado é exatamente o que o Workload declara. - Roteamento controlado pelo desenvolvedor. O match de saída do desenvolvedor seleciona quais registros recebidos são roteados para a saída do agregador. O padrão é
**, que roteia todos os registros recebidos. - Buffer efêmero por padrão, durável sob demanda. O agregador mantém o buffer em memória, então a renderização padrão não traz nenhum volume persistente. Definir
infra.storage.size(vejarelease-helm-synth-buffer.yaml) apoia o buffer em um volume durável montado em/fluentd/log; a carga de trabalho continua sendo um Deployment de réplica única. - Imagens reproduzíveis.
infra.engine_versionfixa a tag da imagem do Fluentd, então a carga de trabalho renderizada referencia uma imagem fixa e a Recipe sintetizada não renderiza nenhuma tag flutuante.
Gerar o exemplo
Você pode fazer o build deste exemplo com os comandos abaixo, ou pedir ao seu assistente de IA que faça o build por você.
Escreva o exemplo em uma nova pasta com o nome dele:
aggrega scaffold --example fluentd-aggregatorEm seguida ele imprime os próximos comandos a executar. O primeiro entra na pasta nova:
cd fluentd-aggregatorBuild
Este workspace não traz nenhum .aggrega-config.yaml, então as entidades da biblioteca padrão são resolvidas a partir do registro do hub, hub.aggrega.ai, e nenhuma flag de catálogo é necessária; --auto-pull escreve durante o build o lockfile que falta a um clone novo:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullOs artefatos renderizados ficam em dist/.
Com um assistente de IA
Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole este prompt nele.
Use somente as ferramentas do Aggrega e não crie nenhuma pasta por conta própria. Se a pasta do espaço de trabalho ainda não contém uma pasta `fluentd-aggregator`, chame uma vez a ferramenta `scaffold` com `example` definido como `fluentd-aggregator` e sem `dir`: ela grava o exemplo em uma nova pasta `fluentd-aggregator`. Em seguida, chame a ferramenta `build` uma vez para cada Release, nesta ordem — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — cada vez com `workspace_root` definido como `fluentd-aggregator`, `release` definido como esse arquivo, `auto_pull` definido como true e `write` definido como true. Diga-me quais arquivos cada build gravou; eles ficam em `fluentd-aggregator/dist/`.Como fica o endpoint forward
No Compose, o agregador escreve um fluent.conf com uma fonte de entrada forward vinculada à porta forward, e roteia os registros correspondentes para a saída padrão:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>No Kubernetes, a Recipe helm sintetizada escreve o mesmo fluent.conf na inicialização, e o Service ClusterIP expõe a porta forward:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardO Deployment referencia a imagem fixada e expõe a porta forward no contêiner:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224Quando infra.storage.size está definido, a Recipe renderiza adicionalmente um PersistentVolumeClaim e o monta em /fluentd/log, apoiando um buffer em arquivo para que os registros em buffer sobrevivam a reinicializações.
Executá-lo (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dO agregador escuta registros encaminhados em localhost:24224. Envie a ele um registro de teste com qualquer forwarder Fluentd ou Fluent Bit apontado para essa porta, e os registros recebidos aparecem na saída padrão do agregador. Para desmontar, use docker compose -f dist/app/compose/docker-compose.yaml down.