Fluentd — um agregador de registos, dois destinos
Este exemplo compila um agregador de registos Fluentd — a extremidade recetora de um pipeline de registos — a partir de um único Aggregate escrito pelo programador em duas realizações:
- Docker Compose para o desenvolvimento local, e
- a Recipe helm sintetizada que executa a imagem upstream oficial
fluent/fluentddiretamente no Kubernetes (sem chart externo).
A Recipe helm sintetizada não transfere nada em tempo de compilação; helm/fluentd-chart renderiza o chart do próprio projeto Fluent como o mesmo agregador, para uma compilação que consiga chegar a um repositório de charts.
O mesmo aggregate.yaml conduz ambas. Só muda, de realização para realização, a camada de Recipe selecionada pelo Manifest.
O papel de agregador
Um pipeline de registos tem duas extremidades. Um forwarder (como o Fluent Bit) recolhe registos de log e envia-os a jusante. Um agregador é o sink na outra extremidade: escuta no protocolo de entrada forward, recebe os registos que os forwarders a montante lhe enviam e encaminha-os para a sua saída. Aqui, o Fluentd desempenha o papel de agregador.
Como o agregador recebe em vez de encaminhar, não declara nenhum socket uses a jusante. Em vez disso, exporta o host e a porta do seu endpoint forward através de provides, para que um forwarder o possa ligar num socket forward e enviar-lhe registos. O endpoint forward escuta na porta 24224 — a porta forward convencional do Fluentd.
Ficheiros
| Ficheiro | Papel |
|---|---|
aggregate.yaml | Intenção do programador: um componente aggregator (core/observability/fluentd) à escuta na entrada forward. |
manifest-compose.yaml | Mapeia o tipo Fluentd para a Recipe do Compose (compose/fluentd). |
manifest-helm-synth.yaml | Mapeia o tipo Fluentd para a Recipe helm sintetizada (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Documentos do operador para as duas realizações. |
release-helm-synth-buffer.yaml | A realização helm sintetizada com o buffer durável ativado (infra.storage.size definido). |
Como o nome fluentd é usado tanto por uma Recipe do Compose como por uma helm sintetizada, os Manifests referenciam-nas com âmbito de fornecedor como compose/fluentd e helm/fluentd.
O que demonstra
- Uma única superfície de autoria, muitos destinos. Um único Aggregate é a fonte de verdade sobre o que a stack é. Cada Manifest diz como realizá-la.
- A extremidade recetora do String Pipe. O agregador exporta o seu endpoint forward através de
provides—host(o serviço do agregador) eport(24224) no protocoloforward. Um forwarder que se liga a este componente encaminha essas strings para a sua própria saída forward; o compilador encaminha-as sem as interpretar. - Síntese de Workload (Kubernetes). A Recipe helm sintetizada declara um Workload — um Deployment mais um Service ClusterIP que executa a imagem oficial
fluent/fluentd— que o fornecedor helm traduz em manifestos do Kubernetes sem nenhum chart externo. O conjunto de recursos renderizado é exatamente o que o Workload declara. - Encaminhamento controlado pelo programador. O match de saída do programador seleciona quais os registos recebidos que são encaminhados para a saída do agregador. A predefinição é
**, que encaminha todos os registos recebidos. - Buffer efémero por predefinição, durável a pedido. O agregador mantém o buffer em memória, pelo que a renderização predefinida não contém nenhum volume persistente. Definir
infra.storage.size(verrelease-helm-synth-buffer.yaml) apoia o buffer num volume durável montado em/fluentd/log; a carga de trabalho continua a ser um Deployment de réplica única. - Imagens reproduzíveis.
infra.engine_versionfixa a tag da imagem do Fluentd, pelo que a carga de trabalho renderizada referencia uma imagem fixa e a Recipe sintetizada não renderiza nenhuma tag flutuante.
Gerar o exemplo
É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.
Escreva o exemplo numa nova pasta com o nome dele:
aggrega scaffold --example fluentd-aggregatorDepois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:
cd fluentd-aggregatorCompilação
Este workspace não contém nenhum .aggrega-config.yaml, pelo que as entidades da biblioteca standard são resolvidas a partir do registo do hub, hub.aggrega.ai, e não é necessária nenhuma flag de catálogo; --auto-pull escreve durante a compilação o lockfile que falta a um clone acabado de criar:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullOs artefactos renderizados ficam em dist/.
Com um assistente de IA
Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.
Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por si. Se a pasta da área de trabalho ainda não contiver uma pasta `fluentd-aggregator`, chame uma vez a ferramenta `scaffold` com `example` definido como `fluentd-aggregator` e sem `dir`: esta escreve o exemplo numa nova pasta `fluentd-aggregator`. Em seguida, chame a ferramenta `build` uma vez para cada Release, por esta ordem — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — de cada vez com `workspace_root` definido como `fluentd-aggregator`, `release` definido como esse ficheiro, `auto_pull` definido como true e `write` definido como true. Indique-me que ficheiros cada build escreveu; encontram-se em `fluentd-aggregator/dist/`.Como é o endpoint forward
No Compose, o agregador escreve um fluent.conf com uma fonte de entrada forward ligada à porta forward, e encaminha os registos correspondentes para a saída standard:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>No Kubernetes, a Recipe helm sintetizada escreve o mesmo fluent.conf no arranque, e o Service ClusterIP expõe a porta forward:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardO Deployment referencia a imagem fixada e expõe a porta forward no contentor:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224Quando infra.storage.size está definido, a Recipe renderiza adicionalmente um PersistentVolumeClaim e monta-o em /fluentd/log, apoiando um buffer em ficheiro para que os registos em buffer sobrevivam a reinícios.
Executá-lo (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dO agregador escuta registos encaminhados em localhost:24224. Envie-lhe um registo de teste com qualquer forwarder Fluentd ou Fluent Bit apontado para essa porta, e os registos recebidos aparecem na saída standard do agregador. Para desmontar, execute docker compose -f dist/app/compose/docker-compose.yaml down.