Pular para o conteúdo
AggregaAggrega
Selecionar língua: Português (Brasil)
Esta página foi traduzida automaticamente. Leia o original em inglês.

Fluentd — um agregador de logs, dois destinos

Este exemplo compila um agregador de logs Fluentd — a ponta receptora de um pipeline de logs — a partir de um único Aggregate escrito pelo desenvolvedor para duas realizações:

  • Docker Compose para o desenvolvimento local, e
  • a Recipe helm sintetizada que executa a imagem upstream oficial fluent/fluentd diretamente no Kubernetes (sem chart externo).

A Recipe helm sintetizada não baixa nada em tempo de build; helm/fluentd-chart renderiza o chart do próprio projeto Fluent como o mesmo agregador, para um build que consiga alcançar um repositório de charts.

O mesmo aggregate.yaml conduz ambas. Só muda por realização a camada de Recipe selecionada pelo Manifest.

O papel de agregador

Um pipeline de logs tem duas pontas. Um forwarder (como o Fluent Bit) coleta registros de log e os envia a jusante. Um agregador é o sink na outra ponta: ele escuta no protocolo de entrada forward, recebe os registros que os forwarders a montante lhe enviam e os roteia para a sua saída. Aqui o Fluentd desempenha o papel de agregador.

Como o agregador recebe em vez de encaminhar, ele não declara nenhum socket uses a jusante. Em vez disso, exporta o host e a porta do seu endpoint forward por meio de provides, para que um forwarder possa vinculá-lo em um socket forward e enviar registros a ele. O endpoint forward escuta na porta 24224 — a porta forward convencional do Fluentd.

Arquivos

ArquivoPapel
aggregate.yamlIntenção do desenvolvedor: um componente aggregator (core/observability/fluentd) escutando na entrada forward.
manifest-compose.yamlMapeia o tipo Fluentd para a Recipe do Compose (compose/fluentd).
manifest-helm-synth.yamlMapeia o tipo Fluentd para a Recipe helm sintetizada (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlDocumentos do operador para as duas realizações.
release-helm-synth-buffer.yamlA realização helm sintetizada com o buffer durável habilitado (infra.storage.size definido).

Como o nome fluentd é usado tanto por uma Recipe do Compose quanto por uma helm sintetizada, os Manifests as referenciam com escopo de provedor como compose/fluentd e helm/fluentd.

O que ele demonstra

  • Uma única superfície de autoria, muitos destinos. Um único Aggregate é a fonte da verdade sobre o que o stack é. Cada Manifest diz como realizá-lo.
  • A ponta receptora do String Pipe. O agregador exporta o seu endpoint forward por meio de provides — host (o serviço do agregador) e port (24224) no protocolo forward. Um forwarder que se vincula a este componente canaliza essas strings para a sua própria saída forward; o compilador as roteia sem interpretá-las.
  • Síntese de Workload (Kubernetes). A Recipe helm sintetizada declara um Workload — um Deployment mais um Service ClusterIP que executa a imagem oficial fluent/fluentd — que o provedor helm traduz em manifestos do Kubernetes sem nenhum chart externo. O conjunto de recursos renderizado é exatamente o que o Workload declara.
  • Roteamento controlado pelo desenvolvedor. O match de saída do desenvolvedor seleciona quais registros recebidos são roteados para a saída do agregador. O padrão é **, que roteia todos os registros recebidos.
  • Buffer efêmero por padrão, durável sob demanda. O agregador mantém o buffer em memória, então a renderização padrão não traz nenhum volume persistente. Definir infra.storage.size (veja release-helm-synth-buffer.yaml) apoia o buffer em um volume durável montado em /fluentd/log; a carga de trabalho continua sendo um Deployment de réplica única.
  • Imagens reproduzíveis. infra.engine_version fixa a tag da imagem do Fluentd, então a carga de trabalho renderizada referencia uma imagem fixa e a Recipe sintetizada não renderiza nenhuma tag flutuante.

Gerar o exemplo

Você pode fazer o build deste exemplo com os comandos abaixo, ou pedir ao seu assistente de IA que faça o build por você.

Escreva o exemplo em uma nova pasta com o nome dele:

Terminal window
aggrega scaffold --example fluentd-aggregator

Em seguida ele imprime os próximos comandos a executar. O primeiro entra na pasta nova:

Terminal window
cd fluentd-aggregator

Build

Este workspace não traz nenhum .aggrega-config.yaml, então as entidades da biblioteca padrão são resolvidas a partir do registro do hub, hub.aggrega.ai, e nenhuma flag de catálogo é necessária; --auto-pull escreve durante o build o lockfile que falta a um clone novo:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)
aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volume
aggrega build --release release-helm-synth-buffer.yaml --auto-pull

Os artefatos renderizados ficam em dist/.

Com um assistente de IA

Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole este prompt nele.

Use somente as ferramentas do Aggrega e não crie nenhuma pasta por conta própria. Se a pasta do espaço de trabalho ainda não contém uma pasta `fluentd-aggregator`, chame uma vez a ferramenta `scaffold` com `example` definido como `fluentd-aggregator` e sem `dir`: ela grava o exemplo em uma nova pasta `fluentd-aggregator`. Em seguida, chame a ferramenta `build` uma vez para cada Release, nesta ordem — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — cada vez com `workspace_root` definido como `fluentd-aggregator`, `release` definido como esse arquivo, `auto_pull` definido como true e `write` definido como true. Diga-me quais arquivos cada build gravou; eles ficam em `fluentd-aggregator/dist/`.

Como fica o endpoint forward

No Compose, o agregador escreve um fluent.conf com uma fonte de entrada forward vinculada à porta forward, e roteia os registros correspondentes para a saída padrão:

<source>
@type forward
bind 0.0.0.0
port 24224
</source>
<match **>
@type stdout
</match>

No Kubernetes, a Recipe helm sintetizada escreve o mesmo fluent.conf na inicialização, e o Service ClusterIP expõe a porta forward:

spec:
type: ClusterIP
[… omitted: the selector matching the aggregator's Pods]
ports:
- name: forward
port: 24224
targetPort: forward

O Deployment referencia a imagem fixada e expõe a porta forward no contêiner:

image: fluent/fluentd:v1.19.3-debian-2.1
[… omitted: the start-up command that writes the fluent.conf shown above]
ports:
- name: forward
containerPort: 24224

Quando infra.storage.size está definido, a Recipe renderiza adicionalmente um PersistentVolumeClaim e o monta em /fluentd/log, apoiando um buffer em arquivo para que os registros em buffer sobrevivam a reinicializações.

Executá-lo (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

O agregador escuta registros encaminhados em localhost:24224. Envie a ele um registro de teste com qualquer forwarder Fluentd ou Fluent Bit apontado para essa porta, e os registros recebidos aparecem na saída padrão do agregador. Para desmontar, use docker compose -f dist/app/compose/docker-compose.yaml down.