Kafka — broker de streaming de eventos de nó único para Kubernetes
Este exemplo compila uma stack pequena e real — um broker de streaming de eventos Apache Kafka na sua estrutura KRaft de nó único — a partir de um único Aggregate escrito pelo programador para o Kubernetes, sintetizada diretamente a partir da imagem oficial do Apache Kafka, sem nenhum chart upstream.
O Kafka é um broker de streaming de eventos: os produtores acrescentam registos a tópicos e os consumidores leem-nos de volta por ordem. Na estrutura KRaft de nó único, os papéis de broker e de controlador são executados dentro de um único processo — sem ZooKeeper e sem um segundo serviço incluído — pelo que todo o servidor é uma única carga de trabalho com estado. O commit log é persistido num volume de dados local. Um produtor ou consumidor liga-se ao endpoint de bootstrap de clientes e troca registos aí.
Ficheiros
| Ficheiro | Papel |
|---|---|
aggregate.yaml | Intenção do programador: um único componente broker (core/messaging/kafka). |
manifest.yaml | Mapeia o tipo de componente para a Recipe de síntese do Kafka (kafka). |
release.yaml | Documento do operador para o destino Kubernetes: a computação do servidor e o tamanho do volume do commit log. |
O que demonstra
- Uma única superfície de autoria. Um único Aggregate é a fonte de verdade sobre o que o Kafka é; o Manifest diz como realizá-lo.
- Um broker KRaft de nó único. A Recipe de síntese renderiza o Kafka como um único
StatefulSetcom um volume de dados e dois objetosService— umClusterIPque expõe a porta de bootstrap de clientes, e um Service headless de governo para o StatefulSet. - KRaft, sem ZooKeeper. O nó executa tanto o papel de broker como o de controlador num único processo, configurado inteiramente através de variáveis de ambiente.
- Uma identidade de cluster fixada. A identidade do cluster é um valor fixo do programador passado literalmente à imagem, que o lê tal como está, sem qualquer geração aleatória, pelo que o manifesto renderizado é idêntico byte a byte entre compilações.
- Um endereço anunciado estável. O broker anuncia o nome do Service interno ao cluster, pelo que os clientes se voltam a ligar através do endereço estável em vez do hostname próprio do pod.
- Log persistente. O commit log escreve no volume persistente em
/var/lib/kafka/data, pelo que os dados dos registos sobrevivem a reinícios. - Um contrato de bootstrap exportado. O componente exporta o seu host de bootstrap e a porta de clientes através da topologia
uses, pelo que um produtor ou consumidor se liga a ele e aí estabelece a ligação. - Imagens reproduzíveis. A Recipe fixa a imagem do servidor Kafka numa tag resolúvel, para que a carga de trabalho renderizada referencie uma versão fixada.
Gerar o exemplo
É possível compilar este exemplo com os comandos abaixo, ou pedir ao assistente de IA que o compile.
Escreva o exemplo numa nova pasta com o nome dele:
aggrega scaffold --example kafka-brokerDepois, imprime os próximos comandos a executar. O primeiro entra na nova pasta:
cd kafka-brokerCompilação
Este espaço de trabalho não inclui nenhum .aggrega-config.yaml, pelo que as entidades da biblioteca standard são resolvidas a partir do registo do hub, hub.aggrega.ai, e não é necessária nenhuma flag de catálogo:
aggrega pull --release release.yamlaggrega build --release release.yamlOs artefactos renderizados ficam em dist/. O destino Kubernetes renderiza manifestos simples offline — não é necessário nenhum pull de chart.
Com um assistente de IA
Um assistente de IA configurado com as ferramentas do Aggrega pode fazer o mesmo: cole-lhe este prompt.
Utilize apenas as ferramentas do Aggrega e não crie nenhuma pasta por conta própria. Se a pasta da área de trabalho ainda não contiver uma pasta `kafka-broker`, chame uma vez a ferramenta `scaffold` com `example` definido como `kafka-broker` e sem `dir`: esta escreve o exemplo numa nova pasta `kafka-broker`. Em seguida, chame a ferramenta `build` com `workspace_root` definido como `kafka-broker`, `release` definido como `release.yaml`, `auto_pull` definido como true e `write` definido como true. Indique quais os ficheiros que a compilação escreveu; encontram-se em `kafka-broker/dist/`.O que é renderizado
A compilação emite o servidor Kafka como três objetos do Kubernetes:
- um
StatefulSet— o processo do Kafka de nó único, com o seu commit log num volume persistente montado em/var/lib/kafka/datae toda a configuração do KRaft fornecida através de variáveis de ambiente, - um
ServiceClusterIP— que expõe a porta de bootstrap de clientes na 9092, - um
Serviceheadless — o Service de governo de que o StatefulSet necessita para uma identidade estável por réplica.
A imagem do Kafka está fixada na sua tag de release, pelo que a carga de trabalho referencia uma tag de imagem fixada.