콘텐츠로 이동
AggregaAggrega
언어 선택: 한국어
이 페이지는 기계 번역되었습니다. 영어 원문 읽기.

Kafka — Kubernetes 단일 노드 이벤트 스트리밍 브로커

이 예제는 작지만 실제적인 스택인 단일 노드 KRaft 형태의 Apache Kafka 이벤트 스트리밍 브로커를 Developer가 작성한 하나의 Aggregate에서 Kubernetes로 컴파일하며, 업스트림 차트 없이 공식 Apache Kafka 이미지에서 직접 합성합니다.

Kafka는 이벤트 스트리밍 브로커입니다. 프로듀서는 토픽에 레코드를 추가하고 컨슈머는 이를 순서대로 다시 읽습니다. 단일 노드 KRaft 형태에서는 브로커와 컨트롤러 역할이 하나의 프로세스 안에서 실행되므로 ZooKeeper도, 함께 번들된 두 번째 서비스도 없이 서버 전체가 하나의 상태 저장 워크로드가 됩니다. 커밋 로그는 로컬 데이터 볼륨에 영속됩니다. 프로듀서나 컨슈머는 클라이언트 부트스트랩 엔드포인트에 연결하여 그곳에서 레코드를 주고받습니다.

파일

파일역할
aggregate.yamlDeveloper 의도: 단일 broker 컴포넌트(core/messaging/kafka).
manifest.yaml컴포넌트 유형을 Kafka 합성 Recipe(kafka)에 매핑합니다.
release.yamlKubernetes 대상에 대한 운영자 레코드: 서버 컴퓨팅과 커밋 로그 볼륨 크기.

보여 주는 내용

  • 하나의 작성 표면. 단일 Aggregate가 Kafka가 무엇인지에 대한 단일 진실 공급원이며, Manifest는 이를 어떻게 실현할지 기술합니다.
  • 단일 노드 KRaft 브로커. 합성 Recipe는 Kafka를 데이터 볼륨이 있는 하나의 StatefulSet과 두 개의 Service 객체로 렌더링합니다. 하나는 클라이언트 부트스트랩 포트를 노출하는 ClusterIP이고, 다른 하나는 StatefulSet을 위한 헤드리스 거버닝 Service입니다.
  • KRaft, ZooKeeper 없음. 노드는 브로커와 컨트롤러 역할을 하나의 프로세스에서 모두 실행하며, 전적으로 환경 변수를 통해 구성됩니다.
  • 고정된 클러스터 ID. 클러스터 ID는 이미지에 그대로 전달되는 고정된 개발자 값이며, 이미지는 무작위 생성 없이 이를 그대로 읽으므로 렌더링된 매니페스트는 빌드 간에 바이트 단위로 동일합니다.
  • 안정적인 광고 주소. 브로커는 클러스터 내부 Service 이름을 광고하므로 클라이언트는 파드 자체의 호스트 이름이 아닌 안정적인 주소를 통해 다시 연결합니다.
  • 영속 로그. 커밋 로그는 /var/lib/kafka/data의 영속 볼륨에 기록되므로 레코드 데이터가 재시작 후에도 유지됩니다.
  • 내보낸 부트스트랩 계약. 컴포넌트는 uses 토폴로지를 통해 부트스트랩 호스트와 클라이언트 포트를 내보내므로, 프로듀서나 컨슈머가 이에 연결되어 그곳에 접속합니다.
  • 재현 가능한 이미지. Recipe는 Kafka 서버 이미지를 확인 가능한 태그로 고정하여 렌더링된 워크로드가 고정된 버전을 참조하도록 합니다.

예제 생성하기

아래 명령으로 이 예제를 빌드하거나, AI 어시스턴트에게 대신 빌드하게 할 수 있습니다.

예제 이름을 딴 새 폴더에 예제를 씁니다:

Terminal window
aggrega scaffold --example kafka-broker

그런 다음 이어서 실행할 명령을 출력합니다. 첫 번째 명령은 새 폴더로 이동합니다:

Terminal window
cd kafka-broker

빌드

이 워크스페이스에는 .aggrega-config.yaml이 없으므로 표준 라이브러리 엔터티는 허브 레지스트리 hub.aggrega.ai에서 해석되며 카탈로그 플래그가 필요하지 않습니다.

Terminal window
aggrega pull --release release.yaml
aggrega build --release release.yaml

렌더링된 아티팩트는 dist/ 아래에 생성됩니다. Kubernetes 대상은 오프라인으로 일반 매니페스트를 렌더링하므로 차트를 가져올 필요가 없습니다.

AI 어시스턴트 사용

Aggrega 도구로 설정한 AI 어시스턴트도 같은 작업을 할 수 있습니다. 다음 프롬프트를 붙여 넣으십시오.

Aggrega 도구만 사용하고 폴더를 직접 만들지 마십시오. 작업 공간 폴더에 아직 `kafka-broker` 폴더가 없으면 `example`에 `kafka-broker` 값을 지정하고 `dir` 없이 `scaffold` 도구를 한 번 호출하십시오. 그러면 예제가 새 `kafka-broker` 폴더에 작성됩니다. 그런 다음 `workspace_root` 값은 `kafka-broker`, `release` 값은 `release.yaml`, `auto_pull` 값은 true, `write` 값은 true로 설정하여 `build` 도구를 호출하십시오. 빌드가 작성한 파일을 알려 주십시오. 파일은 `kafka-broker/dist/` 아래에 있습니다.

렌더링 결과

빌드는 Kafka 서버를 세 개의 Kubernetes 객체로 생성합니다.

  • StatefulSet — 단일 노드 Kafka 프로세스로, 커밋 로그는 /var/lib/kafka/data에 마운트된 영속 볼륨에 있으며 전체 KRaft 구성은 환경 변수를 통해 제공됩니다.
  • ClusterIP Service — 9092번 포트에서 클라이언트 부트스트랩 포트를 노출합니다.
  • 헤드리스 Service — StatefulSet이 복제본별 안정적인 식별을 위해 필요로 하는 관리 Service입니다.

Kafka 이미지는 릴리스 태그로 고정되므로 워크로드는 고정된 이미지 태그를 참조합니다.