Kafka — jednowęzłowy broker strumieniowania zdarzeń w Kubernetes
Ten przykład kompiluje mały, rzeczywisty stos — broker strumieniowania zdarzeń Apache Kafka
w jednowęzłowym kształcie KRaft — z jednej encji Aggregate napisanej przez dewelopera
do Kubernetes, syntetyzowany bezpośrednio z oficjalnego obrazu Apache Kafka
bez chartu upstream.
Kafka to broker strumieniowania zdarzeń: producenci dopisują rekordy do tematów, a konsumenci odczytują je po kolei. W jednowęzłowym kształcie KRaft role brokera i kontrolera działają w jednym procesie — bez ZooKeepera i bez drugiej dołączonej usługi — więc cały serwer jest jednym stanowym obciążeniem. Dziennik zatwierdzeń jest utrwalany na lokalnym woluminie danych. Producent lub konsument łączy się z punktem końcowym bootstrap klienta i tam wymienia rekordy.
Pliki
| Plik | Rola |
|---|---|
aggregate.yaml | Intencja dewelopera: pojedynczy komponent broker (core/messaging/kafka). |
manifest.yaml | Mapuje typ komponentu na syntezującą encję Recipe dla Kafki (kafka). |
release.yaml | Rekord operatora dla celu Kubernetes: zasoby obliczeniowe serwera i rozmiar woluminu dziennika zatwierdzeń. |
Co demonstruje
- Jedna powierzchnia tworzenia. Pojedyncza encja Aggregate jest źródłem prawdy o tym, czym jest Kafka; encja Manifest określa, jak ją zrealizować.
- Jednowęzłowy broker KRaft. Syntezująca encja Recipe renderuje Kafkę jako jeden
StatefulSetz woluminem danych i dwoma obiektamiService—ClusterIPudostępniający port bootstrap klienta oraz bezgłowy nadrzędny Service dla StatefulSet. - KRaft, bez ZooKeepera. Węzeł uruchamia role brokera i kontrolera w jednym procesie, konfigurowanym w całości przez zmienne środowiskowe.
- Przypięta tożsamość klastra. Tożsamość klastra jest stałą wartością dewelopera przekazywaną dosłownie do obrazu, który odczytuje ją bez zmian, bez losowego generowania, więc wyrenderowany manifest jest identyczny bajt po bajcie między kompilacjami.
- Stabilny ogłaszany adres. Broker ogłasza nazwę wewnątrzklastrowego Service, więc klienci łączą się ponownie przez stabilny adres, a nie przez własną nazwę hosta poda.
- Trwały dziennik. Dziennik zatwierdzeń zapisuje na trwałym woluminie w
/var/lib/kafka/data, więc dane rekordów przetrwają restarty. - Eksportowany kontrakt bootstrap. Komponent eksportuje swój host bootstrap
i port klienta przez topologię
uses, więc producent lub konsument łączy się z nim i tam nawiązuje połączenie. - Odtwarzalne obrazy. Encja Recipe przypina obraz serwera Kafka do rozwiązywalnego tagu, więc wyrenderowane obciążenie odwołuje się do przypiętej wersji.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example kafka-brokerNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd kafka-brokerKompilacja
Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna:
aggrega pull --release release.yamlaggrega build --release release.yamlWyrenderowane artefakty trafiają do dist/. Cel Kubernetes renderuje zwykłe
manifesty offline — pobieranie chartu nie jest wymagane.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `kafka-broker`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `kafka-broker` i bez `dir`: zapisuje ono przykład w nowym folderze `kafka-broker`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `kafka-broker`, `release` ustawionym na `release.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj, które pliki zapisała kompilacja; znajdują się w `kafka-broker/dist/`.Co jest renderowane
Kompilacja emituje serwer Kafka jako trzy obiekty Kubernetes:
StatefulSet— jednowęzłowy proces Kafka z dziennikiem zatwierdzeń na trwałym woluminie zamontowanym w/var/lib/kafka/datai pełną konfiguracją KRaft dostarczaną przez zmienne środowiskowe,ClusterIPService— udostępniający port bootstrap klienta 9092,- headless
Service— zarządzający Service, którego StatefulSet wymaga dla stabilnej tożsamości każdej repliki.
Obraz Kafka jest przypięty do tagu swojego wydania, więc obciążenie odwołuje się do przypiętego tagu obrazu.