Stos Thanos — warstwa odczytu metryk nad magazynem obiektów, złożona jako moduł
Ten przykład kompiluje mały, rzeczywisty stos — warstwę odczytu/zapytań systemu metryk
Thanos — do zsyntetyzowanych manifestów Kubernetes z jednego
Aggregate napisanego przez dewelopera.
Warstwa odczytu nie jest pojedynczym komponentem. Jest modułem: wielokrotnego użytku podagregatem, który składa trzy komponenty z pojedynczym obciążeniem —
- magazyn obiektów zgodny z S3, który przechowuje historyczne bloki metryk na wolumenie i udostępnia je przez API S3,
- Store Gateway, który odczytuje te bloki z magazynu obiektów i udostępnia je komponentom zapytań przez swoje StoreAPI, przechowując jedynie efemeryczną lokalną pamięć podręczną, oraz
- frontend Query, który odpowiada na zapytania PromQL i rozsyła żądania przez StoreAPI Store Gateway, nie przechowując żadnego własnego stanu.
Moduł łączy własne wewnętrzne krawędzie — Store Gateway z magazynem obiektów
oraz Query ze Store Gateway — i eksportuje Query jako swój publiczny punkt końcowy
query. Encja Aggregate najwyższego poziomu importuje moduł po nazwie i renderuje
złożony stos; operator określa rozmiary wewnętrznych komponentów modułu w encji
Release.
Pliki
| Plik | Rola |
|---|---|
aggregate.yaml | Intencja dewelopera: importuje moduł warstwy odczytu Thanos (core/thanos). |
manifest-helm-synth.yaml | Mapuje typy magazynu obiektów, Store Gateway i Query na odpowiadające im syntetyczne encje Recipes helm, a encję Feature poświadczeń, którą moduł dołącza, na realizację emitującą Secret z każdego z dwóch parametrów kluczy modułu. |
release-helm-synth.yaml | Rekord operatora dla celu Kubernetes. Określa rozmiary wewnętrznych komponentów modułu według ich identyfikatorów w zakresie modułu; wszystko, co pozostawiono domyślnym wartościom schematu, renderuje się samodzielnie. |
Wymaganie wstępne środowiska uruchomieniowego
Ten moduł to wyłącznie warstwa odczytu/zapytań. Magazyn obiektów tworzy bucket thanos, z którego czyta Store Gateway, zanim zacznie obsługiwać żądania, więc jedyną rzeczą, którą trzeba zapewnić w czasie działania poza wyrenderowanymi manifestami, jest komponent zapisujący, który tworzy bloki metryk. Warstwa odczytu udostępnia bloki; nie tworzy ich. Komponent zapisujący — warstwa Thanos Receive lub instancja Prometheus z sidecarem Thanos — musi przesyłać bloki metryk do tego samego bucketu. Dopóki komponent zapisujący nie prześle bloków, Store Gateway zwraca pusty zbiór wyników.
Generowanie przykładu
Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.
Należy zapisać przykład w nowym folderze nazwanym tak jak on:
aggrega scaffold --example thanos-stackNastępnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:
cd thanos-stackKompilacja
Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna; --auto-pull zapisuje w trakcie kompilacji plik blokady, którego brakuje w świeżym klonie:
aggrega build --release release-helm-synth.yaml --auto-pullWyrenderowane artefakty trafiają do dist/. Cel Kubernetes renderuje zwykłe
manifesty offline — pobieranie chartu nie jest wymagane.
Z asystentem AI
Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.
Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `thanos-stack`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `thanos-stack` i bez `dir`: zapisze ono przykład w nowym folderze `thanos-stack`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `thanos-stack`, `release` ustawionym na `release-helm-synth.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj mi, jakie pliki zapisała kompilacja; znajdują się w `thanos-stack/dist/`.Jak wygląda złożony stos
Store Gateway renderuje się jako bezstanowy Deployment wraz z usługą ClusterIP Service udostępniającą port gRPC StoreAPI i port HTTP. Jego kontener jest uruchamiany poleceniem thanos store z pojedynczą flagą inline --objstore.config, której wartością jest sekcja S3 zbudowana z punktu końcowego publikowanego przez magazyn obiektów — jego wewnątrzklastrowej nazwy Service i portu, z insecure: true, ponieważ ten punkt końcowy jest obsługiwany przez zwykłe HTTP. Ta konfiguracja wybiera łańcuch poświadczeń AWS SDK, więc nie zawiera żadnego sekretu; obie połowy klucza dostępu trafiają jako zmienne środowiskowe odczytywane z obiektów Secret:
args: - store - --grpc-address - 0.0.0.0:10901 - --http-address - 0.0.0.0:10902 - --data-dir - /var/thanos/store - |- --objstore.config=type: S3 config: bucket: thanos endpoint: metrics-zdobjstore-default:8333 insecure: true aws_sdk_auth: true[… omitted: the container ports for the two addresses named in the args]env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential-id key: s3-access-key - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential key: s3-secret-key[… omitted: the container's resources and its liveness and readiness probes]Query renderuje się jako bezstanowy Deployment wraz z usługą ClusterIP Service na swoim porcie
HTTP. Jego kontener jest uruchamiany poleceniem thanos query i łączy się ze StoreAPI Store Gateway
w punkcie końcowym złożonym z krawędzi magazynu:
args: - query - --http-address - 0.0.0.0:10902 - --grpc-address - 0.0.0.0:10901 - --endpoint - metrics-zdstore-default:10901Magazyn obiektów renderuje się jako StatefulSet SeaweedFS z jedną repliką i żądaniem woluminu zamontowanym w /data, ClusterIP Service na porcie S3, 8333, oraz headless Service wskazywany przez StatefulSet. Kontener init tworzy bucket thanos, zanim serwer zacznie obsługiwać żądania. Kontem serwera jest ta sama para kluczy, odczytywana z dwóch własnych obiektów Secret, metrics-zdobjstore-access-key-id i metrics-zdobjstore-secret-access-key. Cztery obiekty Secret są emitowane obok obciążeń: dwa dla slotów kluczy magazynu obiektów i dwa dla pary kluczy przenoszonej przez połączenie s3 Store Gateway, każdy z deweloperską wartością domyślną modułu.
Co demonstruje
- Kompozycja jako moduł. Funkcjonalność obejmująca wiele obciążeń — warstwa odczytu metryk, która w rzeczywistości jest magazynem obiektów plus Store Gateway plus frontend zapytań — jest spakowana jako podagregat składający trzy komponenty z pojedynczym obciążeniem, a nie jako jeden monolityczny komponent. Moduł jest importowany po nazwie i ponownie używany wszędzie tam, gdzie potrzebna jest warstwa odczytu Thanos.
- Ponowne użycie dostarczanego backendu. Magazyn obiektów to komponent biblioteki standardowej
core/storage/s3-object-store, użyty bez zmian; warstwa odczytu nie dodaje własnej logiki przechowywania. Manifest wybiera jego realizację SeaweedFS, więc magazyn działa w klastrze obok warstwy odczytu. - Wewnętrzne krawędzie w module. Store Gateway deklaruje użycie
magazynu obiektów, a Query deklaruje użycie Store Gateway; publikowany przez magazyn obiektów
endpointoraz publikowane przez Store Gateway host i port są przekazywane do konsumenta na każdej krawędzi, a encja Recipe każdego konsumenta buduje z nich swój adres. Kompilator przekazuje te ciągi znaków, nie interpretując ich. - Publiczny punkt końcowy. Moduł eksportuje Query jako
query, stabilną publiczną nazwę, z którą łączy się konsument — niezależną od nazw wewnętrznych komponentów modułu. - Konfiguracja bez sekretów. Konfiguracja magazynu obiektów wybiera łańcuch poświadczeń AWS SDK, więc wyrenderowana konfiguracja nie zawiera żadnego sekretu; poświadczenia są przekazywane wyłącznie jako zmienne środowiskowe.
- Współdzielona para kluczy, przekazywana przez referencję. Store Gateway uwierzytelnia się w magazynie obiektów własnym kontem magazynu, więc oba współdzielą jedną parę kluczy. Moduł przyjmuje każdą połowę jako parametr,
s3_access_keyis3_secret_key, i z każdym z nich dwukrotnie dołącza encję Feature poświadczeńcore/referenced-secret: do slotówaccess_key_idisecret_access_keymagazynu obiektów oraz jakocredential_idicredentialpołączenia Store Gateway z magazynem obiektów, czyli połączenia, na którym gateway je przedstawia. Każde obciążenie odczytuje oba z obiektów Secret, zamiast przenosić je inline. Ponieważ moduł dołącza tę encję Feature, encja Manifest ją mapuje. Ten przykład pozostawia parametry z deweloperskimi wartościami domyślnymi modułu i mapuje encję Feature nak8s-secret-from-parameter, która emituje Secret zawierający każdą wartość, dzięki czemu stos działa samodzielnie. W przypadku encji Release obsługującej rzeczywisty ruch encja Aggregate deklaruje własne parametry i przekazuje je w dół przezaggregates.metrics.parameters, encja Release je wypełnia, a encja Manifest mapuje encję Feature nak8s-existing-secret, która odczytuje każdy parametr jako nazwę obiektu Secret istniejącego już w przestrzeni nazw. - Odtwarzalne obrazy. Każdy komponent przypina jawny tag obrazu, dzięki czemu wyrenderowane manifesty odwołują się do stabilnych obrazów.