Przejdź do głównej zawartości
AggregaAggrega
Wybierz język: Polski
Ta strona została przetłumaczona maszynowo. Przeczytaj oryginał w języku angielskim.

Stos Thanos — warstwa odczytu metryk nad magazynem obiektów, złożona jako moduł

Ten przykład kompiluje mały, rzeczywisty stos — warstwę odczytu/zapytań systemu metryk Thanos — do zsyntetyzowanych manifestów Kubernetes z jednego Aggregate napisanego przez dewelopera.

Warstwa odczytu nie jest pojedynczym komponentem. Jest modułem: wielokrotnego użytku podagregatem, który składa trzy komponenty z pojedynczym obciążeniem —

  • magazyn obiektów zgodny z S3, który przechowuje historyczne bloki metryk na wolumenie i udostępnia je przez API S3,
  • Store Gateway, który odczytuje te bloki z magazynu obiektów i udostępnia je komponentom zapytań przez swoje StoreAPI, przechowując jedynie efemeryczną lokalną pamięć podręczną, oraz
  • frontend Query, który odpowiada na zapytania PromQL i rozsyła żądania przez StoreAPI Store Gateway, nie przechowując żadnego własnego stanu.

Moduł łączy własne wewnętrzne krawędzie — Store Gateway z magazynem obiektów oraz Query ze Store Gateway — i eksportuje Query jako swój publiczny punkt końcowy query. Encja Aggregate najwyższego poziomu importuje moduł po nazwie i renderuje złożony stos; operator określa rozmiary wewnętrznych komponentów modułu w encji Release.

Pliki

PlikRola
aggregate.yamlIntencja dewelopera: importuje moduł warstwy odczytu Thanos (core/thanos).
manifest-helm-synth.yamlMapuje typy magazynu obiektów, Store Gateway i Query na odpowiadające im syntetyczne encje Recipes helm, a encję Feature poświadczeń, którą moduł dołącza, na realizację emitującą Secret z każdego z dwóch parametrów kluczy modułu.
release-helm-synth.yamlRekord operatora dla celu Kubernetes. Określa rozmiary wewnętrznych komponentów modułu według ich identyfikatorów w zakresie modułu; wszystko, co pozostawiono domyślnym wartościom schematu, renderuje się samodzielnie.

Wymaganie wstępne środowiska uruchomieniowego

Ten moduł to wyłącznie warstwa odczytu/zapytań. Magazyn obiektów tworzy bucket thanos, z którego czyta Store Gateway, zanim zacznie obsługiwać żądania, więc jedyną rzeczą, którą trzeba zapewnić w czasie działania poza wyrenderowanymi manifestami, jest komponent zapisujący, który tworzy bloki metryk. Warstwa odczytu udostępnia bloki; nie tworzy ich. Komponent zapisujący — warstwa Thanos Receive lub instancja Prometheus z sidecarem Thanos — musi przesyłać bloki metryk do tego samego bucketu. Dopóki komponent zapisujący nie prześle bloków, Store Gateway zwraca pusty zbiór wyników.

Generowanie przykładu

Ten przykład można zbudować za pomocą poniższych poleceń albo zlecić jego zbudowanie asystentowi AI.

Należy zapisać przykład w nowym folderze nazwanym tak jak on:

Terminal window
aggrega scaffold --example thanos-stack

Następnie wypisuje polecenia do uruchomienia w dalszej kolejności. Pierwsze przechodzi do nowego folderu:

Terminal window
cd thanos-stack

Kompilacja

Ta przestrzeń robocza nie zawiera pliku .aggrega-config.yaml, więc encje biblioteki standardowej są rozwiązywane z rejestru hub, hub.aggrega.ai, i flaga katalogu nie jest potrzebna; --auto-pull zapisuje w trakcie kompilacji plik blokady, którego brakuje w świeżym klonie:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull

Wyrenderowane artefakty trafiają do dist/. Cel Kubernetes renderuje zwykłe manifesty offline — pobieranie chartu nie jest wymagane.

Z asystentem AI

Asystent AI skonfigurowany z narzędziami Aggrega może zrobić to samo: wystarczy wkleić mu ten prompt.

Używaj wyłącznie narzędzi Aggrega i nie twórz samodzielnie żadnego folderu. Jeśli folder obszaru roboczego nie zawiera jeszcze folderu `thanos-stack`, wywołaj raz narzędzie `scaffold` z `example` ustawionym na `thanos-stack` i bez `dir`: zapisze ono przykład w nowym folderze `thanos-stack`. Następnie wywołaj narzędzie `build` z `workspace_root` ustawionym na `thanos-stack`, `release` ustawionym na `release-helm-synth.yaml`, `auto_pull` ustawionym na true i `write` ustawionym na true. Podaj mi, jakie pliki zapisała kompilacja; znajdują się w `thanos-stack/dist/`.

Jak wygląda złożony stos

Store Gateway renderuje się jako bezstanowy Deployment wraz z usługą ClusterIP Service udostępniającą port gRPC StoreAPI i port HTTP. Jego kontener jest uruchamiany poleceniem thanos store z pojedynczą flagą inline --objstore.config, której wartością jest sekcja S3 zbudowana z punktu końcowego publikowanego przez magazyn obiektów — jego wewnątrzklastrowej nazwy Service i portu, z insecure: true, ponieważ ten punkt końcowy jest obsługiwany przez zwykłe HTTP. Ta konfiguracja wybiera łańcuch poświadczeń AWS SDK, więc nie zawiera żadnego sekretu; obie połowy klucza dostępu trafiają jako zmienne środowiskowe odczytywane z obiektów Secret:

args:
- store
- --grpc-address
- 0.0.0.0:10901
- --http-address
- 0.0.0.0:10902
- --data-dir
- /var/thanos/store
- |-
--objstore.config=type: S3
config:
bucket: thanos
endpoint: metrics-zdobjstore-default:8333
insecure: true
aws_sdk_auth: true
[… omitted: the container ports for the two addresses named in the args]
env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential-id
key: s3-access-key
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential
key: s3-secret-key
[… omitted: the container's resources and its liveness and readiness probes]

Query renderuje się jako bezstanowy Deployment wraz z usługą ClusterIP Service na swoim porcie HTTP. Jego kontener jest uruchamiany poleceniem thanos query i łączy się ze StoreAPI Store Gateway w punkcie końcowym złożonym z krawędzi magazynu:

args:
- query
- --http-address
- 0.0.0.0:10902
- --grpc-address
- 0.0.0.0:10901
- --endpoint
- metrics-zdstore-default:10901

Magazyn obiektów renderuje się jako StatefulSet SeaweedFS z jedną repliką i żądaniem woluminu zamontowanym w /data, ClusterIP Service na porcie S3, 8333, oraz headless Service wskazywany przez StatefulSet. Kontener init tworzy bucket thanos, zanim serwer zacznie obsługiwać żądania. Kontem serwera jest ta sama para kluczy, odczytywana z dwóch własnych obiektów Secret, metrics-zdobjstore-access-key-id i metrics-zdobjstore-secret-access-key. Cztery obiekty Secret są emitowane obok obciążeń: dwa dla slotów kluczy magazynu obiektów i dwa dla pary kluczy przenoszonej przez połączenie s3 Store Gateway, każdy z deweloperską wartością domyślną modułu.

Co demonstruje

  • Kompozycja jako moduł. Funkcjonalność obejmująca wiele obciążeń — warstwa odczytu metryk, która w rzeczywistości jest magazynem obiektów plus Store Gateway plus frontend zapytań — jest spakowana jako podagregat składający trzy komponenty z pojedynczym obciążeniem, a nie jako jeden monolityczny komponent. Moduł jest importowany po nazwie i ponownie używany wszędzie tam, gdzie potrzebna jest warstwa odczytu Thanos.
  • Ponowne użycie dostarczanego backendu. Magazyn obiektów to komponent biblioteki standardowej core/storage/s3-object-store, użyty bez zmian; warstwa odczytu nie dodaje własnej logiki przechowywania. Manifest wybiera jego realizację SeaweedFS, więc magazyn działa w klastrze obok warstwy odczytu.
  • Wewnętrzne krawędzie w module. Store Gateway deklaruje użycie magazynu obiektów, a Query deklaruje użycie Store Gateway; publikowany przez magazyn obiektów endpoint oraz publikowane przez Store Gateway host i port są przekazywane do konsumenta na każdej krawędzi, a encja Recipe każdego konsumenta buduje z nich swój adres. Kompilator przekazuje te ciągi znaków, nie interpretując ich.
  • Publiczny punkt końcowy. Moduł eksportuje Query jako query, stabilną publiczną nazwę, z którą łączy się konsument — niezależną od nazw wewnętrznych komponentów modułu.
  • Konfiguracja bez sekretów. Konfiguracja magazynu obiektów wybiera łańcuch poświadczeń AWS SDK, więc wyrenderowana konfiguracja nie zawiera żadnego sekretu; poświadczenia są przekazywane wyłącznie jako zmienne środowiskowe.
  • Współdzielona para kluczy, przekazywana przez referencję. Store Gateway uwierzytelnia się w magazynie obiektów własnym kontem magazynu, więc oba współdzielą jedną parę kluczy. Moduł przyjmuje każdą połowę jako parametr, s3_access_key i s3_secret_key, i z każdym z nich dwukrotnie dołącza encję Feature poświadczeń core/referenced-secret: do slotów access_key_id i secret_access_key magazynu obiektów oraz jako credential_id i credential połączenia Store Gateway z magazynem obiektów, czyli połączenia, na którym gateway je przedstawia. Każde obciążenie odczytuje oba z obiektów Secret, zamiast przenosić je inline. Ponieważ moduł dołącza tę encję Feature, encja Manifest ją mapuje. Ten przykład pozostawia parametry z deweloperskimi wartościami domyślnymi modułu i mapuje encję Feature na k8s-secret-from-parameter, która emituje Secret zawierający każdą wartość, dzięki czemu stos działa samodzielnie. W przypadku encji Release obsługującej rzeczywisty ruch encja Aggregate deklaruje własne parametry i przekazuje je w dół przez aggregates.metrics.parameters, encja Release je wypełnia, a encja Manifest mapuje encję Feature na k8s-existing-secret, która odczytuje każdy parametr jako nazwę obiektu Secret istniejącego już w przestrzeni nazw.
  • Odtwarzalne obrazy. Każdy komponent przypina jawny tag obrazu, dzięki czemu wyrenderowane manifesty odwołują się do stabilnych obrazów.