Zum Inhalt springen
AggregaAggrega
Sprache wählen: Deutsch
Diese Seite wurde maschinell übersetzt. Das englische Original lesen.

Thanos-Stack — eine Metrik-Leseschicht über Objektspeicher, als Modul zusammengesetzt

Dieses Beispiel kompiliert einen kleinen, realen Stack — die Lese-/Abfrageschicht eines Thanos-Metriksystems — aus einem einzigen vom Entwickler verfassten Aggregate zu synthetisierten Kubernetes-Manifesten.

Die Leseschicht ist keine einzelne Komponente. Sie ist ein Modul: ein wiederverwendbares Sub-Aggregat, das drei Komponenten mit je einer einzigen Arbeitslast zusammensetzt —

  • ein S3-kompatibler Objektspeicher, der historische Metrikblöcke auf einem Volume hält und sie über die S3-API bereitstellt,
  • ein Store Gateway, das diese Blöcke aus dem Objektspeicher liest und sie über seine StoreAPI an Querier ausliefert, wobei es nur einen flüchtigen lokalen Cache hält, und
  • ein Query-Frontend, das PromQL beantwortet und Anfragen über die StoreAPI des Store Gateways auffächert, ohne eigenen Zustand zu halten.

Das Modul verdrahtet seine eigenen internen Kanten — das Store Gateway zum Objektspeicher und Query zum Store Gateway — und exportiert Query als seinen öffentlichen Endpunkt query. Das Aggregate der obersten Ebene importiert das Modul nach Namen und rendert den zusammengesetzten Stack; der Operator dimensioniert die internen Komponenten des Moduls im Release.

Dateien

DateiRolle
aggregate.yamlEntwicklerabsicht: importiert das Thanos-Leseschicht-Modul (core/thanos).
manifest-helm-synth.yamlOrdnet die Typen Objektspeicher, Store Gateway und Query ihren synth-helm-Recipes zu, und das Feature für Zugangsdaten, das das Modul anbindet, der Realisierung, die aus jedem der zwei Schlüsselparameter des Moduls ein Secret ausgibt.
release-helm-synth.yamlBetreiber-Datensatz für das Kubernetes-Ziel. Dimensioniert die internen Komponenten des Moduls über ihre modulbezogenen IDs; alles, was den Schema-Voreinstellungen überlassen bleibt, wird in sich geschlossen gerendert.

Laufzeitvoraussetzung

Dieses Modul ist nur die Lese-/Abfrageschicht. Der Objektspeicher legt den Bucket thanos, aus dem das Store Gateway liest, an, bevor er Anfragen bedient, daher ist das Einzige, was zur Laufzeit außerhalb der gerenderten Manifeste bereitzustellen ist, eine schreibende Komponente, die Metrikblöcke erzeugt. Die Leseschicht stellt Blöcke bereit; sie erzeugt sie nicht. Eine schreibende Komponente — eine Thanos-Receive-Schicht oder eine Prometheus-Instanz mit dem Thanos-Sidecar — muss Metrikblöcke in denselben Bucket liefern. Bis eine schreibende Komponente Blöcke hochgeladen hat, liefert das Store Gateway eine leere Ergebnismenge.

Das Beispiel generieren

Sie können dieses Beispiel mit den folgenden Befehlen bauen oder es von Ihrem KI-Assistenten für Sie bauen lassen.

Schreiben Sie das Beispiel in einen neuen Ordner, der nach ihm benannt ist:

Terminal window
aggrega scaffold --example thanos-stack

Danach gibt er die als Nächstes auszuführenden Befehle aus. Der erste wechselt in den neuen Ordner:

Terminal window
cd thanos-stack

Build

Dieser Workspace enthält kein .aggrega-config.yaml, daher werden die Entitäten der Standardbibliothek aus der Hub-Registry hub.aggrega.ai aufgelöst, und es ist kein Katalog-Flag nötig; --auto-pull schreibt während des Builds das Lockfile, das einem frischen Klon fehlt:

Terminal window
aggrega build --release release-helm-synth.yaml --auto-pull

Gerenderte Artefakte landen unter dist/. Das Kubernetes-Ziel rendert einfache Manifeste offline — es ist kein Chart-Pull erforderlich.

Mit einem KI-Assistenten

Ein KI-Assistent, der mit den Tools von Aggrega eingerichtet ist, kann dasselbe tun: Fügen Sie ihm diesen Prompt ein.

Verwenden Sie ausschließlich die Aggrega-Werkzeuge und legen Sie selbst keinen Ordner an. Wenn der Ordner des Arbeitsbereichs noch keinen Ordner `thanos-stack` enthält, rufen Sie das Werkzeug `scaffold` einmal auf, mit `example` auf `thanos-stack` gesetzt und ohne `dir`: Es schreibt das Beispiel in einen neuen Ordner `thanos-stack`. Rufen Sie dann das Werkzeug `build` auf, mit `workspace_root` auf `thanos-stack`, `release` auf `release-helm-synth.yaml`, `auto_pull` auf true und `write` auf true gesetzt. Nennen Sie mir die Dateien, die der Build geschrieben hat; sie liegen unter `thanos-stack/dist/`.

Wie der zusammengesetzte Stack aussieht

Das Store Gateway wird als zustandsloses Deployment plus ein ClusterIP-Service gerendert, der seinen StoreAPI-gRPC-Port und seinen HTTP-Port bereitstellt. Sein Container wird mit thanos store und einem einzigen Inline-Flag --objstore.config gestartet, dessen Wert der S3-Abschnitt ist, der aus dem Endpunkt aufgebaut wird, den der Objektspeicher veröffentlicht — sein clusterinterner Service-Name und Port, mit insecure: true, weil dieser Endpunkt über einfaches HTTP bereitgestellt wird. Diese Konfiguration wählt die Zugangsdaten-Kette des AWS SDK, daher trägt sie kein Geheimnis; beide Hälften des Zugriffsschlüssels kommen als Umgebungsvariablen an, die aus Secrets gelesen werden:

args:
- store
- --grpc-address
- 0.0.0.0:10901
- --http-address
- 0.0.0.0:10902
- --data-dir
- /var/thanos/store
- |-
--objstore.config=type: S3
config:
bucket: thanos
endpoint: metrics-zdobjstore-default:8333
insecure: true
aws_sdk_auth: true
[… omitted: the container ports for the two addresses named in the args]
env:
- name: AWS_ACCESS_KEY_ID
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential-id
key: s3-access-key
- name: AWS_SECRET_ACCESS_KEY
valueFrom:
secretKeyRef:
name: metrics-zdstore-s3.credential
key: s3-secret-key
[… omitted: the container's resources and its liveness and readiness probes]

Query wird als zustandsloses Deployment plus ein ClusterIP-Service an seinem HTTP-Port gerendert. Sein Container wird mit thanos query gestartet und wählt die StoreAPI des Store Gateways an dem Endpunkt an, der aus der Kante store zusammengesetzt wird:

args:
- query
- --http-address
- 0.0.0.0:10902
- --grpc-address
- 0.0.0.0:10901
- --endpoint
- metrics-zdstore-default:10901

Der Objektspeicher wird als SeaweedFS-StatefulSet mit einer Replik gerendert, mit einem unter /data eingehängten Volume-Claim, einem ClusterIP-Service am S3-Port 8333 und dem Headless-Service, den das StatefulSet benennt. Ein Init-Container legt den Bucket thanos an, bevor der Server Anfragen bedient. Das Konto des Servers ist dasselbe Schlüsselpaar, gelesen aus zwei eigenen Secrets, metrics-zdobjstore-access-key-id und metrics-zdobjstore-secret-access-key. Die vier Secrets werden neben den Arbeitslasten ausgegeben, zwei für die Schlüssel-Slots des Objektspeichers und zwei für das Schlüsselpaar, das die Verbindung s3 des Store Gateways trägt, jedes mit dem Entwicklungs-Standardwert des Moduls.

Was es zeigt

  • Komposition als Modul. Eine Fähigkeit mit mehreren Arbeitslasten — eine Metrik-Leseschicht, die eigentlich ein Objektspeicher plus ein Store Gateway plus ein Abfrage-Frontend ist — wird als Sub-Aggregat verpackt, das drei Komponenten mit je einer einzigen Arbeitslast zusammensetzt, nicht als eine monolithische Komponente. Das Modul wird nach Namen importiert und überall wiederverwendet, wo eine Thanos-Leseschicht gebraucht wird.
  • Wiederverwendung eines mitgelieferten Backends. Der Objektspeicher ist die Komponente core/storage/s3-object-store der Standardbibliothek, unverändert wiederverwendet; die Leseschicht fügt keine eigene Speicherlogik hinzu. Das Manifest wählt seine SeaweedFS-Realisierung, sodass der Speicher im Cluster neben der Leseschicht läuft.
  • Interne Kanten innerhalb des Moduls. Das Store Gateway deklariert eine Nutzung des Objektspeichers, und Query deklariert eine Nutzung des Store Gateways; der veröffentlichte endpoint des Objektspeichers sowie Host und Port, die das Store Gateway veröffentlicht, werden an jeder Kante in den Konsumenten geleitet, und das Recipe jedes Konsumenten baut daraus seine Adresse. Der Compiler leitet die Zeichenketten weiter, ohne sie zu interpretieren.
  • Ein öffentlicher Endpunkt. Das Modul exportiert Query als query, den stabilen öffentlichen Namen, mit dem sich ein Konsument verbindet — entkoppelt von den internen Komponentennamen des Moduls.
  • Konfiguration ohne Geheimnisse. Die Objektspeicher-Konfiguration wählt die Zugangsdaten-Kette des AWS SDK, daher trägt die gerenderte Konfiguration kein Geheimnis; die Zugangsdaten fließen nur als Umgebungsvariablen.
  • Ein gemeinsames Schlüsselpaar, per Referenz übernommen. Das Store Gateway authentifiziert sich beim Objektspeicher mit dessen eigenem Konto, daher teilen sich beide ein Schlüsselpaar. Das Modul nimmt jede Hälfte als Parameter, s3_access_key und s3_secret_key, und bindet das Feature für Zugangsdaten core/referenced-secret mit jeder zweimal an: an die Slots access_key_id und secret_access_key des Objektspeichers und als credential_id und credential der Verbindung des Store Gateways zum Objektspeicher, der Verbindung, über die das Gateway sie vorlegt. Jede Arbeitslast liest beide aus Secrets, statt sie inline zu tragen. Weil das Modul dieses Feature anbindet, ordnet das Manifest es zu. Dieses Beispiel belässt die Parameter auf den Entwicklungs-Standardwerten des Moduls und ordnet das Feature k8s-secret-from-parameter zu, das ein Secret ausgibt, das jeden Wert trägt, sodass der Stack eigenständig läuft. Für ein Release mit echtem Datenverkehr deklariert das Aggregate eigene Parameter und reicht sie über aggregates.metrics.parameters nach unten durch, das Release erfüllt sie, und das Manifest ordnet das Feature k8s-existing-secret zu, das jeden Parameter als Namen eines Secrets liest, das im Namespace bereits existiert.
  • Reproduzierbare Images. Jede Komponente fixiert einen expliziten Image-Tag, sodass die gerenderten Manifeste stabile Images referenzieren.