Ngăn xếp Thanos — tầng đọc metrics trên object storage, được kết hợp dưới dạng module
Ví dụ này biên dịch một ngăn xếp nhỏ, có thật — tầng đọc/truy vấn của một hệ thống
metrics Thanos — thành các manifest Kubernetes được tổng hợp từ một
Aggregate do Developer viết.
Tầng đọc không phải là một component đơn lẻ. Nó là một module: một sub-aggregate có thể tái sử dụng, kết hợp ba component đơn workload —
- một kho đối tượng tương thích S3 lưu giữ các khối metric lịch sử trên một volume và phục vụ chúng qua API S3,
- một Store Gateway đọc các khối đó từ kho đối tượng và phục vụ chúng cho các querier qua StoreAPI của nó, chỉ giữ một bộ nhớ đệm cục bộ tạm thời, và
- một front end Query trả lời PromQL và phân phối yêu cầu qua StoreAPI của Store Gateway, không giữ trạng thái riêng nào.
Module tự nối các cạnh nội bộ của nó — Store Gateway tới kho đối tượng,
và Query tới Store Gateway — và xuất Query làm endpoint công khai
query. Aggregate cấp cao nhất nhập module theo tên và kết xuất
ngăn xếp đã kết hợp; operator định cỡ các component nội bộ của module trong
Release.
Các tệp
| Tệp | Vai trò |
|---|---|
aggregate.yaml | Ý định của Developer: nhập module tầng đọc Thanos (core/thanos). |
manifest-helm-synth.yaml | Ánh xạ các kiểu kho đối tượng, Store Gateway và Query tới các Recipes synth helm của chúng, và Feature thông tin xác thực mà module gắn vào tới cách hiện thực phát ra một Secret từ mỗi tham số khóa trong hai tham số khóa của module. |
release-helm-synth.yaml | Bản ghi của operator cho đích Kubernetes. Định cỡ các component nội bộ của module theo ID trong phạm vi module của chúng; mọi thứ để theo giá trị mặc định của schema sẽ được kết xuất tự chứa. |
Điều kiện tiên quyết khi chạy
Module này chỉ là tầng đọc/truy vấn. Kho đối tượng tạo bucket thanos mà Store Gateway đọc trước khi nó bắt đầu phục vụ, nên thứ duy nhất cần cung cấp khi chạy, bên ngoài các manifest được kết xuất, là một writer tạo ra các khối metric. Tầng đọc phục vụ các khối; nó không tạo ra chúng. Một writer — một tầng Thanos Receive hoặc một instance Prometheus với sidecar Thanos — phải đẩy các khối metric vào cùng bucket đó. Cho đến khi một writer đã tải lên các khối, Store Gateway trả về một tập kết quả rỗng.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example thanos-stackSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd thanos-stackBuild
Workspace này không có .aggrega-config.yaml, nên các thực thể thư viện chuẩn được phân giải từ registry hub, hub.aggrega.ai, và không cần cờ catalog; --auto-pull ghi trong lúc build lockfile mà một bản clone mới còn thiếu:
aggrega build --release release-helm-synth.yaml --auto-pullCác artifact được kết xuất nằm trong dist/. Đích Kubernetes kết xuất manifest
thuần ở chế độ ngoại tuyến — không cần kéo chart.
Với trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ dùng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa có thư mục `thanos-stack`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `thanos-stack` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `thanos-stack` mới. Sau đó gọi công cụ `build` với `workspace_root` đặt thành `thanos-stack`, `release` đặt thành `release-helm-synth.yaml`, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết lần build đã ghi những tệp nào; chúng nằm dưới `thanos-stack/dist/`.Ngăn xếp đã kết hợp trông như thế nào
Store Gateway được kết xuất thành một Deployment phi trạng thái cùng một Service ClusterIP mở cổng gRPC StoreAPI và cổng HTTP của nó. Container của nó được khởi động bằng thanos store và một cờ --objstore.config nội tuyến duy nhất có giá trị là khối S3 được dựng từ endpoint mà kho đối tượng công bố — tên Service và cổng trong cluster của nó, với insecure: true vì endpoint đó được phục vụ qua HTTP thuần. Cấu hình đó chọn chuỗi thông tin xác thực của AWS SDK, nên nó không mang secret nào; cả hai nửa của khóa truy cập đến dưới dạng biến môi trường được đọc từ các Secret:
args: - store - --grpc-address - 0.0.0.0:10901 - --http-address - 0.0.0.0:10902 - --data-dir - /var/thanos/store - |- --objstore.config=type: S3 config: bucket: thanos endpoint: metrics-zdobjstore-default:8333 insecure: true aws_sdk_auth: true[… omitted: the container ports for the two addresses named in the args]env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential-id key: s3-access-key - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: name: metrics-zdstore-s3.credential key: s3-secret-key[… omitted: the container's resources and its liveness and readiness probes]Query được kết xuất thành một Deployment phi trạng thái cùng một Service ClusterIP trên cổng HTTP
của nó. Container của nó được khởi động bằng thanos query và kết nối tới StoreAPI
của Store Gateway trên endpoint được kết hợp từ cạnh store:
args: - query - --http-address - 0.0.0.0:10902 - --grpc-address - 0.0.0.0:10901 - --endpoint - metrics-zdstore-default:10901Kho đối tượng được kết xuất thành một StatefulSet SeaweedFS một replica với một volume claim được mount tại /data, một ClusterIP Service trên cổng S3, 8333, và headless Service mà StatefulSet nêu tên. Một init container tạo bucket thanos trước khi máy chủ bắt đầu phục vụ. Tài khoản của máy chủ là cùng cặp khóa đó, được đọc từ hai Secret riêng của nó, metrics-zdobjstore-access-key-id và metrics-zdobjstore-secret-access-key. Bốn Secret được phát ra bên cạnh các workload, hai cho các slot khóa của kho đối tượng và hai cho cặp khóa mà kết nối s3 của Store Gateway mang theo, mỗi cái mang giá trị mặc định dành cho phát triển của module.
Ví dụ này minh họa điều gì
- Kết hợp dưới dạng module. Một năng lực nhiều workload — một tầng đọc metrics thực chất là một kho đối tượng cộng một Store Gateway cộng một front end truy vấn — được đóng gói thành một sub-aggregate kết hợp ba component đơn workload, chứ không phải một component nguyên khối. Module được nhập theo tên và tái sử dụng ở bất cứ đâu cần một tầng đọc Thanos.
- Tái sử dụng một backend có sẵn. Kho đối tượng là component
core/storage/s3-object-storecủa thư viện chuẩn, được tái sử dụng nguyên trạng; tầng đọc không thêm logic lưu trữ riêng nào. Manifest chọn cách hiện thực SeaweedFS của nó, nên kho chạy trong cluster bên cạnh tầng đọc. - Các cạnh nội bộ bên trong module. Store Gateway khai báo việc sử dụng
kho đối tượng và Query khai báo việc sử dụng Store Gateway;
endpointđược công bố của kho đối tượng cùng host và cổng được công bố của Store Gateway được truyền vào bên tiêu thụ trên mỗi cạnh, và Recipe của mỗi bên tiêu thụ dựng địa chỉ từ chúng. Trình biên dịch định tuyến các chuỗi mà không diễn giải chúng. - Một endpoint công khai. Module xuất Query dưới tên
query, tên công khai ổn định mà bên tiêu thụ kết nối tới — tách biệt khỏi tên các component nội bộ của module. - Cấu hình không chứa secret. Cấu hình kho đối tượng chọn chuỗi thông tin xác thực của AWS SDK, nên cấu hình được kết xuất không mang secret nào; thông tin xác thực chỉ được truyền dưới dạng biến môi trường.
- Một cặp khóa dùng chung, được lấy theo tham chiếu. Store Gateway xác thực với kho đối tượng bằng tài khoản riêng của kho, nên cả hai dùng chung một cặp khóa. Module nhận mỗi nửa dưới dạng một tham số,
s3_access_keyvàs3_secret_key, và gắn Feature thông tin xác thựccore/referenced-secretvới mỗi tham số hai lần: vào các slotaccess_key_idvàsecret_access_keycủa kho đối tượng, và làmcredential_idvàcredentialcủa kết nối từ Store Gateway tới kho đối tượng, kết nối mà gateway trình chúng trên đó. Mỗi workload đọc cả hai từ các Secret thay vì mang chúng nội tuyến. Vì module gắn Feature đó, Manifest ánh xạ nó. Ví dụ này để các tham số ở giá trị mặc định dành cho phát triển của module và ánh xạ Feature tớik8s-secret-from-parameter, phát ra một Secret mang từng giá trị, nên ngăn xếp chạy tự chứa. Với một Release mang lưu lượng thật, Aggregate khai báo các tham số riêng và truyền chúng xuống quaaggregates.metrics.parameters, Release đáp ứng chúng, và Manifest ánh xạ Feature tớik8s-existing-secret, đọc mỗi tham số làm tên của một Secret đã tồn tại trong namespace. - Image có thể tái tạo. Mỗi component ghim một tag image tường minh, nên các manifest được kết xuất tham chiếu tới các image ổn định.