Fluentd — một bộ tổng hợp log, hai đích
Ví dụ này biên dịch một bộ tổng hợp log Fluentd — đầu nhận của một pipeline log — từ một Aggregate do Developer viết thành hai cách hiện thực:
- Docker Compose cho phát triển cục bộ, và
- Recipe helm tổng hợp chạy trực tiếp image chính thức
fluent/fluentdtừ upstream trên Kubernetes (không dùng chart bên ngoài).
Recipe helm tổng hợp không tải gì về lúc build; helm/fluentd-chart
render chart riêng của dự án Fluent thành cùng bộ tổng hợp đó, dành cho bản build
có thể truy cập kho chart.
Cùng một aggregate.yaml điều khiển cả hai. Chỉ lớp Recipe được
Manifest chọn là thay đổi theo từng hiện thực.
Vai trò bộ tổng hợp
Một pipeline log có hai đầu. Một bộ chuyển tiếp (chẳng hạn Fluent Bit) thu thập
các bản ghi log và gửi chúng xuống hạ nguồn. Một bộ tổng hợp là điểm nhận ở đầu
kia: nó lắng nghe trên giao thức đầu vào forward, nhận các bản ghi mà các bộ chuyển
tiếp thượng nguồn gửi đến, và định tuyến chúng tới đầu ra của nó. Ở đây Fluentd đóng
vai trò bộ tổng hợp.
Vì bộ tổng hợp nhận chứ không chuyển tiếp, nó không khai báo socket hạ nguồn
uses nào. Thay vào đó, nó xuất host và port của endpoint forward
qua provides, để một bộ chuyển tiếp có thể bind nó trên một socket forward và gửi
bản ghi tới nó. Endpoint forward lắng nghe trên port 24224 — port
forward theo quy ước của Fluentd.
Các tệp
| Tệp | Vai trò |
|---|---|
aggregate.yaml | Ý định của Developer: một component aggregator (core/observability/fluentd) lắng nghe trên đầu vào forward. |
manifest-compose.yaml | Ánh xạ kiểu Fluentd tới Recipe Compose (compose/fluentd). |
manifest-helm-synth.yaml | Ánh xạ kiểu Fluentd tới Recipe helm tổng hợp (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Các bản ghi của Operator cho hai hiện thực. |
release-helm-synth-buffer.yaml | Cách hiện thực helm tổng hợp có bật bộ đệm bền vững (đặt infra.storage.size). |
Vì cả một Recipe Compose lẫn một Recipe helm tổng hợp đều mang tên fluentd,
các Manifests tham chiếu chúng theo phạm vi provider là compose/fluentd và
helm/fluentd.
Ví dụ này minh họa điều gì
- Một bề mặt soạn thảo, nhiều đích. Một Aggregate duy nhất là nguồn chân lý cho việc stack là gì. Mỗi Manifest cho biết cách hiện thực nó.
- Đầu nhận của String Pipe. Bộ tổng hợp xuất endpoint forward của nó
qua
provides—host(service của bộ tổng hợp) vàport(24224) trên giao thứcforward. Một bộ chuyển tiếp bind component này sẽ dẫn các chuỗi đó vào đầu ra forward của chính nó; trình biên dịch định tuyến chúng mà không diễn giải chúng. - Tổng hợp Workload (Kubernetes). Recipe helm tổng hợp khai báo một
Workload — một Deployment cùng một Service ClusterIP chạy image chính thức
fluent/fluentd— mà provider helm chuyển thành các manifest Kubernetes mà không cần chart bên ngoài. Tập tài nguyên được render đúng bằng những gì Workload khai báo. - Định tuyến do developer kiểm soát. Mẫu match đầu ra của developer chọn những
bản ghi nhận được nào được định tuyến tới đầu ra của bộ tổng hợp. Mặc định là
**, tức định tuyến mọi bản ghi nhận được. - Bộ đệm tạm thời theo mặc định, bền vững khi được yêu cầu. Bộ tổng hợp đệm trong
bộ nhớ, nên bản render mặc định không có volume lưu trữ lâu dài. Đặt
infra.storage.size(xemrelease-helm-synth-buffer.yaml) sẽ đặt bộ đệm trên một volume bền vững được mount tại/fluentd/log; workload vẫn là một Deployment một bản sao. - Image tái lập được.
infra.engine_versioncố định tag image Fluentd, nên workload được render tham chiếu một image cố định và Recipe tổng hợp không render tag trôi nổi nào.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example fluentd-aggregatorSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd fluentd-aggregatorBuild
Workspace này không có .aggrega-config.yaml, nên các thực thể thư viện chuẩn được phân giải từ registry hub, hub.aggrega.ai, và không cần cờ catalog; --auto-pull ghi trong lúc build lockfile mà một bản clone mới còn thiếu:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volumeaggrega build --release release-helm-synth-buffer.yaml --auto-pullCác artifact được render nằm trong dist/.
Với trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `fluentd-aggregator`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `fluentd-aggregator` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `fluentd-aggregator` mới. Sau đó gọi công cụ `build` một lần cho mỗi Release, theo thứ tự này — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — mỗi lần với `workspace_root` đặt thành `fluentd-aggregator`, `release` đặt thành tệp đó, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết mỗi lần build đã ghi những tệp nào; chúng nằm trong `fluentd-aggregator/dist/`.Endpoint forward trông như thế nào
Trên Compose, bộ tổng hợp ghi một tệp fluent.conf với nguồn đầu vào forward
được bind vào port forward, và định tuyến các bản ghi khớp tới đầu ra chuẩn:
<source> @type forward bind 0.0.0.0 port 24224</source><match **> @type stdout</match>Trên Kubernetes, Recipe helm tổng hợp ghi cùng tệp fluent.conf đó lúc
khởi động, và Service ClusterIP mở port forward:
spec: type: ClusterIP [… omitted: the selector matching the aggregator's Pods] ports: - name: forward port: 24224 targetPort: forwardDeployment tham chiếu image đã được cố định và mở port forward trên container:
image: fluent/fluentd:v1.19.3-debian-2.1[… omitted: the start-up command that writes the fluent.conf shown above]ports: - name: forward containerPort: 24224Khi infra.storage.size được đặt, Recipe render thêm một
PersistentVolumeClaim và mount nó tại /fluentd/log, làm nền cho một bộ đệm tệp để
các bản ghi đã đệm còn lại sau khi khởi động lại.
Chạy thử (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dBộ tổng hợp lắng nghe các bản ghi được chuyển tiếp trên localhost:24224. Hãy gửi cho nó một
bản ghi thử bằng bất kỳ bộ chuyển tiếp Fluentd hay Fluent Bit nào trỏ tới port đó, và
các bản ghi nhận được sẽ xuất hiện trên đầu ra chuẩn của bộ tổng hợp. Dỡ bỏ bằng
docker compose -f dist/app/compose/docker-compose.yaml down.