Fluent Bit đến Fluentd — một pipeline log hai tầng, hai đích
Ví dụ này biên dịch một pipeline log thực tế — một bộ chuyển tiếp Fluent Bit gửi các bản ghi đến một bộ tổng hợp Fluentd qua giao thức forward — từ một Aggregate do Developer viết thành hai hiện thực:
- Docker Compose cho phát triển cục bộ, và
- các Recipes helm tổng hợp chạy trực tiếp các image chính thức từ upstream
fluent/fluent-bitvàfluent/fluentdtrên Kubernetes (không dùng chart bên ngoài).
Các Recipes helm tổng hợp không tải gì về lúc build; thay vào đó, helm/fluent-bit-chart
và helm/fluentd-chart render chính các chart của dự án Fluent, dành cho một
bản build có thể truy cập kho chart.
Cùng một aggregate.yaml điều khiển cả hai. Chỉ lớp Recipe được
Manifest chọn là thay đổi theo từng hiện thực.
Pipeline
Hai component tạo thành một pipeline từ bộ chuyển tiếp đến bộ tổng hợp:
forwarder(core/observability/fluent-bit) thu thập các bản ghi log và gửi chúng qua một outputforward. Nó được định kiểu là một server không trạng thái.aggregator(core/observability/fluentd) lắng nghe trên giao thức inputforward, nhận các bản ghi và định tuyến chúng đến output của nó. Nó được định kiểu là một server có trạng thái; Recipe helm tổng hợp mặc định đệm trong bộ nhớ, nên nó được render thành một Deployment một bản sao.
Bộ chuyển tiếp khai báo một use forward_target đến bộ tổng hợp. Các giá trị
provides.host và provides.port của bộ tổng hợp — host và port của endpoint
forward của nó (port forward theo quy ước của Fluentd, 24224) — được truyền qua pipe
vào bộ chuyển tiếp và render thành Host và Port của output forward
của nó. Như vậy bộ chuyển tiếp gửi đến endpoint forward của bộ tổng hợp, được nối
trước từ một cạnh duy nhất.
Các tệp
| Tệp | Vai trò |
|---|---|
aggregate.yaml | Ý định của Developer: một sink aggregator (core/observability/fluentd) và một forwarder (core/observability/fluent-bit) khai báo một use forward_target đến bộ tổng hợp. |
manifest-compose.yaml | Ánh xạ kiểu Fluent Bit sang Recipe Compose (compose/fluent-bit) và kiểu Fluentd sang Recipe Compose (compose/fluentd). |
manifest-helm-synth.yaml | Ánh xạ kiểu Fluent Bit sang Recipe helm tổng hợp (helm/fluent-bit) và kiểu Fluentd sang Recipe helm tổng hợp (helm/fluentd). |
release-compose.yaml / release-helm-synth.yaml | Các bản ghi của Operator cho hai hiện thực. |
Vì cả một Recipe Compose và một Recipe helm tổng hợp đều mang tên
fluent-bit và fluentd, các Manifests tham chiếu chúng theo phạm vi provider
(compose/… và helm/…).
Ví dụ này minh họa điều gì
- Một bề mặt soạn thảo, nhiều đích. Một Aggregate duy nhất là nguồn chân lý cho việc pipeline là gì. Mỗi Manifest cho biết hiện thực nó như thế nào.
- Nối forward qua String Pipe. Bộ chuyển tiếp khai báo một use
forward_targetđến bộ tổng hợp;provides.hostvàprovides.portcủa Recipe bộ tổng hợp được truyền qua pipe vào bộ chuyển tiếp và render thànhHostvàPortcủa một outputforward. Trình biên dịch định tuyến các chuỗi mà không diễn giải chúng — nên bản build Compose nối một tên service compose và bản build Kubernetes nối một tên Service, từ cùng một cạnh. - Một sink có trạng thái trên socket của một bộ chuyển tiếp không trạng thái. Socket
forward_targetcủa bộ chuyển tiếp chọn mộtserverhoặc mộtstateful-server. Fluentd được định kiểu là một server có trạng thái, và nó gắn vào socket một cách gọn gàng — socket chọn theo vai trò server vận hành, không theo việc sink có giữ trạng thái hay không. Giao thức mà sink sử dụng được kiểm tra riêng: output forward dùng giao thức forward của Fluentd, nên bản build dừng lại trừ khi sink công bốprotocol: forward, như Fluentd làm. - Tổng hợp Workload (Kubernetes). Mỗi Recipe helm tổng hợp khai báo một Workload — một Deployment cùng một Service ClusterIP chạy image chính thức — mà provider helm chuyển thành các manifest Kubernetes mà không cần chart bên ngoài. Tập tài nguyên được render đúng bằng những gì các Workloads khai báo.
- Image có thể tái tạo.
infra.engine_versioncố định tag của từng image, nên các workload được render tham chiếu các image cố định và các Recipes tổng hợp không render tag trôi nổi nào.
Tạo ví dụ
Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.
Ghi ví dụ vào một thư mục mới đặt theo tên của nó:
aggrega scaffold --example fluent-bit-to-fluentdSau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:
cd fluent-bit-to-fluentdBuild
Workspace này không có .aggrega-config.yaml, nên các thực thể thư viện chuẩn được phân giải từ registry hub, hub.aggrega.ai, và không cần cờ catalog; --auto-pull ghi trong lúc build lockfile mà một bản clone mới còn thiếu:
# Local development (Docker Compose)aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)aggrega build --release release-helm-synth.yaml --auto-pullCác artifact được render nằm trong dist/.
Với trợ lý AI
Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.
Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `fluent-bit-to-fluentd`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `fluent-bit-to-fluentd` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `fluent-bit-to-fluentd` mới. Sau đó gọi công cụ `build` một lần cho mỗi Release, theo thứ tự này — `release-compose.yaml`, `release-helm-synth.yaml` — mỗi lần với `workspace_root` đặt thành `fluent-bit-to-fluentd`, `release` đặt thành tệp đó, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết mỗi lần build đã ghi những tệp nào; chúng nằm trong `fluent-bit-to-fluentd/dist/`.Đích forward được chèn trông như thế nào
Trên Compose, bộ chuyển tiếp ghi một fluent-bit.conf có output forward
nhắm đến tên service compose và port forward của bộ tổng hợp:
[OUTPUT] Name forward Match * Host aggregator Port 24224Trên Kubernetes, cùng output đó nhắm đến tên Service trong cluster của bộ tổng hợp:
[OUTPUT] Name forward Match * Host aggregator-default Port 24224Cả hai đều được phân giải từ cùng một cạnh của Aggregate — host và port của bộ tổng hợp đi
qua use forward_target, và mỗi đích render chúng theo cách riêng của mình.
Port 24224 là endpoint forward của bộ tổng hợp, được xuất qua
provides của nó và truyền qua pipe vào bộ chuyển tiếp từ trước.
Chạy thử (Compose)
aggrega build --release release-compose.yaml --auto-pulldocker compose -f dist/app/compose/docker-compose.yaml up -dEndpoint giám sát của bộ chuyển tiếp chỉ được công bố trên địa chỉ loopback của host,
tại http://localhost:2020 — endpoint /api/v1/metrics của nó báo cáo số
bản ghi đã xử lý và đã chuyển tiếp. Endpoint này không kiểm tra bên gọi, nên nó không được
công bố trên các giao diện khác của host trừ khi Release đặt
infra.publish_on_all_interfaces: true cho bộ chuyển tiếp. Gỡ bỏ bằng
docker compose -f dist/app/compose/docker-compose.yaml down.