Bỏ qua để đến nội dung
AggregaAggrega
Chọn ngôn ngữ: Tiếng Việt
Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

Fluent Bit đến Fluentd — một pipeline log hai tầng, hai đích

Ví dụ này biên dịch một pipeline log thực tế — một bộ chuyển tiếp Fluent Bit gửi các bản ghi đến một bộ tổng hợp Fluentd qua giao thức forward — từ một Aggregate do Developer viết thành hai hiện thực:

  • Docker Compose cho phát triển cục bộ, và
  • các Recipes helm tổng hợp chạy trực tiếp các image chính thức từ upstream fluent/fluent-bit và fluent/fluentd trên Kubernetes (không dùng chart bên ngoài).

Các Recipes helm tổng hợp không tải gì về lúc build; thay vào đó, helm/fluent-bit-chart và helm/fluentd-chart render chính các chart của dự án Fluent, dành cho một bản build có thể truy cập kho chart.

Cùng một aggregate.yaml điều khiển cả hai. Chỉ lớp Recipe được Manifest chọn là thay đổi theo từng hiện thực.

Pipeline

Hai component tạo thành một pipeline từ bộ chuyển tiếp đến bộ tổng hợp:

  • forwarder (core/observability/fluent-bit) thu thập các bản ghi log và gửi chúng qua một output forward. Nó được định kiểu là một server không trạng thái.
  • aggregator (core/observability/fluentd) lắng nghe trên giao thức input forward, nhận các bản ghi và định tuyến chúng đến output của nó. Nó được định kiểu là một server có trạng thái; Recipe helm tổng hợp mặc định đệm trong bộ nhớ, nên nó được render thành một Deployment một bản sao.

Bộ chuyển tiếp khai báo một use forward_target đến bộ tổng hợp. Các giá trị provides.host và provides.port của bộ tổng hợp — host và port của endpoint forward của nó (port forward theo quy ước của Fluentd, 24224) — được truyền qua pipe vào bộ chuyển tiếp và render thành Host và Port của output forward của nó. Như vậy bộ chuyển tiếp gửi đến endpoint forward của bộ tổng hợp, được nối trước từ một cạnh duy nhất.

Các tệp

TệpVai trò
aggregate.yamlÝ định của Developer: một sink aggregator (core/observability/fluentd) và một forwarder (core/observability/fluent-bit) khai báo một use forward_target đến bộ tổng hợp.
manifest-compose.yamlÁnh xạ kiểu Fluent Bit sang Recipe Compose (compose/fluent-bit) và kiểu Fluentd sang Recipe Compose (compose/fluentd).
manifest-helm-synth.yamlÁnh xạ kiểu Fluent Bit sang Recipe helm tổng hợp (helm/fluent-bit) và kiểu Fluentd sang Recipe helm tổng hợp (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlCác bản ghi của Operator cho hai hiện thực.

Vì cả một Recipe Compose và một Recipe helm tổng hợp đều mang tên fluent-bit và fluentd, các Manifests tham chiếu chúng theo phạm vi provider (compose/… và helm/…).

Ví dụ này minh họa điều gì

  • Một bề mặt soạn thảo, nhiều đích. Một Aggregate duy nhất là nguồn chân lý cho việc pipeline là gì. Mỗi Manifest cho biết hiện thực nó như thế nào.
  • Nối forward qua String Pipe. Bộ chuyển tiếp khai báo một use forward_target đến bộ tổng hợp; provides.host và provides.port của Recipe bộ tổng hợp được truyền qua pipe vào bộ chuyển tiếp và render thành Host và Port của một output forward. Trình biên dịch định tuyến các chuỗi mà không diễn giải chúng — nên bản build Compose nối một tên service compose và bản build Kubernetes nối một tên Service, từ cùng một cạnh.
  • Một sink có trạng thái trên socket của một bộ chuyển tiếp không trạng thái. Socket forward_target của bộ chuyển tiếp chọn một server hoặc một stateful-server. Fluentd được định kiểu là một server có trạng thái, và nó gắn vào socket một cách gọn gàng — socket chọn theo vai trò server vận hành, không theo việc sink có giữ trạng thái hay không. Giao thức mà sink sử dụng được kiểm tra riêng: output forward dùng giao thức forward của Fluentd, nên bản build dừng lại trừ khi sink công bố protocol: forward, như Fluentd làm.
  • Tổng hợp Workload (Kubernetes). Mỗi Recipe helm tổng hợp khai báo một Workload — một Deployment cùng một Service ClusterIP chạy image chính thức — mà provider helm chuyển thành các manifest Kubernetes mà không cần chart bên ngoài. Tập tài nguyên được render đúng bằng những gì các Workloads khai báo.
  • Image có thể tái tạo. infra.engine_version cố định tag của từng image, nên các workload được render tham chiếu các image cố định và các Recipes tổng hợp không render tag trôi nổi nào.

Tạo ví dụ

Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.

Ghi ví dụ vào một thư mục mới đặt theo tên của nó:

Terminal window
aggrega scaffold --example fluent-bit-to-fluentd

Sau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:

Terminal window
cd fluent-bit-to-fluentd

Build

Workspace này không có .aggrega-config.yaml, nên các thực thể thư viện chuẩn được phân giải từ registry hub, hub.aggrega.ai, và không cần cờ catalog; --auto-pull ghi trong lúc build lockfile mà một bản clone mới còn thiếu:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipes, official images)
aggrega build --release release-helm-synth.yaml --auto-pull

Các artifact được render nằm trong dist/.

Với trợ lý AI

Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.

Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `fluent-bit-to-fluentd`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `fluent-bit-to-fluentd` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `fluent-bit-to-fluentd` mới. Sau đó gọi công cụ `build` một lần cho mỗi Release, theo thứ tự này — `release-compose.yaml`, `release-helm-synth.yaml` — mỗi lần với `workspace_root` đặt thành `fluent-bit-to-fluentd`, `release` đặt thành tệp đó, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết mỗi lần build đã ghi những tệp nào; chúng nằm trong `fluent-bit-to-fluentd/dist/`.

Đích forward được chèn trông như thế nào

Trên Compose, bộ chuyển tiếp ghi một fluent-bit.conf có output forward nhắm đến tên service compose và port forward của bộ tổng hợp:

[OUTPUT]
Name forward
Match *
Host aggregator
Port 24224

Trên Kubernetes, cùng output đó nhắm đến tên Service trong cluster của bộ tổng hợp:

[OUTPUT]
Name forward
Match *
Host aggregator-default
Port 24224

Cả hai đều được phân giải từ cùng một cạnh của Aggregate — host và port của bộ tổng hợp đi qua use forward_target, và mỗi đích render chúng theo cách riêng của mình. Port 24224 là endpoint forward của bộ tổng hợp, được xuất qua provides của nó và truyền qua pipe vào bộ chuyển tiếp từ trước.

Chạy thử (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Endpoint giám sát của bộ chuyển tiếp chỉ được công bố trên địa chỉ loopback của host, tại http://localhost:2020 — endpoint /api/v1/metrics của nó báo cáo số bản ghi đã xử lý và đã chuyển tiếp. Endpoint này không kiểm tra bên gọi, nên nó không được công bố trên các giao diện khác của host trừ khi Release đặt infra.publish_on_all_interfaces: true cho bộ chuyển tiếp. Gỡ bỏ bằng docker compose -f dist/app/compose/docker-compose.yaml down.