Bỏ qua để đến nội dung
AggregaAggrega
Chọn ngôn ngữ: Tiếng Việt
Trang này được dịch bằng máy. Đọc bản gốc tiếng Anh.

Fluentd — một bộ tổng hợp log, hai đích

Ví dụ này biên dịch một bộ tổng hợp log Fluentd — đầu nhận của một pipeline log — từ một Aggregate do Developer viết thành hai cách hiện thực:

  • Docker Compose cho phát triển cục bộ, và
  • Recipe helm tổng hợp chạy trực tiếp image chính thức fluent/fluentd từ upstream trên Kubernetes (không dùng chart bên ngoài).

Recipe helm tổng hợp không tải gì về lúc build; helm/fluentd-chart render chart riêng của dự án Fluent thành cùng bộ tổng hợp đó, dành cho bản build có thể truy cập kho chart.

Cùng một aggregate.yaml điều khiển cả hai. Chỉ lớp Recipe được Manifest chọn là thay đổi theo từng hiện thực.

Vai trò bộ tổng hợp

Một pipeline log có hai đầu. Một bộ chuyển tiếp (chẳng hạn Fluent Bit) thu thập các bản ghi log và gửi chúng xuống hạ nguồn. Một bộ tổng hợp là điểm nhận ở đầu kia: nó lắng nghe trên giao thức đầu vào forward, nhận các bản ghi mà các bộ chuyển tiếp thượng nguồn gửi đến, và định tuyến chúng tới đầu ra của nó. Ở đây Fluentd đóng vai trò bộ tổng hợp.

Vì bộ tổng hợp nhận chứ không chuyển tiếp, nó không khai báo socket hạ nguồn uses nào. Thay vào đó, nó xuất host và port của endpoint forward qua provides, để một bộ chuyển tiếp có thể bind nó trên một socket forward và gửi bản ghi tới nó. Endpoint forward lắng nghe trên port 24224 — port forward theo quy ước của Fluentd.

Các tệp

TệpVai trò
aggregate.yamlÝ định của Developer: một component aggregator (core/observability/fluentd) lắng nghe trên đầu vào forward.
manifest-compose.yamlÁnh xạ kiểu Fluentd tới Recipe Compose (compose/fluentd).
manifest-helm-synth.yamlÁnh xạ kiểu Fluentd tới Recipe helm tổng hợp (helm/fluentd).
release-compose.yaml / release-helm-synth.yamlCác bản ghi của Operator cho hai hiện thực.
release-helm-synth-buffer.yamlCách hiện thực helm tổng hợp có bật bộ đệm bền vững (đặt infra.storage.size).

Vì cả một Recipe Compose lẫn một Recipe helm tổng hợp đều mang tên fluentd, các Manifests tham chiếu chúng theo phạm vi provider là compose/fluentd và helm/fluentd.

Ví dụ này minh họa điều gì

  • Một bề mặt soạn thảo, nhiều đích. Một Aggregate duy nhất là nguồn chân lý cho việc stack là gì. Mỗi Manifest cho biết cách hiện thực nó.
  • Đầu nhận của String Pipe. Bộ tổng hợp xuất endpoint forward của nó qua provides — host (service của bộ tổng hợp) và port (24224) trên giao thức forward. Một bộ chuyển tiếp bind component này sẽ dẫn các chuỗi đó vào đầu ra forward của chính nó; trình biên dịch định tuyến chúng mà không diễn giải chúng.
  • Tổng hợp Workload (Kubernetes). Recipe helm tổng hợp khai báo một Workload — một Deployment cùng một Service ClusterIP chạy image chính thức fluent/fluentd — mà provider helm chuyển thành các manifest Kubernetes mà không cần chart bên ngoài. Tập tài nguyên được render đúng bằng những gì Workload khai báo.
  • Định tuyến do developer kiểm soát. Mẫu match đầu ra của developer chọn những bản ghi nhận được nào được định tuyến tới đầu ra của bộ tổng hợp. Mặc định là **, tức định tuyến mọi bản ghi nhận được.
  • Bộ đệm tạm thời theo mặc định, bền vững khi được yêu cầu. Bộ tổng hợp đệm trong bộ nhớ, nên bản render mặc định không có volume lưu trữ lâu dài. Đặt infra.storage.size (xem release-helm-synth-buffer.yaml) sẽ đặt bộ đệm trên một volume bền vững được mount tại /fluentd/log; workload vẫn là một Deployment một bản sao.
  • Image tái lập được. infra.engine_version cố định tag image Fluentd, nên workload được render tham chiếu một image cố định và Recipe tổng hợp không render tag trôi nổi nào.

Tạo ví dụ

Bạn có thể build ví dụ này bằng các lệnh bên dưới, hoặc để trợ lý AI của bạn build giúp bạn.

Ghi ví dụ vào một thư mục mới đặt theo tên của nó:

Terminal window
aggrega scaffold --example fluentd-aggregator

Sau đó nó in ra các lệnh cần chạy tiếp theo. Lệnh đầu tiên chuyển vào thư mục mới:

Terminal window
cd fluentd-aggregator

Build

Workspace này không có .aggrega-config.yaml, nên các thực thể thư viện chuẩn được phân giải từ registry hub, hub.aggrega.ai, và không cần cờ catalog; --auto-pull ghi trong lúc build lockfile mà một bản clone mới còn thiếu:

Terminal window
# Local development (Docker Compose)
aggrega build --release release-compose.yaml --auto-pull
# Kubernetes (synthesized helm Recipe, official image)
aggrega build --release release-helm-synth.yaml --auto-pull
# Kubernetes with a durable buffer volume
aggrega build --release release-helm-synth-buffer.yaml --auto-pull

Các artifact được render nằm trong dist/.

Với trợ lý AI

Một trợ lý AI được thiết lập với các công cụ của Aggrega cũng có thể làm như vậy: hãy dán prompt này vào trợ lý.

Chỉ sử dụng các công cụ của Aggrega và không tự tạo thư mục nào. Nếu thư mục không gian làm việc chưa chứa thư mục `fluentd-aggregator`, hãy gọi công cụ `scaffold` một lần với `example` đặt thành `fluentd-aggregator` và không có `dir`: công cụ này ghi ví dụ vào một thư mục `fluentd-aggregator` mới. Sau đó gọi công cụ `build` một lần cho mỗi Release, theo thứ tự này — `release-compose.yaml`, `release-helm-synth.yaml`, `release-helm-synth-buffer.yaml` — mỗi lần với `workspace_root` đặt thành `fluentd-aggregator`, `release` đặt thành tệp đó, `auto_pull` đặt thành true và `write` đặt thành true. Hãy cho tôi biết mỗi lần build đã ghi những tệp nào; chúng nằm trong `fluentd-aggregator/dist/`.

Endpoint forward trông như thế nào

Trên Compose, bộ tổng hợp ghi một tệp fluent.conf với nguồn đầu vào forward được bind vào port forward, và định tuyến các bản ghi khớp tới đầu ra chuẩn:

<source>
@type forward
bind 0.0.0.0
port 24224
</source>
<match **>
@type stdout
</match>

Trên Kubernetes, Recipe helm tổng hợp ghi cùng tệp fluent.conf đó lúc khởi động, và Service ClusterIP mở port forward:

spec:
type: ClusterIP
[… omitted: the selector matching the aggregator's Pods]
ports:
- name: forward
port: 24224
targetPort: forward

Deployment tham chiếu image đã được cố định và mở port forward trên container:

image: fluent/fluentd:v1.19.3-debian-2.1
[… omitted: the start-up command that writes the fluent.conf shown above]
ports:
- name: forward
containerPort: 24224

Khi infra.storage.size được đặt, Recipe render thêm một PersistentVolumeClaim và mount nó tại /fluentd/log, làm nền cho một bộ đệm tệp để các bản ghi đã đệm còn lại sau khi khởi động lại.

Chạy thử (Compose)

Terminal window
aggrega build --release release-compose.yaml --auto-pull
docker compose -f dist/app/compose/docker-compose.yaml up -d

Bộ tổng hợp lắng nghe các bản ghi được chuyển tiếp trên localhost:24224. Hãy gửi cho nó một bản ghi thử bằng bất kỳ bộ chuyển tiếp Fluentd hay Fluent Bit nào trỏ tới port đó, và các bản ghi nhận được sẽ xuất hiện trên đầu ra chuẩn của bộ tổng hợp. Dỡ bỏ bằng docker compose -f dist/app/compose/docker-compose.yaml down.