Logging Architecture
Tổng Quan Kiến Trúc
ZCP thu thập nhật ký từ tất cả các Cụm Dữ Liệu đã đăng ký và lưu trữ chúng một cách tập trung trong OpenSearch trong Cụm Điều Khiển. Nền tảng này cho phép truy vấn nhật ký trên toàn cụm thông qua OpenSearch Dashboards và cung cấp quyền truy cập dựa trên vai trò cho việc trực quan hóa nhật ký theo dự án.
Dịch vụ ghi nhật ký bao gồm bốn thành phần chính: Fluent Bit, Fluentd, OpenSearch, và OpenSearch Dashboards, được triển khai trên cả Cụm Dữ Liệu và Cụm Điều Khiển:
- Fluent Bit chạy trên tất cả các nút làm việc trong Cụm Dữ Liệu dưới dạng DaemonSet, thu thập nhật ký từ mỗi nút.
- Fluentd xử lý và chuyển tiếp các nhật ký đã thu thập đến Elasticsearch.
Trong Cụm Điều Khiển, OpenSearch được triển khai trên ba nút làm việc chuyên dụng để đảm bảo tính khả dụng cao và lưu trữ nhật ký hiệu quả. Những nút này lưu trữ và quản lý các nhật ký được gửi từ Fluent Bit và Fluentd trong Cụm Dữ Liệu. Một phiên bản Fluentd bổ sung trong Cụm Điều Khiển tổ chức quy trình nhật ký giữa các cụm và thực hiện xử lý trước và sau nhật ký.
Truy Vấn & Trực Quan Hóa Nhật Ký
Các nhật ký được lưu trữ trong OpenSearch có thể được truy vấn và trực quan hóa bằng OpenSearch Dashboards.
Để quản lý tập trung các nhật ký từ tất cả Data Plane Clusters, OpenSearch được sử dụng. Triển khai này hỗ trợ:
- OIDC authentication cho quyền truy cập an toàn.
- Index Policy management cho việc giữ lại và kiểm soát vòng đời nhật ký.
- Role and permission management cho sự tuân thủ an ninh.
Các Thành Phần và Vai Trò
Các Thành Phần Cụm Điều Khiển
| Component | Roles |
|---|---|
| OpenSearch Dashboards | Trực quan hóa cho dữ liệu được lưu trữ trong OpenSearch |
| OpenSearch | Lưu trữ các nhật ký đã thu thập và cung cấp một công cụ tìm kiếm và phân tích cho chúng |
| Fluentd | Thu thập nhật ký của các container ứng dụng người dùng và tất cả các thành phần hệ thống đang chạy trên mỗi nút |
Các Thành Phần Cụm Dữ Liệu
| Component | Roles |
|---|---|
| Fluentd | Xử lý sơ bộ các nhật ký được thu thập bởi fluent-bit và chuyển chúng đến fluentd trong Cụm Điều Khiển |
| Fluent Bit | Thu thập nhật ký của các container ứng dụng người dùng và tất cả các thành phần hệ thống đang chạy trên mỗi nút |