Chuyển tới nội dung chính

Log Lifecycle

Cloud ZCP cung cấp khả năng ghi log toàn diện để theo dõi và quản lý các ứng dụng của bạn cũng như nền tảng. Hệ thống ghi log dựa trên OpenSearch Stack (OpenSearch, Fluentd, OpenSearch DashBoards). Hiểu về vòng đời log liên quan đến cách mà các log được thu thập, xử lý, lưu trữ, truy vấn và quản lý theo thời gian.

Nền tảng quản lý nhiều loại log khác nhau, bao gồm Application Logs và Audit Logs.

Thu thập Log​

Việc thu thập log trong Cloud ZCP liên quan đến việc thu thập log từ nhiều nguồn khác nhau trên nền tảng:

  • Application Logs: Các thành phần Fluent-bit được cài đặt dưới dạng Daemonsets trên mỗi nút của Data Plane Cluster đặc biệt cho việc thu thập log từ các container đang chạy. Fluent-bit thu thập log từ các container ứng dụng người dùng và tất cả các thành phần hệ thống đang chạy trên mỗi nút.
  • Audit Logs: Audit Logs quản lý ba loại log: Console, Kubernetes và Keycloak. Bạn có thể cấu hình các cài đặt để thu thập những log này. Đối với log Kubernetes, bạn cần chọn các cụm được quản lý và cấu hình cài đặt cho từng cụm một cách riêng biệt.

Xử lý Log​

Sau khi được thu thập, các log sẽ trải qua quá trình xử lý trước khi lưu trữ:

  • Data Plane Processing: FluentD được cài đặt trên các Data Plane Clusters để xử lý và gửi các log đã thu thập đến Control Plane Cluster. FluentD này thực hiện xử lý sơ bộ.
  • Control Plane Processing: Một FluentD bổ sung được triển khai trong Control Plane Cluster để tổ chức pipeline log giữa Data Plane Cluster và Control Plane Cluster. FluentD này thực hiện xử lý thứ cấp cho các log được chuyển từ FluentD trong Data Plane trước khi chúng được lưu trữ trong Opensearch.
  • Integrated Management: OpenSearch được áp dụng để quản lý log của tất cả các Data Plane Clusters đã đăng ký trong Container Management Service một cách tích hợp.

Lưu trữ Log​

Các log đã xử lý được tập trung để lưu trữ và quản lý:

  • Centralized Storage: Tất cả các log được lưu trữ trong kho lưu trữ trung tâm Opensearch trong Control Plane Cluster.
  • Deployment: Opensearch được triển khai trên ba nút làm việc dành riêng cho việc ghi log trong Control Plane Cluster để cung cấp tính khả dụng cao.
  • Integrated Management: OpenSearch được áp dụng để quản lý log của tất cả các Data Plane Clusters đã đăng ký trong Container Management Service một cách tích hợp.
  • Indexing Strategy: Các chỉ mục lưu trữ log là created per project. Các log được truyền từ Fluent-bit trong Data Plane được lập chỉ mục theo định dạng [Realm].[Project-Name].[Cluster-Name]-%Y.%m.%d. Định dạng lập chỉ mục này hỗ trợ việc tách biệt và lưu trữ log của từng dự án trong một chỉ mục riêng, hỗ trợ tính năng bảo mật cho dữ liệu log đa dự án.

Truy vấn và trực quan hóa Log​

Việc truy cập và phân tích các log đã lưu trữ chủ yếu được thực hiện thông qua OpenSearch Dashboards, mà bạn có thể truy cập qua menu Logging trong ZCP Console.

  • Discover: Đây là màn hình chính để truy vấn và xem log. Bạn có thể sử dụng các từ khóa tìm kiếm hoặc bộ lọc để thu hẹp các log trong một khoảng thời gian xác định.
  • Dashboard: Cho phép xem nhiều hình ảnh trực quan và bảng thông tin đồng thời.
  • Visualize: Cho phép tạo ra nhiều hình ảnh trực quan khác nhau (như biểu đồ, bảng, chỉ số) từ dữ liệu log.
  • Dev Tools: Cung cấp một giao diện để gọi OpenSearch Rest APIs.
  • Audit Log Viewing: Các log audit đã thu thập có thể được xem. Bạn có thể lọc các log này theo nguồn sự kiện (Console, Keycloak, Kubernetes) và theo khoảng thời gian. Các log audit chi tiết, bao gồm thông tin payload (nếu được bật trong quá trình thu thập), có thể được xem cho từng mục riêng lẻ.

Quản lý và lưu giữ Log​

Quản lý khối lượng và thời gian lưu trữ của dữ liệu log là rất quan trọng.

Quản lý Index​

OpenSearch Dashboards cung cấp một màn hình Index Management với các menu để quản lý các chỉ mục. Bạn có thể tạo, sửa đổi và xóa các chính sách quản lý các chỉ mục (Index Policies). Bạn cũng có thể xem các chỉ mục đã lưu và áp dụng các chính sách cho chúng.

Quản lý Stack​

Stack Management: Màn hình Stack Management bao gồm các menu để quản lý các cài đặt của OpenSearch Dashboard, bao gồm Index Patterns.

Index Patterns xác định các chỉ mục mục tiêu để tìm kiếm trong OpenSearch Dashboards. Bạn có thể tạo Index Patterns dựa trên định dạng chỉ mục log [Realm].[Project-Name].[Cluster-Name]-%Y.%m.%d.

Chính sách lưu giữ Audit Log​

Chính sách lưu trữ được tạo từ chính sách quản lý trạng thái. Chỉ có quản trị viên mới có thể xem và quản lý chúng từ OpenSearch Dashboards.

Hệ thống xác định hai trạng thái: hot và delete. Các chỉ mục vẫn ở trạng thái hot trong 10 ngày, sau đó chúng chuyển sang trạng thái delete, nơi hành động xóa được kích hoạt.

Bảo mật và phân quyền​

OpenSearch hỗ trợ Index Policy cho việc quản lý log và quản lý vai trò và quyền cho bảo mật. Menu Bảo mật của OpenSearch Dashboard cho phép thiết lập xác thực, kiểm soát truy cập, vai trò, người dùng, quyền và người thuê để quản lý và ủy quyền dữ liệu log trong Multi Cluster. Các người thuê, được phân loại theo đơn vị dự án, rất quan trọng để chia sẻ an toàn quyền truy cập vào dữ liệu log và các đối tượng đã lưu.