Logging Architecture

架构概述

ZCP 从所有注册的数据平面集群收集日志，并将其集中存储在控制平面集群中的 OpenSearch。该平台通过 OpenSearch Dashboards 实现集群范围的日志查询，并为每个项目提供基于角色的日志可视化访问。

日志服务由四个关键组件组成： Fluent Bit、 Fluentd、 OpenSearch 和 OpenSearch Dashboards，这些组件部署在数据平面集群和控制平面集群中：

• Fluent Bit 作为 DaemonSet 在数据平面集群的所有工作节点上运行，收集每个节点的日志。
• Fluentd 处理并将收集的日志转发到 Elasticsearch。

在控制平面集群中，OpenSearch 部署在三个专用工作节点上，以确保高可用性和高效的日志存储。这些节点存储和管理从数据平面集群中的 Fluent Bit 和 Fluentd 发送的日志。控制平面集群中的另一个 Fluentd 实例组织集群之间的日志管道，并对日志进行前处理和后处理。

日志查询与可视化

存储在 OpenSearch 中的日志可以使用 OpenSearch Dashboards 进行查询和可视化。

为了集中管理所有 Data Plane Clusters 的日志，使用 OpenSearch。该实现支持：

• OIDC authentication 以确保安全访问。
• Index Policy management 进行日志保留和生命周期控制。
• Role and permission management 以确保安全合规。

组件和角色

控制平面组件

Component	Roles
OpenSearch Dashboards	用于可视化存储在 OpenSearch 中的数据
OpenSearch	存储收集的日志并提供搜索和分析引擎
Fluentd	收集用户应用容器和每个节点上运行的所有系统组件的日志

数据平面组件

Component	Roles
Fluentd	对由 fluent-bit 收集的日志进行初步处理，并将其传递给控制平面的 fluentd
Fluent Bit	收集用户应用容器和每个节点上运行的所有系统组件的日志