メインコンテンツまでスキップ

Logging Architecture

アーキテクチャの概要​

ZCP は、すべての登録済みデータプレーンクラスターからログを収集し、コントロールプレーンクラスター内の OpenSearch に中央集約します。このプラットフォームは、OpenSearch Dashboards を通じてクラスター全体のログクエリを可能にし、プロジェクトごとのログ可視化のための役割ベースのアクセスを提供します。

ログサービスは、データプレーンクラスターとコントロールプレーンクラスターの両方に展開された4つの主要コンポーネントで構成されています: Fluent Bit, Fluentd, OpenSearch, OpenSearch Dashboards:

  • Fluent Bit は、データプレーンクラスター内のすべてのワーカーノードでDaemonSetとして実行され、各ノードからログを収集します。
  • Fluentd は、収集したログをElasticsearchに処理して転送します。 Logging Architecture

コントロールプレーンクラスター内では、OpenSearch が高可用性と効率的なログストレージを確保するために、3つの専用ワーカーノードに展開されています。これらのノードは、データプレーンクラスター内の Fluent Bit と Fluentd から送信されたログを保存および管理します。コントロールプレーンクラスター内の追加の Fluentd インスタンスは、クラスター間のログパイプラインを整理し、ログの前処理および後処理を行います。

ログクエリと可視化​

OpenSearch に保存されたログは、OpenSearch Dashboards を使用してクエリおよび可視化できます。

すべての Data Plane Clusters からのログを中央管理するために、OpenSearch が利用されます。この実装は以下をサポートします:

  • OIDC authentication による安全なアクセス。
  • Index Policy management によるログ保持とライフサイクル管理。
  • Role and permission management によるセキュリティコンプライアンス。

コンポーネントと役割​

コントロールプレーンコンポーネント​

ComponentRoles
OpenSearch DashboardsOpenSearchに保存されたデータの可視化
OpenSearch収集したログを保存し、それに対する検索および分析エンジンを提供
Fluentdユーザーアプリケーションコンテナおよび各ノードで実行されているすべてのシステムコンポーネントのログを収集

データプレーンコンポーネント​

ComponentRoles
Fluentdfluent-bitによって収集されたログの前処理を行い、コントロールプレーンのfluentdに渡す
Fluent Bitユーザーアプリケーションコンテナおよび各ノードで実行されているすべてのシステムコンポーネントのログを収集