Monitor Apache Kafka clusters with OpenTelemetry Collector for real-time visibility and reliable data streaming. This vendor-neutral solution prevents costly downtime across self-hosted and Kubernetes environments.
Collectorオプション
New Relic 、Kafka 監視用に 2 つのOpenTelemetry Collectorディストリビューションをサポートしており、どちらも同じ設定ファイルと監視機能による同一の機能を提供します。
- NRDOT Collector (推奨): New Relic のサポートが付いた、New Relic の OpenTelemetry Collector のディストリビューション。詳細については、 NRDOT Collector GitHub リポジトリを参照してください。
- OpenTelemetry Collector : アップストリーム コミュニティ ディストリビューション。詳細については、 OpenTelemetry Collector Contrib GitHub リポジトリを参照してください。
サポートと運用の要件に最適なコレクターを選択し、環境の監視の設定に進みます。
クラスタの健全性、ブローカーのステータス、トピックのメトリクス、および消費者グループのパフォーマンスを示す包括的なダッシュ ボードで Kafka クラスタを監視します。
なぜKafka監視なのか?
- Prevent outages: Get alerts for broker failures, under-replicated partitions, and offline topics before they cause downtime
- Optimize performance: Identify consumer lag, slow producers, and network bottlenecks that affect data processing speed
- Plan capacity: Track resource usage, message rates, and connection counts to scale proactively
- Ensure data integrity: Monitor replication health and partition balance to prevent data loss
一般的な使用例
Kafka monitoring helps you catch issues before they impact your business. Get alerted when consumer lag spikes threaten real-time dashboards, broker failures risk data loss, or network bottlenecks slow critical data pipelines. Essential for financial transactions, IoT data processing, microservices communication, e-commerce platforms, and real-time analytics.
始めましょう
監視を開始するには、Kafka 環境を選択します。各セットアップ ガイドには、前提条件、設定手順、トラブルシューティングのヒントが含まれています。
使い方
The collector continuously gathers performance data using specialized components:
データ収集:
Kafka メトリクス レシーバー: クラスタの健全性、消費者のラグ、トピック メトリクス、およびパーティションのステータスを取得するために、Kafka のブートストラップ ポートに接続します。
JMX metrics collection: Collects broker performance, JVM data, and operational insights via:
- Self-hosted Kafka: OTel Java agent or Prometheus JMX Exporter on broker JVM
- Kubernetes (self-managed): OTel Java agent or Prometheus JMX Exporter via init container
- Kubernetes (Strimzi): Prometheus JMX Exporter via Strimzi's
KafkaMetricsConfig
| OTel Java agent | Prometheus JMX Exporter | |
|---|---|---|
| アーキテクチャー | Push-based | Pull-based |
| プロトコル | OTLP (gRPC or HTTP) | HTTP scrape (default port 9404) |
| 構成 | JMX config file (.yaml) | YAML config with metric patterns |
| 入手方法 | Self-hosted, Kubernetes self-managed | Self-hosted, Kubernetes self-managed, Kubernetes Strimzi |
Key metrics: Consumer lag, broker health, request rates, network throughput, partition replication status, resource utilization, and JVM performance data.
メトリクスの完全な名前、説明、およびアラートの推奨事項については、 「Kafka メトリクス リファレンス」を参照してください。
オプション: アプリケーションレベルの監視を追加する
Monitor producer and consumer applications for complete visibility from producers → brokers → consumers.
Adds: Request latencies, throughput metrics, error rates, and distributed traces.
Setup: Use the OpenTelemetry Java agent for zero-code Kafka instrumentation.
次のステップ
監視を設定します。
セットアップ後: