Monitor Apache Kafka clusters with OpenTelemetry Collector for real-time visibility and reliable data streaming. This vendor-neutral solution prevents costly downtime across self-hosted and Kubernetes environments.
Options du collecteur
New Relic prend en charge deux distributions OpenTelemetry Collector pour le monitoring de Kafka, offrant toutes deux des fonctionnalités identiques avec les mêmes fichiers de configuration et capacités de monitoring.
- NRDOT Collector (recommandé) : distribution New Relic de l'OpenTelemetry Collector avec le support New Relic pour l'assistance. Pour plus d'informations, consultez le dépôt GitHub NRDOT Collector.
- OpenTelemetry Collector: la distribution communautaire en amont. Pour plus d'informations, consultez le dépôt GitHub OpenTelemetry Collector Contrib.
Choisissez le collecteur le mieux adapté à vos besoins opérationnels et de support, puis configurez le monitoring pour votre environnement.
Monitorez vos clusters Kafka avec des dashboards complets affichant l'état du cluster, l'état du broker, les métriques des sujets et les performances du groupe de consommateurs.
Pourquoi le monitoring de Kafka ?
- Prevent outages: Get alerts for broker failures, under-replicated partitions, and offline topics before they cause downtime
- Optimize performance: Identify consumer lag, slow producers, and network bottlenecks that affect data processing speed
- Plan capacity: Track resource usage, message rates, and connection counts to scale proactively
- Ensure data integrity: Monitor replication health and partition balance to prevent data loss
Cas d'utilisation courant
Kafka monitoring helps you catch issues before they impact your business. Get alerted when consumer lag spikes threaten real-time dashboards, broker failures risk data loss, or network bottlenecks slow critical data pipelines. Essential for financial transactions, IoT data processing, microservices communication, e-commerce platforms, and real-time analytics.
Démarrer
Choisissez votre environnement Kafka pour commencer le monitoring. Chaque guide d'installation comprend des prérequis, des étapes de configuration et des conseils de dépannage.
Comment ça marche
The collector continuously gathers performance data using specialized components:
Collecte de données :
Récepteur de métriques Kafka: se connecte au port bootstrap de Kafka pour la santé du cluster, le lag du consommateur, les métriques des topics et le statut des partitions
JMX metrics collection: Collects broker performance, JVM data, and operational insights via:
- Self-hosted Kafka: OTel Java agent or Prometheus JMX Exporter on broker JVM
- Kubernetes (self-managed): OTel Java agent or Prometheus JMX Exporter via init container
- Kubernetes (Strimzi): Prometheus JMX Exporter via Strimzi's
KafkaMetricsConfig
| OTel Java agent | Prometheus JMX Exporter | |
|---|---|---|
| Architecture | Push-based | Pull-based |
| Protocole | OTLP (gRPC or HTTP) | HTTP scrape (default port 9404) |
| Configuration | JMX config file (.yaml) | YAML config with metric patterns |
| Disponibilité | Self-hosted, Kubernetes self-managed | Self-hosted, Kubernetes self-managed, Kubernetes Strimzi |
Key metrics: Consumer lag, broker health, request rates, network throughput, partition replication status, resource utilization, and JVM performance data.
Pour les noms de métriques complets, les descriptions et les recommandations d'alerte, consultez Référence des métriques Kafka.
Facultatif : Ajouter un monitoring au niveau de l'application
Monitor producer and consumer applications for complete visibility from producers → brokers → consumers.
Adds: Request latencies, throughput metrics, error rates, and distributed traces.
Setup: Use the OpenTelemetry Java agent for zero-code Kafka instrumentation.
Prochaines étapes
Configurer le monitoring :
Après la configuration :