Monitor Apache Kafka clusters with OpenTelemetry Collector for real-time visibility and reliable data streaming. This vendor-neutral solution prevents costly downtime across self-hosted and Kubernetes environments.
Opciones del colector
New Relic admite dos distribuciones de OpenTelemetry Collector para el monitoreo de Kafka, y ambas ofrecen una funcionalidad idéntica con los mismos archivos de configuración y capacidades de monitoreo.
- NRDOT Collector (recomendado): La distribución de New Relic de OpenTelemetry Collector con soporte de New Relic para asistencia. Para obtener más información, consulta el repositorio de GitHub de NRDOT Collector.
- OpenTelemetry Collector: La distribución de la comunidad upstream. Para obtener más información, consulte el repositorio de GitHub de OpenTelemetry Collector Contrib.
Seleccione el colector que mejor se adapte a sus requisitos operativos y de soporte, luego proceda a configurar el monitoreo para su entorno.
Supervise sus clústeres de Kafka con dashboards integrales que muestran el estado del clúster, el estado del broker, las métricas de los temas y el rendimiento del grupo de consumidores.
¿Por qué supervisar Kafka?
- Prevent outages: Get alerts for broker failures, under-replicated partitions, and offline topics before they cause downtime
- Optimize performance: Identify consumer lag, slow producers, and network bottlenecks that affect data processing speed
- Plan capacity: Track resource usage, message rates, and connection counts to scale proactively
- Ensure data integrity: Monitor replication health and partition balance to prevent data loss
Caso de uso común
Kafka monitoring helps you catch issues before they impact your business. Get alerted when consumer lag spikes threaten real-time dashboards, broker failures risk data loss, or network bottlenecks slow critical data pipelines. Essential for financial transactions, IoT data processing, microservices communication, e-commerce platforms, and real-time analytics.
Empezar
Elija su entorno Kafka para comenzar a monitorear. Cada guía de configuración incluye requisitos previos, pasos de configuración y consejos para la solución de problemas.
Cómo funciona
The collector continuously gathers performance data using specialized components:
Recopilación de datos:
Receptor de métricas de Kafka: Se conecta al puerto bootstrap de Kafka para la salud del clúster, el retraso del consumidor, las métricas de los temas y el estado de las particiones
JMX metrics collection: Collects broker performance, JVM data, and operational insights via:
- Self-hosted Kafka: OTel Java agent or Prometheus JMX Exporter on broker JVM
- Kubernetes (self-managed): OTel Java agent or Prometheus JMX Exporter via init container
- Kubernetes (Strimzi): Prometheus JMX Exporter via Strimzi's
KafkaMetricsConfig
| OTel Java agent | Prometheus JMX Exporter | |
|---|---|---|
| Arquitectura | Push-based | Pull-based |
| Protocolo | OTLP (gRPC or HTTP) | HTTP scrape (default port 9404) |
| Configuración | JMX config file (.yaml) | YAML config with metric patterns |
| Disponibilidad | Self-hosted, Kubernetes self-managed | Self-hosted, Kubernetes self-managed, Kubernetes Strimzi |
Key metrics: Consumer lag, broker health, request rates, network throughput, partition replication status, resource utilization, and JVM performance data.
Para obtener nombres de métricas, descripciones y recomendaciones de alertas completas, consulte la referencia de métricas de Kafka.
Opcional: Añadir la supervisión a nivel de aplicación
Monitor producer and consumer applications for complete visibility from producers → brokers → consumers.
Adds: Request latencies, throughput metrics, error rates, and distributed traces.
Setup: Use the OpenTelemetry Java agent for zero-code Kafka instrumentation.
Próximos pasos
Configurar la supervisión:
Después de la configuración: