Monitor Apache Kafka clusters with OpenTelemetry Collector for real-time visibility and reliable data streaming. This vendor-neutral solution prevents costly downtime across self-hosted and Kubernetes environments.
Opções do coletor
A New Relic oferece suporte a duas distribuições do OpenTelemetry Collector para o monitoramento do Kafka, ambas oferecendo funcionalidades idênticas com os mesmos arquivos de configuração e recursos de monitoramento.
- NRDOT Collector (recomendado): Distribuição da New Relic do OpenTelemetry Collector com suporte da New Relic para assistência. Para mais informações, consulte o repositório do NRDOT Collector no GitHub.
- OpenTelemetry Collector: A distribuição da comunidade upstream. Para mais informações, consulte o repositório do GitHub do OpenTelemetry Collector Contrib.
Escolha o coletor que melhor atenda aos seus requisitos de suporte e operacionais, depois prossiga para configurar o monitoramento do seu ambiente.
Monitore seus clusters Kafka com dashboards abrangentes que mostram a integridade do cluster, o status do broker, métricas de tópicos e o desempenho do grupo de consumidores.
Por que monitorar o Kafka?
- Prevent outages: Get alerts for broker failures, under-replicated partitions, and offline topics before they cause downtime
- Optimize performance: Identify consumer lag, slow producers, and network bottlenecks that affect data processing speed
- Plan capacity: Track resource usage, message rates, and connection counts to scale proactively
- Ensure data integrity: Monitor replication health and partition balance to prevent data loss
Caso de uso comum
Kafka monitoring helps you catch issues before they impact your business. Get alerted when consumer lag spikes threaten real-time dashboards, broker failures risk data loss, or network bottlenecks slow critical data pipelines. Essential for financial transactions, IoT data processing, microservices communication, e-commerce platforms, and real-time analytics.
Iniciar
Escolha seu ambiente Kafka para começar a monitorar. Cada guia de configuração inclui pré-requisitos, etapas de configuração e dicas de solução de problemas.
Como funciona
The collector continuously gathers performance data using specialized components:
Coleta de dados:
Receptor de métricas do Kafka: Conecta-se à porta de bootstrap do Kafka para saúde do cluster, lag do consumidor, métricas de tópicos e status da partição
JMX metrics collection: Collects broker performance, JVM data, and operational insights via:
- Self-hosted Kafka: OTel Java agent or Prometheus JMX Exporter on broker JVM
- Kubernetes (self-managed): OTel Java agent or Prometheus JMX Exporter via init container
- Kubernetes (Strimzi): Prometheus JMX Exporter via Strimzi's
KafkaMetricsConfig
| OTel Java agent | Prometheus JMX Exporter | |
|---|---|---|
| Arquitetura | Push-based | Pull-based |
| Protocolo | OTLP (gRPC or HTTP) | HTTP scrape (default port 9404) |
| Configuração | JMX config file (.yaml) | YAML config with metric patterns |
| Disponibilidade | Self-hosted, Kubernetes self-managed | Self-hosted, Kubernetes self-managed, Kubernetes Strimzi |
Key metrics: Consumer lag, broker health, request rates, network throughput, partition replication status, resource utilization, and JVM performance data.
Para obter nomes de métricas completos, descrições e recomendações de alerta, consulte Referência de métricas do Kafka.
Opcional: Adicionar monitoramento no nível do aplicativo
Monitor producer and consumer applications for complete visibility from producers → brokers → consumers.
Adds: Request latencies, throughput metrics, error rates, and distributed traces.
Setup: Use the OpenTelemetry Java agent for zero-code Kafka instrumentation.
Próximos passos
Configure o monitoramento:
Após a configuração: