Monitor Apache Kafka clusters with OpenTelemetry Collector for real-time visibility and reliable data streaming. This vendor-neutral solution prevents costly downtime across self-hosted and Kubernetes environments.
Collector 옵션
뉴렐릭은 Kafka 모니터링을 위한 두 가지 OpenTelemetry Collector 배포판을 지원하며, 둘 다 동일한 설정 파일과 모델링 기능으로 동일한 기능을 제공합니다.
- NRDOT Collector (권장): 뉴렐릭이 배포하는 OpenTelemetry Collector 이며, 뉴렐릭의 지원을 받을 수 있습니다. 자세한 내용은 NRDOT Collector GitHub 저장소를 참조하세요.
- OpenTelemetry Collector: 업스트림 커뮤니티 배포판입니다. 자세한 내용은 OpenTelemetry Collector Contrib GitHub 저장소를 참조하세요.
귀사의 지원 및 운영 요구 사항에 가장 적합한 데이터 수집기를 선택한 다음, 환경 모니터링 설정을 진행하십시오.
클러스터 상태, 브로커 상태, 주제 지표 및 소비자 그룹 성능을 보여주는 포괄적인 대시보드로 Kafka 클러스터를 모니터링하세요.
Kafka 모니터링이 필요한 이유는 무엇인가요?
- Prevent outages: Get alerts for broker failures, under-replicated partitions, and offline topics before they cause downtime
- Optimize performance: Identify consumer lag, slow producers, and network bottlenecks that affect data processing speed
- Plan capacity: Track resource usage, message rates, and connection counts to scale proactively
- Ensure data integrity: Monitor replication health and partition balance to prevent data loss
일반적인 사용 사례
Kafka monitoring helps you catch issues before they impact your business. Get alerted when consumer lag spikes threaten real-time dashboards, broker failures risk data loss, or network bottlenecks slow critical data pipelines. Essential for financial transactions, IoT data processing, microservices communication, e-commerce platforms, and real-time analytics.
시작하다
모니터링을 시작하려면 Kafka 환경을 선택하세요. 각 설정 가이드에는 전제 조건, 설정 단계, 문제 해결, 해결 팁이 포함되어 있습니다.
작동 원리
The collector continuously gathers performance data using specialized components:
데이터 수집:
Kafka 지표 수신기: 클러스터 상태, 소비자 지연, 주제 지표 및 파티션 상태를 확인하기 위해 Kafka의 응답스트랩 포트에 연결합니다.
JMX metrics collection: Collects broker performance, JVM data, and operational insights via:
- Self-hosted Kafka: OTel Java agent or Prometheus JMX Exporter on broker JVM
- Kubernetes (self-managed): OTel Java agent or Prometheus JMX Exporter via init container
- Kubernetes (Strimzi): Prometheus JMX Exporter via Strimzi's
KafkaMetricsConfig
| OTel Java agent | Prometheus JMX Exporter | |
|---|---|---|
| 아키텍처 | Push-based | Pull-based |
| 규약 | OTLP (gRPC or HTTP) | HTTP scrape (default port 9404) |
| 구성 | JMX config file (.yaml) | YAML config with metric patterns |
| 유효성 | Self-hosted, Kubernetes self-managed | Self-hosted, Kubernetes self-managed, Kubernetes Strimzi |
Key metrics: Consumer lag, broker health, request rates, network throughput, partition replication status, resource utilization, and JVM performance data.
전체 이름, 설명 및 알림 권장 사항은 Kafka 참조를 확인하세요.
선택 사항: 애플리케이션 수준 모니터링을 추가합니다.
Monitor producer and consumer applications for complete visibility from producers → brokers → consumers.
Adds: Request latencies, throughput metrics, error rates, and distributed traces.
Setup: Use the OpenTelemetry Java agent for zero-code Kafka instrumentation.
다음 단계
모니터링 설정:
설치 후: