OpenTelemetry Collector를 사용하여 Confluent Cloud 관리 Kafka 배포에 대한 지표를 수집할 수 있습니다. 수집기는 원격 측정 데이터를 수집, 처리 및 New Relic(또는 관측 가능성 백엔드)으로 내보내는 OpenTelemetry의 구성 요소입니다.
이 통합은 OpenTelemetry 수집기 내에서 prometheus 수신기 구성을 실행하여 작동합니다. 이는 Confluent Cloud의 메트릭 API를 스크랩하고 해당 데이터를 New Relic으로 내보냅니다.
Confluent에서 Kafka 측정항목을 수집하고 New Relic으로 내보내려면 아래 단계를 완료하세요.
설정되었는지 확인하세요.
시작하기 전에 데이터를 보고하려는 계정에 대해 또한 다음 사항도 확인해야 합니다.
- 도커 데몬이 실행 중입니다.
- Docker Compose가 설치되어 있습니다.
- Confluent Cloud 계정이있습니다
- Confluent Cloud API 키와 비밀번호를 사용할 수 있습니다.
예제 저장소 다운로드 또는 복제
이 설정에서는 예제 수집기 구성을 사용하므로 New Relic의 OpenTelemetry 예제 저장소를 다운로드하세요. 설치가 완료되면 Confluent Cloud 예제 디렉터리를 엽니다. 자세한 내용은 여기에서 README
를 확인하세요.
환경 변수 설정 및 수집기 실행
.env
파일에서 Confluent Cloud와 New relic 모두에 대한 API 키 및 비밀 변수를 설정합니다.대상 Kafka 클러스터 ID로
Cluster_ID
변수를 설정합니다.(선택사항) Confluent Cloud에서 관리하는 커넥터 또는 스키마 레지스트리를 모니터링하려면
collector.yaml
파일에서 구성의 주석 처리를 취소하고.env
파일에서 해당 ID를 설정할 수 있습니다.bash$# Open the confluent cloud example directory$cd newrelic-opentelemetry-examples/other-examples/collector/confluentcloud$$# Set environment variables.$$# run the collector in docker$docker compose up지역변수 정보
변하기 쉬운
설명
문서
NEW_RELIC_API_KEY
New Relic 수집 API 키
NEW_RELIC_OTLP_ENDPOINT
기본 US New Relic OTLP 엔드포인트는 https://otlp.nr-data.net:4318입니다.
CLUSTER_ID
Confluent Cloud의 클러스터 ID
CONFLUENT_API_KEY
클라우드 API 키
CONFLUENT_API_SECRET
클라우드 API 비밀
CONNECTOR_ID
(선택 사항) 여기에서 ID를 지정하여 Confluent 커넥터를 모니터링할 수 있습니다
SCHEMA_REGISTRY_ID
(선택 사항) 여기에 ID를 지정하여 Confluent Schema Registry를 모니터링할 수 있습니다.
New Relic에서 데이터 보기
몇 가지 다른 방법으로 Confluent Cloud 데이터를 볼 수 있습니다.
- New Relic 마켓플레이스 로 이동하여
Confluent
를) 검색하세요. 사용 가능한 대시보드를 귀하의 계정에 바로 설치할 수 있습니다! - 측정항목 탐색기로 이동하여
confluent_kafka
을(를) 필터링합니다. 이 데이터는 모든 사용자 정의 경고 또는 대시보드에 추가될 수 있습니다.
Confluent Cloud 측정항목
이 통합은 Confluent Cloud Metrics API 내에서 내보낼 수 있는 모든 _측정항목을 다룹니다. 아래에는 내보낼 수 있는_ 측정항목의 일부 목록이 있습니다.
이름 | 설명 |
---|---|
confluent_kafka_server_received_bytes | 네트워크에서 수신한 고객 데이터의 델타 바이트 수입니다. 각 샘플은 이전 데이터 샘플 이후 수신된 바이트 수입니다. 카운트는 60초마다 샘플링됩니다. |
confluent_kafka_server_sent_bytes | 네트워크를 통해 전송된 고객 데이터의 델타 바이트 수입니다. 각 샘플은 이전 데이터 포인트 이후 전송된 바이트 수입니다. 카운트는 60초마다 샘플링됩니다. |
confluent_kafka_server_received_records | 수신된 레코드의 델타 수입니다. 각 샘플은 이전 데이터 샘플 이후에 수신된 레코드 수입니다. 카운트는 60초마다 샘플링됩니다. |
confluent_kafka_server_sent_records | 전송된 레코드의 델타 수입니다. 각 샘플은 이전 데이터 포인트 이후 전송된 레코드 수입니다. 카운트는 60초마다 샘플링됩니다. |
confluent_kafka_server_retained_bytes | 클러스터에서 보유하고 있는 현재 바이트 수입니다. 카운트는 60초마다 샘플링됩니다. |
confluent_kafka_server_active_connection_count | 활성 인증 연결 수입니다. |
confluent_kafka_server_request_count | 네트워크를 통해 수신된 요청의 델타 수입니다. 각 샘플은 이전 데이터 포인트 이후 수신된 요청 수입니다. 60초마다 샘플링된 카운트입니다. |
confluent_kafka_server_partition_count | 파티션 수 |
confluent_kafka_server_successful_authentication_count | 성공한 인증의 델타 수입니다. 각 샘플은 이전 데이터 포인트 이후 성공한 인증 수입니다. 60초마다 샘플링된 카운트입니다. |
confluent_kafka_server_consumer_lag_offsets | 그룹 구성원의 커밋된 오프셋과 파티션의 상위 워터마크 사이의 지연입니다. |