Amazon Managed Kafka(MSK) 통합

중요

AWS CloudWatch Metric Streams 통합 을 활성화하여 사용자 지정 네임스페이스를 포함하여 AWS 서비스의 모든 CloudWatch 지표를 모니터링합니다. 개별 통합은 더 이상 권장되는 옵션이 아닙니다.

New Relic은 Apache Kafka용 Amazon Web Services Managed Streaming 데이터 수집을 위한 통합을 제공합니다. 이 문서에서는 이 통합을 활성화하는 방법과 보고할 수 있는 데이터에 대해 설명합니다.

통합 활성화

이 통합을 활성화하려면 표준 절차에 따라 AWS 서비스를 New Relic에 연결 하십시오.

구성 및 폴링

폴링 빈도를 변경하고 데이터를 필터링하려면 구성 옵션을 사용하십시오.

Amazon Managed Kafka 통합에 대한 기본 폴링 정보:

New Relic 폴링 간격: 5분
Amazon CloudWatch 데이터 간격: 1분

데이터 보기 및 사용

통합 데이터를 보려면 one.newrelic.com > All capabilities > Infrastructure > AWS 으로 이동하여 통합을 선택하세요.

다음 이벤트 유형 을 사용 하여 데이터를 쿼리하고 탐색할 수 있습니다.

실재	이벤트 유형	공급자
무리	`AwsMskClusterSample`	`AwsMskCluster`
브로커	`AwsMskBrokerSample`	`AwsMskBroker`
주제	`AwsMskTopicSample`	`AwsMskTopic`

데이터 사용 방법에 대한 자세한 내용은 통합 데이터 이해 및 사용 을 참조하십시오.

측정항목 데이터

이 통합은 클러스터, 브로커 및 주제 엔터티에 대한 Amazon Managed Kafka 데이터를 기록합니다.

관리형 Kafka 클러스터 데이터

미터법	유닛	설명
`activeControllerCount`	세다	주어진 시간에 클러스터당 하나의 컨트롤러만 활성화되어야 합니다.
`globalPartitionCount`	세다	클러스터에 있는 모든 브로커의 총 파티션 수입니다.
`globalTopicCount`	세다	클러스터의 모든 브로커에 대한 총 주제 수입니다.
`offlinePartitionsCount`	세다	클러스터에서 오프라인 상태인 총 파티션 수입니다.

관리형 Kafka 브로커 데이터

미터법	유닛	설명
`bytesInPerSec`	초당 바이트	클라이언트에서 수신한 초당 바이트 수입니다.
`bytesOutPerSec`	초당 바이트	클라이언트에 전송된 초당 바이트 수입니다.
`cpuSystem`	퍼센트	커널 공간에서 CPU의 백분율입니다.
`cpuUser`	퍼센트	사용자 공간에서 CPU의 백분율입니다.
`cpuIdle`	퍼센트	CPU 유휴 시간의 백분율입니다.
`fetchConsumerLocalTimeMsMean`	밀리초	소비자 요청이 리더에서 처리되는 평균 시간(밀리초)입니다.
`fetchConsumerRequestQueueTimeMsMean`	밀리초	소비자 요청이 요청 대기열에서 대기하는 평균 시간(밀리초)입니다.
`fetchConsumerResponseQueueTimeMsMean`	밀리초	소비자 요청이 응답 대기열에서 대기하는 평균 시간(밀리초)입니다.
`fetchConsumerResponseSendTimeMsMean`	밀리초	소비자가 응답을 보내는 평균 시간(밀리초)입니다.
`fetchConsumerTotalTimeMsMean`	밀리초	소비자가 브로커에서 데이터를 가져오는 데 소비하는 평균 총 시간(밀리초)입니다.
`fetchFollowerLocalTimeMsMean`	밀리초	팔로어 요청이 리더에서 처리되는 평균 시간(밀리초)입니다.
`fetchFollowerRequestQueueTimeMsMean`	밀리초	팔로어 요청이 요청 대기열에서 대기하는 평균 시간(밀리초)입니다.
`fetchFollowerResponseQueueTimeMsMean`	밀리초	팔로어 요청이 응답 대기열에서 대기하는 평균 시간(밀리초)입니다.
`fetchFollowerResponseSendTimeMsMean`	밀리초	팔로어가 응답을 보내는 평균 시간(밀리초)입니다.
`fetchFollowerTotalTimeMsMean`	밀리초	팔로어가 브로커에서 데이터를 가져오는 데 소비하는 평균 총 시간(밀리초)입니다.
`fetchMessageConversionsPerSec`	CountPerSecond	브로커에 대한 초당 페치 메시지 변환 수입니다.
`fetchThrottleTime`	밀리초	평균 가져오기 제한 시간(밀리초)입니다.
`fetchThrottleByteRate`	초당 바이트	초당 조절된 바이트 수입니다.
`fetchThrottleQueueSize`	세다	조절 대기열의 메시지 수입니다.
`kafkaAppLogsDiskUsed`	퍼센트	애플리케이션 로그에 사용된 디스크 공간의 백분율입니다.
`kafkaDataLogsDiskUsed`	퍼센트	데이터 로그에 사용된 디스크 공간의 백분율입니다.
`leaderCount`	세다	리더 복제본의 수입니다.
`memoryBuffered`	바이트	브로커의 버퍼링된 메모리 크기(바이트)입니다.
`memoryCached`	바이트	브로커의 캐시된 메모리 크기(바이트)입니다.
`memoryFree`	바이트	브로커에 사용 가능한 여유 메모리 크기(바이트)입니다.
`memoryUsed`	바이트	브로커에 사용 중인 메모리 크기(바이트)입니다.
`messagesInPerSec`	CountPerSecond	브로커의 초당 수신 메시지 수입니다.
`networkProcessorAvgIdlePercent`	퍼센트	네트워크 프로세서가 유휴 상태인 시간의 평균 백분율입니다.
`networkRxDropped`	세다	삭제된 수신 패키지의 수입니다.
`networkRxErrors`	세다	브로커의 네트워크 수신 오류 수입니다.
`networkRxPackets`	세다	브로커가 수신한 패킷 수입니다.
`networkTxDropped`	세다	삭제된 전송 패키지의 수입니다.
`networkTxErrors`	세다	브로커의 네트워크 전송 오류 수입니다.
`networkTxPackets`	세다	브로커가 전송한 패킷 수입니다.
`partitionCount`	세다	브로커의 파티션 수입니다.
`produceLocalTimeMsMean`	밀리초	팔로어가 응답을 보내는 평균 시간(밀리초)입니다.
`produceMessageConversionsPerSec`	CountPerSecond	브로커에 대한 초당 생성 메시지 변환 수입니다.
`produceMessageConversionsTimeMsMean`	밀리초	메시지 형식 변환에 소요된 평균 시간(밀리초)입니다.
`produceRequestQueueTimeMsMean`	밀리초	요청 메시지가 대기열에서 보내는 평균 시간(밀리초)입니다.
`produceResponseQueueTimeMsMean`	밀리초	응답 메시지가 대기열에서 보내는 평균 시간(밀리초)입니다.
`produceResponseSendTimeMsMean`	밀리초	응답 메시지를 보내는 데 소요된 평균 시간(밀리초)입니다.
`produceTotalTimeMsMean`	밀리초	평균 생산 시간(밀리초)입니다.
`produceThrottleTime`	밀리초	평균 생성 스로틀 시간(밀리초)입니다.
`produceThrottleByteRate`	초당 바이트	초당 조절된 바이트 수입니다.
`produceThrottleQueueSize`	세다	조절 대기열의 메시지 수입니다.
`requestBytesMean`	세다	브로커에 대한 평균 요청 바이트 수입니다.
`requestExemptFromThrottleTime`	밀리초	조절에서 제외된 요청을 처리하기 위해 브로커 네트워크 및 I/O 스레드에서 소비한 평균 시간입니다.
`requestHandlerAvgIdlePercent`	퍼센트	요청 처리기 스레드가 유휴 상태인 시간의 평균 백분율입니다.
`requestThrottleQueueSize`	세다	조절 대기열의 메시지 수입니다.
`requestThrottleTime`	밀리초	평균 요청 제한 시간(밀리초)입니다.
`requestTime`	밀리초	브로커 네트워크 및 I/O 스레드에서 요청을 처리하는 데 소요된 평균 시간입니다.
`rootDiskUsed`	퍼센트	브로커가 사용하는 루트 디스크의 백분율입니다.
`swapUsed`	바이트	브로커에 사용 중인 스왑 메모리의 크기(바이트)입니다.
`swapFree`	바이트	브로커에 사용할 수 있는 스왑 메모리의 크기(바이트)입니다.
`underMinIsrPartitionCount`	세다	브로커의 minIsr 미만 파티션 수입니다.
`underReplicatedPartitions`	세다	브로커에 대해 복제가 부족한 파티션의 수입니다.
`zooKeeperRequestLatencyMsMean`	밀리초	브로커의 ZooKeeper 요청에 대한 평균 지연 시간(밀리초)입니다.
`zooKeeperSessionState`	다른	다음 중 하나일 수 있는 브로커의 ZooKeeper 세션 연결 상태: NOT_CONNECTED: '0.0', ASSOCIATING: '0.1', CONNECTING: '0.5', CONNECTEDREADONLY: '0.8', CONNECTED: '1.0', CLOSED', '5.0 AUTH_FAILED: '10.0'.

관리되는 Kafka 주제 데이터

미터법	유닛	설명
`bytesInPerSec`	초당 바이트	초당 수신된 바이트 수입니다.
`bytesOutPerSec`	초당 바이트	초당 보낸 바이트 수입니다.
`fetchMessageConversionsPerSec`	CountPerSecond	가져온 메시지의 초당 변환된 수입니다.
`messagesInPerSec`	CountPerSecond	초당 받은 메시지 수입니다.
`produceMessageConversionsPerSec`	CountPerSecond	생성된 메시지의 초당 전환 수입니다.

사용자의 편의를 위해 제공되는 기계 번역입니다.

중요