• 로그인지금 시작하세요

사용자의 편의를 위해 제공되는 기계 번역입니다.

영문본과 번역본이 일치하지 않는 경우 영문본이 우선합니다. 보다 자세한 내용은 이 페이지를 방문하시기 바랍니다.

문제 신고

Amazon EMR 모니터링 통합

중요

AWS CloudWatch Metric Streams 통합 을 활성화하여 사용자 지정 네임스페이스를 포함하여 AWS 서비스의 모든 CloudWatch 지표를 모니터링합니다. 개별 통합은 더 이상 권장되는 옵션이 아닙니다.

New Relic 인프라 통합 에는 Amazon EMR(Elastic MapReduce) 데이터를 New Relic에 보고하기 위한 통합이 포함됩니다. 이 문서에서는 이 통합을 활성화하는 방법과 보고할 수 있는 데이터에 대해 설명합니다.

특징

New Relic 에서 직접 EMR 데이터를 모니터링 및 경고하고 데이터를 쿼리하고 대시보드를 생성할 수 있습니다.

통합 활성화

이 통합을 활성화하려면 AWS 서비스를 New Relic에 연결 하기 위한 표준 절차를 따르십시오.

구성 및 폴링

구성 옵션 을 사용하여 폴링 빈도를 변경하고 데이터를 필터링할 수 있습니다.

Amazon EMR 통합에 대한 기본 폴링 정보:

  • New Relic 폴링 간격: 5분
  • 해결: 5분마다 1개의 데이터 포인트

통합 데이터 탐색

통합 데이터 를 사용하려면 one.newrelic.com > Infrastructure > AWS 로 이동하여 EMR 통합 링크 중 하나를 선택합니다.

provider 값이 ElasticMapReduceClusterElasticMapReduceClusterSample 이벤트 유형 을 사용 하여 데이터를 쿼리하고 탐색할 수 있습니다.

측정항목 데이터

이 New Relic Infrastructure 통합은 다음 Amazon EMR 데이터를 수집합니다. 사용 사례 및 추가 정보는 Amazon의 EMR 설명서 를 참조하십시오.

이름

설명

isIdle

클러스터가 더 이상 작업을 수행하지 않지만 여전히 활성 상태이며 요금이 발생하고 있음을 나타냅니다. 실행 중인 작업이 없고 실행 중인 작업이 없으면 1로 설정되고 그렇지 않으면 0으로 설정됩니다.

이 값은 5분 간격으로 확인되며 값이 1이면 확인했을 때 클러스터가 전체 5분 동안 유휴 상태였다는 의미가 아니라 단지 유휴 상태였음을 나타냅니다. 권장 사항: 잘못된 긍정을 방지하려면 이 값이 5분 동안 연속으로 두 번 이상 확인했을 때 이 값이 1인 경우 경고 임계값을 높이십시오. 예를 들어, 이 값이 30분 이상 1인 경우 이 값에 대한 경고를 발생시킵니다.

coreNodesRunning

작동하는 코어 노드의 수입니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다.

coreNodesPending

할당 대기 중인 코어 노드의 수입니다. 요청된 모든 핵심 노드를 즉시 사용하지 못할 수 있습니다. 이 측정항목은 보류 중인 요청을 보고합니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다.

liveDataNodesPercentage

Hadoop에서 작업을 수신하는 데이터 노드의 비율입니다.

s3WrittenBytes

Amazon S3에 기록된 바이트 수입니다. 이 지표는 MapReduce 작업만 집계합니다. EMR의 다른 워크로드에는 적용되지 않습니다.

s3ReadBytes

Amazon S3에서 읽은 바이트 수입니다. 이 지표는 MapReduce 작업만 집계하며 EMR의 다른 워크로드에는 적용되지 않습니다.

hdfsUtilizationPercentage

현재 사용 중인 HDFS 스토리지의 백분율입니다.

hdfsReadBytes

HDFS에서 읽은 바이트 수입니다.

hdfsWrittenBytes

HDFS에 기록된 바이트 수입니다.

missingBlocks

HDFS에 복제본이 없는 블록 수입니다. 손상된 블록일 수 있습니다.

totalLoad

클러스터의 모든 DataNode에서 보고한 현재 총 판독기 및 기록기 수입니다.

mostRecentBackupDurationMinutes

이전 백업을 완료하는 데 걸린 시간입니다. 이 메트릭은 마지막으로 완료된 백업의 성공 여부에 관계없이 설정됩니다.

백업이 진행되는 동안 이 메트릭은 백업이 시작된 후 시간(분)을 반환합니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다.

timeSinceLastSuccessfulBackupMinutes

클러스터에서 마지막으로 성공한 HBase 백업이 시작된 후 경과된 시간(분)입니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다.

리소스의 Hadoop 버전에 따라 다음 메트릭이 샘플에 나타납니다.

Hadoop 1 AMI 지표

이름

설명

jobsRunning

현재 실행 중인 클러스터의 작업 수입니다.

jobsFailed

실패한 클러스터의 작업 수입니다.

mapTasksRunning

각 작업에 대해 실행 중인 맵 작업의 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다.

mapTasksRemaining

각 작업의 남은 맵 작업 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다. 나머지 지도 작업은 Running , Killed 또는 Completed 상태가 아닌 작업입니다.

mapSlotsOpen

사용하지 않은 지도 작업 용량입니다. 이는 주어진 클러스터에 대한 최대 맵 작업 수에서 해당 클러스터에서 현재 실행 중인 총 맵 작업 수를 뺀 값으로 계산됩니다.

remainingMapTasksPerSlot

클러스터에서 사용 가능한 총 맵 슬롯에 대한 남은 총 맵 작업의 비율입니다.

reduceTasksRunning

각 작업에 대해 실행 중인 축소 작업의 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다.

reduceTasksRemaining

각 작업에 대해 실행 중인 축소 작업의 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다.

reduceSlotsOpen

미사용은 작업 용량을 줄입니다. 이는 주어진 클러스터에 대한 최대 감소 작업 용량에서 현재 해당 클러스터에서 실행 중인 감소 작업 수를 뺀 값으로 계산됩니다.

taskNodesRunning

작동 중인 작업 노드의 수입니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다.

taskNodesPending

할당 대기 중인 코어 노드의 수입니다. 요청된 모든 작업 노드를 즉시 사용하지 못할 수 있습니다. 이 측정항목은 보류 중인 요청을 보고합니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다.

liveTaskTrackersPercentage

작동하는 작업 추적기의 비율입니다.

backupFailed

마지막 백업이 실패했는지 여부. 이는 기본적으로 0으로 설정되며 이전 백업 시도가 실패한 경우 1로 업데이트됩니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다.

Hadoop 2 AMI 지표

이름

설명

containerAllocated

ResourceManager에서 할당한 리소스 컨테이너의 수입니다.

containerReserved

ResourceManager에서 할당한 리소스 컨테이너의 수입니다.

containerPending

아직 할당되지 않은 대기열의 컨테이너 수입니다.

containerPendingRatio

할당된 컨테이너에 대한 보류 중인 컨테이너의 비율입니다.

appsCompleted

완료된 YARN에 제출된 애플리케이션의 수입니다.

appsFailed

완료에 실패한 YARN에 제출된 애플리케이션의 수입니다.

appsKilled

종료된 YARN에 제출된 애플리케이션의 수입니다.

appsPending

보류 상태에 있는 YARN에 제출된 애플리케이션의 수입니다.

appsRunning

실행 중인 YARN에 제출된 애플리케이션의 수입니다.

appsSubmitted

YARN에 제출된 애플리케이션 수입니다.

mrTotalNodes

현재 MapReduce 작업에 사용할 수 있는 노드 수입니다.

mrActiveNodes

현재 MapReduce 작업 또는 작업을 실행 중인 노드의 수입니다.

mrLostNodes

LOST 상태로 표시된 MapReduce에 할당된 노드의 수입니다.

mrUnhealthyNodes

UNHEALTHY 상태로 표시된 MapReduce 작업에 사용할 수 있는 노드 수입니다.

mrDecommissionedNodes

DECOMMISSIONED 상태로 표시된 MapReduce 애플리케이션에 할당된 노드 수입니다.

mrRebootedNodes

재부팅되고 REBOOTED 상태로 표시된 MapReduce에 사용할 수 있는 노드의 수입니다.

corruptBlocks

HDFS가 손상된 것으로 보고하는 블록 수입니다.

memoryTotalBytes

클러스터의 총 메모리 양입니다.

memoryReservedBytes

예약된 메모리 양입니다.

memoryAvailableBytes

할당할 수 있는 메모리 양입니다.

memoryAllocatedBytes

클러스터에 할당된 메모리 양입니다.

yarnMemoryAvailablePercentage

YARN에서 사용할 수 있는 남은 메모리의 백분율

underReplicatedBlocks

한 번 이상 복제해야 하는 블록의 수입니다.

dfsPendingReplicationBlocks

블록 복제 상태: 복제 중인 블록, 복제 요청 기간 및 실패한 복제 요청.

capacityRemainingBytes

남은 HDFS 디스크 용량입니다.

hbaseBackupFailed

마지막 백업이 실패했는지 여부. 이는 기본적으로 0으로 설정되며 이전 백업 시도가 실패한 경우 1로 업데이트됩니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다.

Copyright © 2022 New Relic Inc.