중요
AWS CloudWatch Metric Streams 통합 을 활성화하여 사용자 지정 네임스페이스를 포함하여 AWS 서비스의 모든 CloudWatch 지표를 모니터링합니다. 개별 통합은 더 이상 권장되는 옵션이 아닙니다.
New Relic 인프라 통합 에는 Amazon EMR(Elastic MapReduce) 데이터를 New Relic에 보고하기 위한 통합이 포함됩니다. 이 문서에서는 이 통합을 활성화하는 방법과 보고할 수 있는 데이터에 대해 설명합니다.
특징
New Relic 에서 직접 EMR 데이터를 모니터링 및 경고하고 데이터를 쿼리하고 대시보드를 생성할 수 있습니다.
통합 활성화
이 통합을 활성화하려면 AWS 서비스를 New Relic에 연결 하기 위한 표준 절차를 따르십시오.
구성 및 폴링
구성 옵션 을 사용하여 폴링 빈도를 변경하고 데이터를 필터링할 수 있습니다.
Amazon EMR 통합에 대한 기본 폴링 정보:
- New Relic 폴링 간격: 5분
- 해결: 5분마다 1개의 데이터 포인트
통합 데이터 탐색
통합 데이터를 사용하려면 one.newrelic.com > All capabilities > Infrastructure > AWS 으로 이동하여 EMR 통합 링크 중 하나를 선택하세요.
provider 값이 ElasticMapReduceCluster 인 ElasticMapReduceClusterSample 이벤트 유형 을 사용 하여 데이터를 쿼리하고 탐색할 수 있습니다.
측정항목 데이터
이 통합은 다음 Amazon EMR 데이터를 수집합니다. 사용 사례 및 추가 정보는 Amazon의 EMR 설명서 를 참조하십시오.
이름 | 설명 |
|---|---|
| 클러스터가 더 이상 작업을 수행하지 않지만 여전히 활성 상태이며 요금이 발생하고 있음을 나타냅니다. 실행 중인 작업이 없고 실행 중인 작업이 없으면 1로 설정되고 그렇지 않으면 0으로 설정됩니다. 이 값은 5분 간격으로 확인되며, 값 1은 확인 시 클러스터가 유휴 상태였음을 의미할 뿐 전체 5분 동안 유휴 상태였음을 의미하지는 않습니다. 권장사항: 오탐을 방지하려면 5분 단위 점검이 1회 이상 연속으로 이 값이 1인 경우 경고 값, 경계를 발생시키십시오. 예를 들어, 이 값이 30분 이상 1이었다면 공지를 올립니다. |
| 작동하는 코어 노드의 수입니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다. |
| 할당 대기 중인 코어 노드의 수입니다. 요청된 모든 핵심 노드를 즉시 사용하지 못할 수 있습니다. 이 측정항목은 보류 중인 요청을 보고합니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다. |
| Hadoop에서 작업을 수신하는 데이터 노드의 비율입니다. |
| Amazon S3에 기록된 바이트 수입니다. 이 지표는 MapReduce 작업만 집계합니다. EMR의 다른 워크로드에는 적용되지 않습니다. |
| Amazon S3에서 읽은 바이트 수입니다. 이 지표는 MapReduce 작업만 집계하며 EMR의 다른 워크로드에는 적용되지 않습니다. |
| 현재 사용 중인 HDFS 스토리지의 백분율입니다. |
| HDFS에서 읽은 바이트 수입니다. |
| HDFS에 기록된 바이트 수입니다. |
| HDFS에 복제본이 없는 블록 수입니다. 손상된 블록일 수 있습니다. |
| 클러스터의 모든 DataNode에서 보고한 현재 총 판독기 및 기록기 수입니다. |
| 이전 백업을 완료하는 데 걸린 시간입니다. 이 메트릭은 마지막으로 완료된 백업의 성공 여부에 관계없이 설정됩니다. 백업이 진행되는 동안 이 메트릭은 백업이 시작된 후 시간(분)을 반환합니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다. |
| 클러스터에서 마지막으로 성공한 HBase 백업이 시작된 후 경과된 시간(분)입니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다. |
리소스의 Hadoop 버전에 따라 다음 메트릭이 샘플에 나타납니다.
Hadoop 1 AMI 지표
이름 | 설명 |
|---|---|
| 현재 실행 중인 클러스터의 작업 수입니다. |
| 실패한 클러스터의 작업 수입니다. |
| 각 작업에 대해 실행 중인 맵 작업의 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다. |
| 각 작업의 남은 맵 작업 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다. 나머지 지도 작업은 |
| 사용하지 않은 지도 작업 용량입니다. 이는 주어진 클러스터에 대한 최대 맵 작업 수에서 해당 클러스터에서 현재 실행 중인 총 맵 작업 수를 뺀 값으로 계산됩니다. |
| 클러스터에서 사용 가능한 총 맵 슬롯에 대한 남은 총 맵 작업의 비율입니다. |
| 각 작업에 대해 실행 중인 축소 작업의 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다. |
| 각 작업에 대해 실행 중인 축소 작업의 수입니다. 스케줄러가 설치되어 있고 여러 작업이 실행 중인 경우 여러 그래프가 생성됩니다. |
| 미사용은 작업 용량을 줄입니다. 이는 주어진 클러스터에 대한 최대 감소 작업 용량에서 현재 해당 클러스터에서 실행 중인 감소 작업 수를 뺀 값으로 계산됩니다. |
| 작동 중인 작업 노드의 수입니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다. |
| 할당 대기 중인 코어 노드의 수입니다. 요청된 모든 작업 노드를 즉시 사용하지 못할 수 있습니다. 이 측정항목은 보류 중인 요청을 보고합니다. 이 측정항목의 데이터 포인트는 해당 인스턴스 그룹이 있는 경우에만 보고됩니다. |
| 작동하는 작업 추적기의 비율입니다. |
| 마지막 백업이 실패했는지 여부. 이는 기본적으로 0으로 설정되며 이전 백업 시도가 실패한 경우 1로 업데이트됩니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다. |
Hadoop 2 AMI 지표
이름 | 설명 |
|---|---|
| ResourceManager에서 할당한 리소스 컨테이너의 수입니다. |
| ResourceManager에서 할당한 리소스 컨테이너의 수입니다. |
| 아직 할당되지 않은 대기열의 컨테이너 수입니다. |
| 할당된 컨테이너에 대한 보류 중인 컨테이너의 비율입니다. |
| 완료된 YARN에 제출된 애플리케이션의 수입니다. |
| 완료에 실패한 YARN에 제출된 애플리케이션의 수입니다. |
| 종료된 YARN에 제출된 애플리케이션의 수입니다. |
| 보류 상태에 있는 YARN에 제출된 애플리케이션의 수입니다. |
| 실행 중인 YARN에 제출된 애플리케이션의 수입니다. |
| YARN에 제출된 애플리케이션 수입니다. |
| 현재 MapReduce 작업에 사용할 수 있는 노드 수입니다. |
| 현재 MapReduce 작업 또는 작업을 실행 중인 노드의 수입니다. |
| LOST 상태로 표시된 MapReduce에 할당된 노드의 수입니다. |
| UNHEALTHY 상태로 표시된 MapReduce 작업에 사용할 수 있는 노드 수입니다. |
| DECOMMISSIONED 상태로 표시된 MapReduce 애플리케이션에 할당된 노드 수입니다. |
| 재부팅되고 REBOOTED 상태로 표시된 MapReduce에 사용할 수 있는 노드의 수입니다. |
| HDFS가 손상된 것으로 보고하는 블록 수입니다. |
| 클러스터의 총 메모리 양입니다. |
| 예약된 메모리 양입니다. |
| 할당할 수 있는 메모리 양입니다. |
| 클러스터에 할당된 메모리 양입니다. |
| YARN에서 사용할 수 있는 남은 메모리의 백분율 |
| 한 번 이상 복제해야 하는 블록의 수입니다. |
| 블록 복제 상태: 복제 중인 블록, 복제 요청 기간 및 실패한 복제 요청. |
| 남은 HDFS 디스크 용량입니다. |
| 마지막 백업이 실패했는지 여부. 이는 기본적으로 0으로 설정되며 이전 백업 시도가 실패한 경우 1로 업데이트됩니다. 이 메트릭은 HBase 클러스터에 대해서만 보고됩니다. |