뉴렐릭 통합 에는 Google Cloud Platform (GCP) 과의 Google Cloud Dataproc 데이터를 뉴렐릭에 보고하는 통합이 포함되어 있습니다. 이 문서에서는 GCP Dataproc 통합을 활성화하는 방법과 보고되는 데이터에 대해 설명합니다.
특징
Cloud Dataproc은 아파치 Hadoop, 아파치 Spark 및 기타 오픈 소스 데이터 처리 워크로드를 실행하기 위한 Google Cloud의 관리형 서비스입니다. 뉴렐릭 Dataproc 통합은 각 Dataproc 클러스터에 대한 HDFS, YARN, 작업 및 운영 메트릭을 수집합니다.
통합 활성화
통합을 활성화하려면 표준 절차에 따라 GCP 서비스를 뉴렐릭에 연결하십시오:
폴링 빈도
뉴렐릭 통합은 통합에 따라 달라지는 폴링 간격에 따라 GCP 서비스를 쿼리합니다. Google Cloud Dataproc의 폴링 주기는 5분입니다. 해상도는 1분마다 1개의 데이터 포인트입니다.
중요
Cloud Dataproc은 제한된 프리뷰로 WIF 통합에 대해 1분 폴링 간격을 지원합니다. 액세스를 요청하려면 뉴렐릭 지원팀에 문의하십시오.
워크로드 아이덴티티 페더레이션
데이터 찾기 및 사용
통합을 활성화하면 Dataproc 리소스가 뉴렐릭 엔티티 탐색기에 엔티티로 표시됩니다. 대시보드를 확인하고 서비스를 관리하려면 one.newrelic.com > All capabilities > Infrastructure > GCP(으)로 이동하십시오.
GCP 클라우드 모니터링에서 사용할 수 있는 모든 Dataproc 메트릭은 Metric 이벤트 유형에서 차원 메트릭으로 수집됩니다. 이 표 이외의 추가 메트릭은 자동으로 수집됩니다. 전체 목록을 보려면 Google의 Dataproc 메트릭 문서 를 확인하십시오.
엔티티
측정항목 데이터
주요 메트릭 ― Cluster
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 세다 | 클러스터에서 실행 중인 HDFS 데이터노드의 수입니다. |
| 기비바이트 | 클러스터에서 사용 가능한 HDFS 스토리지 용량. |
| 퍼센트 | 클러스터에서 현재 사용 중인 HDFS 스토리지 비율. |
| 세다 | 클러스터의 비정상 HDFS 블록 수입니다. |
| 세다 | 클러스터에 제출된 작업 수입니다. |
| 세다 | 클러스터에서 현재 실행 중인 작업 수입니다. |
| 세다 | 클러스터에서 실패한 작업 수입니다. |
| 초 | 작업 제출부터 Dataproc 보고 완료까지의 시간입니다. |
| 초 | 상태별로 분류된, 작업이 특정 상태에서 보낸 시간입니다. |
| 세다 | 제출된 클러스터 작업 수입니다. |
| 세다 | 현재 실행 중인 클러스터 작업 수. |
| 세다 | 실패한 클러스터 작업의 수입니다. |
| 초 | 작업 제출부터 Dataproc 보고 완료까지의 시간입니다. |
| 퍼센트 | 현재 할당된 YARN 메모리 비율입니다. |
| 기비바이트 | 클러스터에서 사용 가능한 총 YARN 메모리. |
| 기비바이트 | 현재 요청되었지만 스케줄러가 아직 할당하지 않은 YARN 메모리입니다. |
| 세다 | 클러스터의 YARN 컨테이너 수입니다. |
| 세다 | 클러스터의 활성 YARN 애플리케이션 수입니다. |
| 세다 | 클러스터에서 실행 중인 YARN NodeManager 수입니다. |
| 세다 | 클러스터의 YARN 가상 코어 수입니다. |
Dataproc 메트릭의 전체 목록은 Google의 Dataproc 메트릭 문서를 참조하십시오.
서비스 계정 또는 사용자 계정
데이터 찾기 및 사용
통합을 활성화하고 몇 분 정도 기다리면( 폴링 빈도 에 따라) New Relic UI 에 데이터가 표시됩니다. 및 공지 설정에 대한 링크를 포함하여 데이터를 찾고 사용 하려면 one.newrelic.com > All capabilities > Infrastructure > GCP > (select an integration))로 이동하세요.
데이터는 다음 이벤트 유형 에 첨부됩니다.
실재 | 이벤트 유형 | 공급자 |
|---|---|---|
무리 |
|
|
데이터 사용 방법에 대한 자세한 내용은 통합 데이터 이해 및 사용 을 참조하십시오.
Dataproc 클러스터 데이터
미터법 | 유닛 | 설명 |
|---|---|---|
| 세다 | 클러스터 내에서 실행 중인 HDFS DataNode의 수를 나타냅니다. |
| 기비바이트 | 클러스터에서 실행 중인 HDFS 시스템의 용량을 GB 단위로 나타냅니다. |
| 퍼센트 | 현재 사용 중인 HDFS 스토리지의 백분율입니다. |
| 세다 | 클러스터 내부의 비정상 블록 수를 나타냅니다. |
| 초 | 사용자가 작업을 제출한 시간부터 Dataproc이 완료되었다고 보고한 시간까지 작업을 완료하는 데 걸린 시간입니다. |
| 초 | 작업이 주어진 상태에서 보낸 시간입니다. |
| 세다 | 클러스터에서 실패한 작업 수를 나타냅니다. |
| 세다 | 클러스터에서 실행 중인 작업의 수를 나타냅니다. |
| 세다 | 클러스터에 제출된 작업 수를 나타냅니다. |
| 초 | 사용자가 작업을 제출한 시간부터 Dataproc에서 작업이 완료되었다고 보고할 때까지 작업을 완료하는 데 걸린 시간입니다. |
| 초 | 주어진 상태에서 작업이 소요된 시간입니다. |
| 세다 | 클러스터에서 실패한 작업 수를 나타냅니다. |
| 세다 | 클러스터에서 실행 중인 작업의 수를 나타냅니다. |
| 세다 | 클러스터에 제출된 작업 수를 나타냅니다. |
| 퍼센트 | YARN 메모리의 백분율이 할당됩니다. |
| 세다 | 활성 YARN 애플리케이션의 수를 나타냅니다. |
| 세다 | YARN 컨테이너의 수를 나타냅니다. |
| 기비바이트 | YARN 메모리 크기(GB)를 나타냅니다. |
| 세다 | 클러스터 내에서 실행되는 YARN NodeManager의 수를 나타냅니다. |
| 기비바이트 | 스케줄러가 수행하기 위해 보류 중인 현재 메모리 요청(GB)입니다. |
| 세다 | YARN의 가상 코어 수를 나타냅니다. |