Google Cloud Dataproc 모니터링 통합

New Relic의 통합 에는 GCP Dataproc 데이터를 당사 제품에 보고하기 위한 통합이 포함됩니다. 여기에서는 통합을 활성화하는 방법과 통합에서 수집하는 데이터에 대해 설명합니다.

통합 활성화

통합을 활성화하려면 표준 절차에 따라 GCP 서비스를 New Relic에 연결하십시오 .

구성 및 폴링

구성 옵션 을 사용하여 폴링 빈도를 변경하고 데이터를 필터링할 수 있습니다.

GCP Dataproc 통합을 위한 기본 폴링 정보:

New Relic 폴링 간격: 5분

데이터 찾기 및 사용

통합 데이터를 찾으려면 one.newrelic.com > All capabilities > Infrastructure > GCP 으로 이동하여 통합을 선택하세요.

데이터는 다음 이벤트 유형 에 첨부됩니다.

실재	이벤트 유형	공급자
무리	`GcpDataprocClusterSample`	`GcpDataprocCluster`

데이터 사용 방법에 대한 자세한 내용은 통합 데이터 이해 및 사용 을 참조하십시오.

측정항목 데이터

이 통합은 클러스터에 대한 GCP Dataproc 데이터를 수집합니다.

Dataproc 클러스터 데이터

미터법	유닛	설명
`cluster.hdfs.Datanodes`	세다	클러스터 내에서 실행 중인 HDFS DataNode의 수를 나타냅니다.
`cluster.hdfs.StorageCapacity`	기비바이트	클러스터에서 실행 중인 HDFS 시스템의 용량을 GB 단위로 나타냅니다.
`cluster.hdfs.StorageUtilization`	퍼센트	현재 사용 중인 HDFS 스토리지의 백분율입니다.
`cluster.hdfs.UnhealthyBlocks`	세다	클러스터 내부의 비정상 블록 수를 나타냅니다.
`cluster.job.CompletionTime`	초	사용자가 작업을 제출한 시간부터 Dataproc이 완료되었다고 보고한 시간까지 작업을 완료하는 데 걸린 시간입니다.
`cluster.job.Duration`	초	작업이 주어진 상태에서 보낸 시간입니다.
`cluster.job.Failures`	세다	클러스터에서 실패한 작업 수를 나타냅니다.
`cluster.job.Running`	세다	클러스터에서 실행 중인 작업의 수를 나타냅니다.
`cluster.job.Submitted`	세다	클러스터에 제출된 작업 수를 나타냅니다.
`cluster.operation.CompletionTime`	초	사용자가 작업을 제출한 시간부터 Dataproc에서 작업이 완료되었다고 보고할 때까지 작업을 완료하는 데 걸린 시간입니다.
`cluster.operation.Duration`	초	주어진 상태에서 작업이 소요된 시간입니다.
`cluster.operation.Failures`	세다	클러스터에서 실패한 작업 수를 나타냅니다.
`cluster.operation.Running`	세다	클러스터에서 실행 중인 작업의 수를 나타냅니다.
`cluster.operation.Submitted`	세다	클러스터에 제출된 작업 수를 나타냅니다.
`cluster.yarn.AllocatedMemoryPercentage`	퍼센트	YARN 메모리의 백분율이 할당됩니다.
`cluster.yarn.Apps`	세다	활성 YARN 애플리케이션의 수를 나타냅니다.
`cluster.yarn.Containers`	세다	YARN 컨테이너의 수를 나타냅니다.
`cluster.yarn.MemorySize`	기비바이트	YARN 메모리 크기(GB)를 나타냅니다.
`cluster.yarn.Nodemanagers`	세다	클러스터 내에서 실행되는 YARN NodeManager의 수를 나타냅니다.
`cluster.yarn.PendingMemorySize`	기비바이트	스케줄러가 수행하기 위해 보류 중인 현재 메모리 요청(GB)입니다.
`cluster.yarn.VirtualCores`	세다	YARN의 가상 코어 수를 나타냅니다.