Google Cloud Dataflow 모니터링 통합

New Relic의 통합 에는 GCP Dataflow 데이터를 당사 제품에 보고하기 위한 통합이 포함됩니다. 여기에서는 통합을 활성화하는 방법과 통합에서 수집하는 데이터에 대해 설명합니다.

통합 활성화

통합을 활성화하려면 표준 절차에 따라 GCP 서비스를 New Relic에 연결하십시오 .

구성 및 폴링

구성 옵션 을 사용하여 폴링 빈도를 변경하고 데이터를 필터링할 수 있습니다.

GCP Dataflow 통합을 위한 기본 폴링 정보:

New Relic 폴링 간격: 5분

데이터 찾기 및 사용

통합 데이터를 찾으려면 one.newrelic.com > All capabilities > Infrastructure > GCP 로 이동하여 통합을 선택하세요.

데이터는 다음 이벤트 유형 에 첨부됩니다.

실재	이벤트 유형	공급자
직업	`GcpDataflowJobSample`	`GcpDataflowJob`

데이터 사용 방법에 대한 자세한 내용은 통합 데이터 이해 및 사용 을 참조하십시오.

측정항목 데이터

이 통합은 작업에 대한 GCP Dataflow 데이터를 수집합니다.

Dataflow 작업 데이터

미터법	유닛	설명
`job.BillableShuffleDataProcessed`	바이트	이 Dataflow 작업에서 처리한 셔플 데이터의 청구 가능한 바이트입니다.
`job.CurrentNumVcpus`	세다	이 Dataflow 작업에서 현재 사용 중인 vCPU 수입니다. 이것은 현재 작업자 수에 작업자당 vCPU 수를 곱한 값입니다.
`job.CurrentShuffleSlots`	세다	이 Dataflow 작업에서 사용하는 현재 셔플 슬롯입니다.
`job.DataWatermarkAge`	초	파이프라인에서 모든 데이터를 처리한 최대 기간(이벤트 타임스탬프 이후 시간)입니다.
`job.ElapsedTime`	초	이 파이프라인의 현재 실행이 지금까지 Running 상태였던 기간(초)입니다. 실행이 완료되면 다음 실행이 시작될 때까지 해당 실행 기간이 유지됩니다.
`job.Elements`	세다	지금까지 pcollection에 추가된 요소 수입니다.
`job.EstimatedBytes`	바이트	지금까지 pcollection에 추가된 예상 바이트 수입니다. Dataflow는 pcollection에 있는 요소의 인코딩된 평균 크기를 계산하고 요소 수로 곱합니다.
`job.IsFailed`	세다	이 작업이 실패했습니까?
`job.PerStageDataWatermarkAge`	초	파이프라인의 이 단계에서 모든 데이터가 처리된 최대 기간(이벤트 타임스탬프 이후 시간)입니다.
`job.PerStageSystemLag`	초	파이프라인 단계당 데이터 항목이 처리 중이거나 처리 대기 중인 현재 최대 기간(초)입니다.
`job.SystemLag`	초	데이터 항목이 처리 중이거나 처리 대기 중인 현재 최대 기간(초)입니다.
`job.TotalMemoryUsageTime`	다른	이 Dataflow 작업에 할당된 총 메모리 GB(초)입니다.
`job.TotalPdUsageTime`	다른	이 Dataflow 작업과 연결된 모든 작업자가 사용한 모든 영구 디스크의 총 GB(초)입니다.
`job.TotalShuffleDataProcessed`	바이트	이 Dataflow 작업에서 처리한 셔플 데이터의 총 바이트입니다.
`job.TotalStreamingDataProcessed`	바이트	이 Dataflow 작업에서 처리한 스트리밍 데이터의 총 바이트입니다.
`job.TotalVcpuTime`	초	이 Dataflow 작업에서 사용한 총 vCPU 초입니다.
`job.UserCounter`	세다	사용자 정의 카운터 메트릭입니다.