뉴렐릭 통합 에는 Google Cloud Platform(GCP) 과의 Google Cloud Dataflow 데이터를 뉴렐릭에 보고하는 통합이 포함됩니다. 이 문서에서는 GCP Cloud Dataflow 통합을 활성화하는 방법과 보고되는 데이터에 대해 설명합니다.
특징
Cloud Dataflow는 아파치 Beam을 기반으로 하는 Google Cloud의 완전 관리형 스트리밍 및 일괄 데이터 처리 서비스입니다. 뉴렐릭 Dataflow 통합은 각 Dataflow 작업에 대한 작업자 리소스, 처리량, 지연 및 작업 상태 메트릭을 수집합니다.
통합 활성화
통합을 활성화하려면 표준 절차에 따라 GCP 서비스를 뉴렐릭에 연결하십시오:
폴링 빈도
뉴렐릭 통합은 통합에 따라 달라지는 폴링 간격에 따라 GCP 서비스를 쿼리합니다. Google Cloud Dataflow의 폴링 주기는 5분입니다. 해상도는 1분마다 1개의 데이터 포인트입니다.
중요
Cloud Dataflow는 제한된 미리 보기에서 WIF 통합에 대해 1분 폴링 간격을 지원합니다. 액세스를 요청하려면 뉴렐릭 지원팀에 문의하십시오.
워크로드 아이덴티티 페더레이션
데이터 찾기 및 사용
통합을 활성화하면, Dataflow 리소스가 뉴렐릭 엔티티 탐색기에 엔티티로 표시됩니다. 대시보드를 확인하고 서비스를 관리하려면 one.newrelic.com > All capabilities > Infrastructure > GCP(으)로 이동하십시오.
GCP 클라우드 모니터링에서 사용할 수 있는 모든 Dataflow 메트릭은 Metric 이벤트 유형에서 차원 메트릭으로 수집됩니다. 이 표 이외의 추가 메트릭은 자동으로 수집됩니다. 전체 목록은 Google의 Dataflow 메트릭 문서 를 참조하십시오.
엔티티
측정항목 데이터
주요 메트릭 ― 작업
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 세다 | 현재 Dataflow 작업에 할당된 vCPU 수입니다. |
| 초 | Dataflow 작업에서 소비한 총 vCPU-초입니다. |
| 세다 | 변환별로 분류된 Dataflow 작업에서 생성된 요소 수. |
| 초 | 요소가 Dataflow 파이프라인에서 대기한 최대 시간입니다. |
| 초 | Dataflow 작업에 대한 데이터 워터마크의 경과 시간입니다. |
| 초 | Dataflow 작업의 각 단계에서 관찰된 시스템 지연. |
| 세다 | 카운터 이름별로 분류된 Dataflow 작업에서 내보낸 사용자 정의 카운터입니다. |
Dataflow 메트릭의 전체 목록은 Google의 Dataflow 메트릭 문서를 참조하십시오.
서비스 계정 또는 사용자 계정
데이터 찾기 및 사용
통합 데이터를 찾으려면 one.newrelic.com > All capabilities > Infrastructure > GCP 으로 이동하여 통합을 선택하세요.
데이터는 다음 이벤트 유형 에 첨부됩니다.
실재 | 이벤트 유형 | 공급자 |
|---|---|---|
직업 |
|
|
데이터 사용 방법에 대한 자세한 내용은 통합 데이터 이해 및 사용 을 참조하십시오.
측정항목 데이터
이 통합은 작업에 대한 GCP Dataflow 데이터를 수집합니다.
Dataflow 작업 데이터
미터법 | 유닛 | 설명 |
|---|---|---|
| 바이트 | 이 Dataflow 작업에서 처리한 셔플 데이터의 청구 가능한 바이트입니다. |
| 세다 | 이 Dataflow 작업에서 현재 사용 중인 vCPU 수입니다. 이것은 현재 작업자 수에 작업자당 vCPU 수를 곱한 값입니다. |
| 세다 | 이 Dataflow 작업에서 사용하는 현재 셔플 슬롯입니다. |
| 초 | 파이프라인에서 모든 데이터를 처리한 최대 기간(이벤트 타임스탬프 이후 시간)입니다. |
| 초 | 이 파이프라인의 현재 실행이 지금까지 Running 상태였던 기간(초)입니다. 실행이 완료되면 다음 실행이 시작될 때까지 해당 실행 기간이 유지됩니다. |
| 세다 | 지금까지 pcollection에 추가된 요소 수입니다. |
| 바이트 | 지금까지 pcollection에 추가된 예상 바이트 수입니다. Dataflow는 pcollection에 있는 요소의 인코딩된 평균 크기를 계산하고 요소 수로 곱합니다. |
| 세다 | 이 작업이 실패했습니까? |
| 초 | 파이프라인의 이 단계에서 모든 데이터가 처리된 최대 기간(이벤트 타임스탬프 이후 시간)입니다. |
| 초 | 파이프라인 단계당 데이터 항목이 처리 중이거나 처리 대기 중인 현재 최대 기간(초)입니다. |
| 초 | 데이터 항목이 처리 중이거나 처리 대기 중인 현재 최대 기간(초)입니다. |
| 다른 | 이 Dataflow 작업에 할당된 총 메모리 GB(초)입니다. |
| 다른 | 이 Dataflow 작업과 연결된 모든 작업자가 사용한 모든 영구 디스크의 총 GB(초)입니다. |
| 바이트 | 이 Dataflow 작업에서 처리한 셔플 데이터의 총 바이트입니다. |
| 바이트 | 이 Dataflow 작업에서 처리한 스트리밍 데이터의 총 바이트입니다. |
| 초 | 이 Dataflow 작업에서 사용한 총 vCPU 초입니다. |
| 세다 | 사용자 정의 카운터 메트릭입니다. |