Google Cloud Dataprocモニタリング統合

New Relic の統合には、GCP Dataproc のデータを弊社製品に報告するための統合があります。ここでは、この統合を有効にする方法と、どのようなデータを収集するのかを説明します。

統合をアクティブ化する

統合を有効にするには、標準的な手順に従って GCP サービスを New Relic に接続してください。

構成とポーリング

構成オプションを使用して、ポーリング頻度とフィルターデータを変更できます。

デフォルトポーリング GCP Dataproc 統合のための情報です。

New Relicのポーリング間隔：5分

データを見つけて使用する

インテグレーションデータを検索するには、 one.newrelic.com > All capabilities > Infrastructure > GCPに移動してインテグレーションを選択してください。

データは、以下のイベントタイプに添付されます。

エンティティ	イベントタイプ	プロバイダー
クラスタ	`GcpDataprocClusterSample`	`GcpDataprocCluster`

データの使用方法の詳細については、統合データの理解と使用を参照してください。

メトリックデータ

このインテグレーションは、GCP DataprocデータをCluster用に収集します。

Dataproc クラスターデータ

メトリック	ユニット	説明
`cluster.hdfs.Datanodes`	Count	クラスター内で稼働しているHDFS DataNodesの数を示します。
`cluster.hdfs.StorageCapacity`	ジビエ	クラスタ上で稼働しているHDFSシステムの容量をGBで示す。
`cluster.hdfs.StorageUtilization`	パーセント	現在使用されているHDFSストレージの割合です。
`cluster.hdfs.UnhealthyBlocks`	Count	クラスタ内の不健全なブロックの数を示す。
`cluster.job.CompletionTime`	秒	ユーザーがジョブを送信してから、Dataprocが完了したと報告するまでにかかったジョブの時間。
`cluster.job.Duration`	秒	ジョブが特定の状態で過ごした時間。
`cluster.job.Failures`	Count	クラスタで失敗したジョブの数を示す。
`cluster.job.Running`	Count	クラスタ上で実行されているジョブの数を示します。
`cluster.job.Submitted`	Count	クラスタに投入されたジョブの数を示す。
`cluster.operation.CompletionTime`	秒	ユーザーが操作を送信してから、Dataprocが完了したと報告するまでにかかった操作時間。
`cluster.operation.Duration`	秒	オペレーションが特定の状態で過ごした時間。
`cluster.operation.Failures`	Count	クラスタで失敗したオペレーションの数を示す。
`cluster.operation.Running`	Count	クラスター上で実行されているオペレーションの数を示します。
`cluster.operation.Submitted`	Count	クラスタに送信されたオペレーションの数を示します。
`cluster.yarn.AllocatedMemoryPercentage`	パーセント	YARNのメモリを割り当てる割合です。
`cluster.yarn.Apps`	Count	アクティブなYARNアプリケーションの数を示す。
`cluster.yarn.Containers`	Count	YARNコンテナの数を示す。
`cluster.yarn.MemorySize`	ジビエ	YARNのメモリサイズをGBで示す。
`cluster.yarn.Nodemanagers`	Count	クラスター内で稼働しているYARN NodeManagerの数を示す。
`cluster.yarn.PendingMemorySize`	ジビエ	スケジューラーが処理を保留している現在のメモリ要求（GB単位）。
`cluster.yarn.VirtualCores`	Count	YARNの仮想コアの数を示す。