Google Cloud Dataproc monitoramento de integração

A integração da New Relic inclui uma integração para relatar seus dados do GCP Dataproc para nossos produtos. Aqui explicamos como ativar a integração e quais dados ela coleta.

Ativar integração

Para ativar a integração, siga os procedimentos padrão para conectar seu serviço GCP ao New Relic.

Configuração e polling

Você pode alterar a frequência de pesquisa e filtrar dados usando opções de configuração.

Informações de pesquisa padrão para a integração do GCP Dataproc:

Intervalo de sondagem New Relic : 5 minutos

Encontre e use dados

Para encontrar seus dados de integração, acesse one.newrelic.com > All capabilities > Infrastructure > GCP e selecione uma integração.

Os dados são anexados ao seguinte tipo de evento:

Entidade	Tipo de evento	Fornecedor
Cluster	`GcpDataprocClusterSample`	`GcpDataprocCluster`

Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.

Dados métricos

Esta integração coleta dados do GCP Dataproc para cluster.

Dados do cluster do Dataproc

Métrica	Unidade	Descrição
`cluster.hdfs.Datanodes`	Contar	Indica o número de DataNodes HDFS que estão em execução dentro de um cluster.
`cluster.hdfs.StorageCapacity`	Gibibytes	Indica a capacidade do sistema HDFS em execução no cluster em GB.
`cluster.hdfs.StorageUtilization`	Por cento	A porcentagem de armazenamento HDFS usado atualmente.
`cluster.hdfs.UnhealthyBlocks`	Contar	Indica o número de blocos não íntegros dentro do cluster.
`cluster.job.CompletionTime`	Segundos	O tempo que os jobs levaram para serem concluídos desde o momento em que o usuário envia um job até o momento em que o Dataproc informa que ele foi concluído.
`cluster.job.Duration`	Segundos	O tempo que os empregos passaram em um determinado estado.
`cluster.job.Failures`	Contar	Indica o número de trabalhos que falharam em um cluster.
`cluster.job.Running`	Contar	Indica o número de tarefas em execução em um cluster.
`cluster.job.Submitted`	Contar	Indica o número de trabalhos que foram enviados a um cluster.
`cluster.operation.CompletionTime`	Segundos	O tempo que as operações levaram para serem concluídas, desde o momento em que o usuário envia uma operação até o momento em que o Dataproc informa que ela foi concluída.
`cluster.operation.Duration`	Segundos	O tempo que as operações passaram em um determinado estado.
`cluster.operation.Failures`	Contar	Indica o número de operações que falharam em um cluster.
`cluster.operation.Running`	Contar	Indica o número de operações em execução em um cluster.
`cluster.operation.Submitted`	Contar	Indica o número de operações que foram enviadas a um cluster.
`cluster.yarn.AllocatedMemoryPercentage`	Por cento	A porcentagem de memória YARN é alocada.
`cluster.yarn.Apps`	Contar	Indica o número de aplicativos YARN ativos.
`cluster.yarn.Containers`	Contar	Indica a quantidade de contêiner YARN.
`cluster.yarn.MemorySize`	Gibibytes	Indica o tamanho da memória YARN em GB.
`cluster.yarn.Nodemanagers`	Contar	Indica o número de NodeManagers do YARN em execução no cluster.
`cluster.yarn.PendingMemorySize`	Gibibytes	A solicitação de memória atual, em GB, que está pendente para ser atendida pelo agendador.
`cluster.yarn.VirtualCores`	Contar	Indica o número de núcleos virtuais no YARN.