A integração da New Relic com o Google Cloud Platform (GCP) inclui uma integração para reportar dados Google Cloud Dataproc para New Relic. Este documento explica como ativar a integração GCP Dataproc e descreve os dados reportados.
Recurso
O Cloud Dataproc é o serviço gerenciado do Google Cloud para executar Apache Hadoop, Apache Spark e outros workloads de processamento de dados de código aberto. A integração New Relic Dataproc coleta métricas de HDFS, YARN, job e operação para cada cluster Dataproc.
Ativar integração
Para habilitar a integração, é necessário seguir os procedimentos padrão para conectar o serviço do GCP ao New Relic:
- Conecte-se com a Workload Identity Federation (recomendado)
- Conectar com conta de serviço ou conta de usuário
Frequência de votação
As integrações do New Relic consultam os serviços do GCP de acordo com um intervalo de sondagem que varia por integração. A frequência de sondagem para o Google Cloud Dataproc é de 5 minutos. A resolução é 1 ponto de dados a cada minuto.
Importante
O Cloud Dataproc oferece suporte a intervalos de sondagem de 1 minuto para integrações WIF em visualização limitada. Para solicitar acesso, entre em contato com o suporte da New Relic.
Workload Identity Federation
Encontre e use dados
Após ativar a integração, os recursos Dataproc aparecem como entidades no explorador de entidades da New Relic. Para ver dashboards e gerenciar serviços, acesse one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas as métricas do Dataproc disponíveis no monitoramento de nuvem do GCP são coletadas como métricas dimensionais no tipo de evento Metric. Métricas adicionais além desta tabela são coletadas automaticamente. Consulte a documentação de métricas do Dataproc do Google para obter a lista completa.
Entidade
Dados métricos
Métricas principais — Cluster
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Contar | Número de HDFS DataNodes em execução no cluster. |
| Gibibytes | Capacidade de armazenamento HDFS disponível no cluster. |
| Por cento | Fração do armazenamento HDFS atualmente em uso no cluster. |
| Contar | Número de blocos HDFS não íntegros no cluster. |
| Contar | Número de jobs enviados ao cluster. |
| Contar | Número de jobs atualmente em execução no cluster. |
| Contar | Número de jobs que falharam no cluster. |
| Segundos | Tempo desde a submissão do job até o Dataproc reportar a conclusão. |
| Segundos | Tempo que os jobs passaram em um determinado estado, facetado por estado. |
| Contar | Número de operações de cluster enviadas. |
| Contar | Número de operações de cluster atualmente em execução. |
| Contar | Número de operações de cluster que falharam. |
| Segundos | Tempo desde o envio da operação até a conclusão do relatório do Dataproc. |
| Por cento | Fração de memória YARN alocada atualmente. |
| Gibibytes | Memória YARN total disponível no cluster. |
| Gibibytes | Memória YARN atualmente solicitada, mas ainda não alocada pelo agendador. |
| Contar | Número de contêineres YARN no cluster. |
| Contar | Número de aplicativos YARN ativos no cluster. |
| Contar | Número de NodeManagers do YARN em execução no cluster. |
| Contar | Número de núcleos virtuais do YARN no cluster. |
Para a lista completa de métricas do Dataproc, consulte a documentação de métricas do Dataproc do Google.
Conta de serviço ou conta de usuário
Encontre e use dados
Após ativar a integração e aguardar alguns minutos (com base na frequência da votação), os dados aparecerão na interface do New Relic . Para encontrar e usar seus dados, incluindo links para seu e configurações de alerta, acesse one.newrelic.com > All capabilities > Infrastructure > GCP > (select an integration).
Os dados são anexados ao seguinte tipo de evento:
Entidade | Tipo de evento | Fornecedor |
|---|---|---|
Cluster |
|
|
Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.
Dados do cluster do Dataproc
Métrica | Unidade | Descrição |
|---|---|---|
| Contar | Indica o número de DataNodes HDFS que estão em execução dentro de um cluster. |
| Gibibytes | Indica a capacidade do sistema HDFS em execução no cluster em GB. |
| Por cento | A porcentagem de armazenamento HDFS usado atualmente. |
| Contar | Indica o número de blocos não íntegros dentro do cluster. |
| Segundos | O tempo que os jobs levaram para serem concluídos desde o momento em que o usuário envia um job até o momento em que o Dataproc informa que ele foi concluído. |
| Segundos | O tempo que os empregos passaram em um determinado estado. |
| Contar | Indica o número de trabalhos que falharam em um cluster. |
| Contar | Indica o número de tarefas em execução em um cluster. |
| Contar | Indica o número de trabalhos que foram enviados a um cluster. |
| Segundos | O tempo que as operações levaram para serem concluídas, desde o momento em que o usuário envia uma operação até o momento em que o Dataproc informa que ela foi concluída. |
| Segundos | O tempo que as operações passaram em um determinado estado. |
| Contar | Indica o número de operações que falharam em um cluster. |
| Contar | Indica o número de operações em execução em um cluster. |
| Contar | Indica o número de operações que foram enviadas a um cluster. |
| Por cento | A porcentagem de memória YARN é alocada. |
| Contar | Indica o número de aplicativos YARN ativos. |
| Contar | Indica a quantidade de contêiner YARN. |
| Gibibytes | Indica o tamanho da memória YARN em GB. |
| Contar | Indica o número de NodeManagers do YARN em execução no cluster. |
| Gibibytes | A solicitação de memória atual, em GB, que está pendente para ser atendida pelo agendador. |
| Contar | Indica o número de núcleos virtuais no YARN. |