A integração da New Relic com o Google Cloud Platform (GCP) inclui uma integração que reporta dados Google Cloud Dataflow para New Relic. Este documento explica como ativar a integração do GCP Cloud Dataflow e descreve os dados que ela reporta.
Recurso
O Cloud Dataflow é o serviço de processamento de dados em lote e streaming totalmente gerenciado do Google Cloud baseado no Apache Beam. A integração do New Relic Dataflow coleta métricas de recursos de worker, taxas de transferência, atraso e estado do job para cada job do Dataflow.
Ativar integração
Para habilitar a integração, é necessário seguir os procedimentos padrão para conectar o serviço do GCP ao New Relic:
- Conecte-se com a Workload Identity Federation (recomendado)
- Conectar com conta de serviço ou conta de usuário
Frequência de votação
As integrações do New Relic consultam os serviços do GCP de acordo com um intervalo de sondagem que varia por integração. A frequência de sondagem para o Google Cloud Dataflow é de 5 minutos. A resolução é 1 ponto de dados a cada minuto.
Importante
O Cloud Dataflow oferece suporte a intervalos de sondagem de 1 minuto para integrações do WIF em versão prévia limitada. Para solicitar acesso, entre em contato com o suporte da New Relic.
Workload Identity Federation
Encontre e use dados
Após ativar a integração, os recursos do Dataflow aparecem como entidades no explorador de entidades da New Relic. Para ver dashboards e gerenciar serviços, acesse one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas as métricas do Dataflow disponíveis no monitoramento de nuvem do GCP são coletadas como métricas dimensionais no tipo de evento Metric. Métricas adicionais além desta tabela são coletadas automaticamente. Consultar a documentação de métricas do Dataflow do Google para obter a lista completa.
Entidade
Dados métricos
Métricas principais — Job
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Contar | Número de vCPUs atualmente alocadas para o job do Dataflow. |
| Segundos | Total de vCPU-segundos consumidos pelo job do Dataflow. |
| Contar | Número de elementos produzidos pelo job do Dataflow, facetados por transformação. |
| Segundos | Tempo máximo que um elemento esteve aguardando no pipeline do Dataflow. |
| Segundos | Idade da marca d'água de dados para o job do Dataflow. |
| Segundos | Atraso do sistema observado em cada estágio do job do Dataflow. |
| Contar | Contadores definidos pelo usuário emitidos pelo job do Dataflow, facetados pelo nome do contador. |
Para a lista completa de métricas do Dataflow, consulte a documentação de métricas do Dataflow do Google.
Conta de serviço ou conta de usuário
Encontre e use dados
Para encontrar seus dados de integração, acesse one.newrelic.com > All capabilities > Infrastructure > GCP e selecione uma integração.
Os dados são anexados ao seguinte tipo de evento:
Entidade | Tipo de evento | Fornecedor |
|---|---|---|
Trabalho |
|
|
Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.
Dados métricos
Esta integração coleta dados do GCP Dataflow para o trabalho.
Dados do job do Dataflow
Métrica | Unidade | Descrição |
|---|---|---|
| Bytes | Os bytes faturáveis de dados aleatórios processados por este job do Dataflow. |
| Contar | O número de vCPUs usadas atualmente por este job do Dataflow. Este é o número atual de trabalhadores vezes o número de vCPUs por trabalhador. |
| Contar | Os slots de embaralhamento atuais usados por este job do Dataflow. |
| Segundos | A idade (tempo desde o evento timestamp) até a qual todos os dados foram processados pelo pipeline. |
| Segundos | Duração em que a execução atual deste pipeline esteve no estado Em execução até o momento, em segundos. Quando uma execução é concluída, a duração dessa execução permanece até o início da próxima execução. |
| Contar | Número de elementos adicionados à pcollection até agora. |
| Bytes | Um número estimado de bytes adicionados à pcollection até agora. O Dataflow calcula o tamanho médio codificado dos elementos em uma pcollection e o multiplica pelo número de elementos. |
| Contar | Este trabalho falhou. |
| Segundos | A idade (tempo desde o evento timestamp) até a qual todos os dados foram processados por este estágio do pipeline. |
| Segundos | A duração máxima atual que um item de dados está processando ou aguardando processamento em segundos, por estágio do pipeline. |
| Segundos | A duração máxima atual que um item de dados está processando ou aguardando processamento, em segundos. |
| Outro | O total de GB de segundos de memória alocados para este job do Dataflow. |
| Outro | O total de GB segundos para todos os discos permanentes usados por todos os trabalhadores associados a este job do Dataflow. |
| Bytes | O total de bytes de dados aleatórios processados por este job do Dataflow. |
| Bytes | O total de bytes de dados de streaming processados por este job do Dataflow. |
| Segundos | O total de segundos de vCPU usados por este job do Dataflow. |
| Contar | Uma métrica de contador definida pelo usuário. |