A integração da New Relic com o Google Cloud Platform (GCP) inclui uma que reporta dados do Google Cloud Composer para New Relic. Este documento explica como ativar a integração do GCP Cloud Composer e descreve os dados que ela reporta.
Recurso
O Cloud Composer é o serviço de orquestração de fluxo de trabalho totalmente gerenciado do Google Cloud, desenvolvido no Apache Airflow. A integração do New Relic Cloud Composer coleta métricas de ambiente, workload e fluxo de trabalho — execuções de DAG, instâncias de tarefas, heartbeats do agendador e uso de recursos do worker.
Ativar integração
Para habilitar a integração, é necessário seguir os procedimentos padrão para conectar o serviço do GCP ao New Relic:
- Conecte-se com a Workload Identity Federation (recomendado)
- Conectar com conta de serviço ou conta de usuário
Frequência de votação
As integrações do New Relic consultam os serviços do GCP de acordo com um intervalo de sondagem que varia por integração. A frequência de sondagem do Google Cloud Composer é de 5 minutos. A resolução é 1 ponto de dados a cada minuto.
Workload Identity Federation
Encontre e use dados
Após habilitar a integração, os recursos do Cloud Composer aparecem como entidades no explorador de entidades do New Relic. Para ver dashboards e gerenciar serviços, acesse one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas as métricas do Cloud Composer disponíveis no monitoramento de nuvem do GCP são coletadas como métricas dimensionais no tipo de evento Metric. Métricas adicionais além desta tabela são coletadas automaticamente. Consulte a documentação de métricas do Cloud Composer do Google para ver a lista completa.
Entidade
Dados métricos
Métricas Principais — Ambiente
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Boleano | Se o ambiente do Composer está saudável no momento. |
| Segundos | Tempo total gasto analisando DAGs no ambiente. |
| Por cento | Utilização de CPU do banco de dados de metadados do ambiente. |
| Por cento | Utilização de memória do banco de dados de metadados do ambiente. |
| Contar | Número de remoções de pod de trabalho no ambiente. |
Métricas-chave — fluxo de trabalho
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Contar | Número de execuções de DAG, facetadas por estado do fluxo de trabalho. |
| Segundos | Duração das execuções de DAG em todo o fluxo de trabalho. |
| Contar | Número de instâncias de tarefa em todo o fluxo de trabalho, facetado por estado. |
| Segundos | Distribuição do tempo de execução da instância de tarefa. |
Métricas principais — Workload
Nome da métrica | Unidade | Descrição |
|---|---|---|
| Segundos | Segundos de CPU consumidos pelo workload do Composer. |
| Bytes | Memória atualmente em uso pelo workload do Composer. |
| Contar | Número de pods que dão suporte ao workload do Composer. |
Para a lista completa de métricas do Cloud Composer, consulte a documentação de métricas do Cloud Composer do Google.
Conta de serviço ou conta de usuário
Encontre e use dados
Para encontrar seus dados de integração, acesse one.newrelic.com > All capabilities > Infrastructure > GCP e selecione a integração.
Os dados são anexados aos seguintes tipos de eventos:
Entidade | Tipo de evento | Fornecedor |
|---|---|---|
Ambiente |
|
|
Fluxo de trabalho |
|
|
Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.
Dados métricos
Esta integração coleta dados do GCP Composer para ambiente e fluxo de trabalho.
Dados do ambiente do Composer
Métrica | Unidade | Descrição |
|---|---|---|
| Contar | Número de solicitações da API Composer vistas até agora. |
| Milissegundos | Distribuição da chamada de latência da API do Composer. |
| Contar | Número de erros gerados durante a análise de arquivos DAG. |
| Contar | Número de processos de análise de DAG atualmente em execução. |
| Contar | Número de processadores de arquivos encerrados devido ao tempo limite de processamento. |
| Segundos | Número de segundos necessários para verificar e importar todos os arquivos DAG uma vez. |
| Contar | O tamanho atual do saco dag. |
| Contar | Número de núcleos reservados para a instância do banco de dados. |
| Segundos | Tempo de uso da CPU da instância do banco de dados. |
| Contar | Taxa de utilização da CPU (de 0,0 a 1,0) da instância do banco de dados. |
| Bytes | Espaço em disco usado em bytes na instância do banco de dados. |
| Bytes | Tamanho máximo do disco de dados em bytes da instância do banco de dados. |
| Contar | Proporção de uso da cota de disco (de 0,0 a 1,0) da instância do banco de dados. |
| Bytes | Uso de memória da instância do banco de dados em bytes. |
| Bytes | Tamanho máximo de RAM em bytes da instância do banco de dados. |
| Contar | Proporção de utilização de memória (de 0,0 a 1,0) da instância do banco de dados. |
| Contar | Número de slots abertos no executor. |
| Contar | Número de tarefas em execução no executor. |
| Contar | Instância geral da tarefa. |
| Contar | Número de trabalhadores do Celery. |
| Contar | Batimentos cardíacos do agendador. |
| Contar | Número de tarefas na fila. |
| Contar | O número de remoções de pods de trabalho do Airflow. |
| Contar | Número de tarefas zumbis mortas. |
Dados do fluxo de trabalho do Composer
Métrica | Unidade | Descrição |
|---|---|---|
| Contar | Número de execuções de fluxo de trabalho concluídas até agora. |
| Segundos | Duração da conclusão da execução do fluxo de trabalho. |
| Contar | Número de tarefas de fluxo de trabalho concluídas até agora. |
| Segundos | Duração da conclusão da tarefa. |