La integración de New Relic con Google Cloud Platform (GCP) incluye una que reporta datos de Google Cloud Composer a New Relic. Este documento explica cómo activar la integración de GCP Cloud Composer y describe los datos que reporta.
Característica
Cloud Composer es el servicio de orquestación de flujo de trabajo completamente administrado de Google Cloud creado en Apache Airflow. La integración de New Relic Cloud Composer recopila métricas de entorno, workload y flujo de trabajo — ejecuciones de DAG, instancias de tareas, latidos del programador y uso de recursos de los trabajadores.
Activar la integración
Para habilitar la integración, siga los procedimientos estándar para conectar su servicio de GCP a New Relic:
- Conectar con la federación de identidades de workload (Workload Identity Federation) (recomendado)
- Conectar con cuenta de servicio o cuenta de usuario
Frecuencia de sondeo
La integración de New Relic consulta sus servicios de GCP de acuerdo con un intervalo de sondeo que varía según la integración. La frecuencia de sondeo para Google Cloud Composer es de 5 minutos. La resolución es 1 punto de datos cada minuto.
Federación de identidades de workload (Workload Identity Federation)
Buscar y utilizar datos
Después de habilitar la integración, sus recursos de Cloud Composer aparecen como entidades en el explorador de entidades de New Relic. Para ver el dashboard y administrar los servicios, vaya a one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas las métricas de Cloud Composer disponibles en el monitoreo de la nube de GCP se recopilan como métricas dimensionales en el tipo de evento Metric. Las métricas adicionales más allá de esta tabla se recopilan automáticamente. Consulte la documentación de métricas de Cloud Composer de Google para obtener la lista completa.
Entidad
Datos métricos
Métrica clave — Entorno
Nombre de la métrica | Unidad | Descripción |
|---|---|---|
| Booleano | Si el entorno de Composer está actualmente en buen estado. |
| Segundos | Tiempo total dedicado a analizar los DAG en el entorno. |
| Por ciento | Utilización de CPU de la base de datos de metadatos del entorno. |
| Por ciento | Utilización de memoria de la base de datos de metadatos del entorno. |
| Contar | Número de expulsiones de pods de trabajador en el entorno. |
Métricas clave — flujo de trabajo
Nombre de la métrica | Unidad | Descripción |
|---|---|---|
| Contar | Número de ejecuciones de DAG, desglosadas por estado del flujo de trabajo. |
| Segundos | Duración de las ejecuciones de DAG en todo el flujo de trabajo. |
| Contar | Número de instancias de tarea en todo el flujo de trabajo, desglosado por estado. |
| Segundos | Distribución del tiempo de ejecución de la instancia de tarea. |
Métricas clave — Workload
Nombre de la métrica | Unidad | Descripción |
|---|---|---|
| Segundos | Segundos de CPU consumidos por la workload de Composer. |
| Bytes | Memoria actualmente en uso por la workload de Composer. |
| Contar | Número de pods que respaldan la workload de Composer. |
Para obtener la lista completa de métricas de Cloud Composer, consulte la documentación de métricas de Cloud Composer de Google.
Cuenta de servicio o cuenta de usuario
Buscar y utilizar datos
Para encontrar sus datos de integración, vaya a one.newrelic.com > All capabilities > Infrastructure > GCP y seleccione la integración.
Los datos se adjuntan a los siguientes tipos de eventos:
Entidad | Tipo de evento | Proveedor |
|---|---|---|
Ambiente |
|
|
Flujo de trabajo |
|
|
Para obtener más información sobre cómo utilizar sus datos, consulte Comprender y utilizar los datos de integración.
Datos métricos
Esta integración recopila datos de GCP Composer para el entorno y el flujo de trabajo.
Datos del entorno del compositor
Métrica | Unidad | Descripción |
|---|---|---|
| Contar | Número de solicitudes de API de Composer vistas hasta el momento. |
| Milisegundos | Distribución de latencia API de llamada de Composer. |
| Contar | Número de errores generados durante el análisis de archivos DAG. |
| Contar | Número de procesos de análisis de DAG actualmente en ejecución. |
| Contar | Número de procesadores de archivos finalizados debido al tiempo de espera de procesamiento. |
| Segundos | Número de segundos necesarios para escanear e importar todos los archivos DAG una vez. |
| Contar | El tamaño actual de la bolsa dag. |
| Contar | Número de núcleos reservados para la instancia de base de datos. |
| Segundos | Tiempo de uso de CPU de la instancia de base de datos. |
| Contar | Proporción de utilización de CPU (de 0,0 a 1,0) de la instancia de base de datos. |
| Bytes | Espacio en disco utilizado en bytes en la instancia de la base de datos. |
| Bytes | Tamaño máximo del disco de datos en bytes de la instancia de la base de datos. |
| Contar | Proporción de uso de cuota de disco (de 0,0 a 1,0) de la instancia de base de datos. |
| Bytes | Uso de memoria de la instancia de la base de datos en bytes. |
| Bytes | Tamaño máximo de RAM en bytes de la instancia de la base de datos. |
| Contar | Relación de utilización de la memoria (de 0,0 a 1,0) de la instancia de la base de datos. |
| Contar | Número de espacios abiertos en el ejecutor. |
| Contar | Número de tareas en ejecución en el ejecutor. |
| Contar | Instancia de tarea general. |
| Contar | Número de trabajadores de Celery. |
| Contar | Latidos del programador. |
| Contar | Número de tareas en cola. |
| Contar | El número de desalojos de módulos de trabajadores de Airflow. |
| Contar | Número de tareas de zombies eliminadas. |
Datos del flujo de trabajo del compositor
Métrica | Unidad | Descripción |
|---|---|---|
| Contar | Número de ejecuciones de flujo de trabajo completadas hasta el momento. |
| Segundos | Duración de la finalización de la ejecución del flujo de trabajo. |
| Contar | Número de tareas de flujo de trabajo completadas hasta el momento. |
| Segundos | Duración de la finalización de la tarea. |