La integración de New Relic con Google Cloud Platform (GCP) incluye una que informa los datos de Google Cloud Dataflow a New Relic. Este documento explica cómo activar la integración de GCP Cloud Dataflow y describe los datos que reporta.
Característica
Cloud Dataflow es el servicio de procesamiento de datos en streaming y por lotes completamente administrado de Google Cloud basado en Apache Beam. La integración de New Relic Dataflow recopila métricas de recursos del trabajador, rendimiento, retraso y estado del trabajo para cada trabajo de Dataflow.
Activar la integración
Para habilitar la integración, siga los procedimientos estándar para conectar su servicio de GCP a New Relic:
- Conectar con la federación de identidades de workload (Workload Identity Federation) (recomendado)
- Conectar con cuenta de servicio o cuenta de usuario
Frecuencia de sondeo
La integración de New Relic consulta sus servicios de GCP de acuerdo con un intervalo de sondeo que varía según la integración. La frecuencia de sondeo para Google Cloud Dataflow es de 5 minutos. La resolución es 1 punto de datos cada minuto.
Importante
Cloud Dataflow admite intervalos de sondeo de 1 minuto para integraciones de WIF en versión preliminar limitada. Para solicitar acceso, comunicar con el soporte de New Relic.
Federación de identidades de workload (Workload Identity Federation)
Buscar y utilizar datos
Después de habilitar la integración, sus recursos de Dataflow aparecen como entidades en el explorador de entidades de New Relic. Para ver el dashboard y administrar los servicios, vaya a one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas las métricas de Dataflow disponibles en el monitoreo de la nube de GCP se recopilan como métricas dimensionales en el tipo de evento Metric. Las métricas adicionales más allá de esta tabla se recopilan automáticamente. Consulte la documentación de métricas de Dataflow de Google para obtener la lista completa.
Entidad
Datos métricos
Métricas clave — Job
Nombre de la métrica | Unidad | Descripción |
|---|---|---|
| Contar | Número de vCPU asignadas actualmente al trabajo de Dataflow. |
| Segundos | Total de segundos de vCPU consumidos por el trabajo de Dataflow. |
| Contar | Número de elementos producidos por el trabajo de Dataflow, facetado por transformación. |
| Segundos | Tiempo máximo que un elemento ha estado esperando en el pipeline de Dataflow. |
| Segundos | Antigüedad de la marca de agua de datos para el trabajo de Dataflow. |
| Segundos | Retraso del sistema observado en cada etapa del trabajo de Dataflow. |
| Contar | Contadores definidos por el usuario emitidos por el trabajo de Dataflow, desglosados por nombre de contador. |
Para obtener la lista completa de métricas de Dataflow, consulte la documentación de métricas de Dataflow de Google.
Cuenta de servicio o cuenta de usuario
Buscar y utilizar datos
Para encontrar sus datos de integración, vaya a one.newrelic.com > All capabilities > Infrastructure > GCP y seleccione una integración.
Los datos se adjuntan al siguiente tipo de evento:
Entidad | Tipo de evento | Proveedor |
|---|---|---|
Trabajo |
|
|
Para obtener más información sobre cómo utilizar sus datos, consulte Comprender y utilizar los datos de integración.
Datos métricos
Esta integración recopila datos de GCP Dataflow para Job.
Datos del trabajo de flujo de datos
Métrica | Unidad | Descripción |
|---|---|---|
| Bytes | Los bytes facturables de datos aleatorios procesados por este trabajo de Dataflow. |
| Contar | La cantidad de vCPU que utiliza actualmente este trabajo de Dataflow. Esta es la cantidad actual de trabajadores multiplicada por la cantidad de vCPU por trabajador. |
| Contar | Las ranuras de reproducción aleatoria actuales utilizadas por este trabajo de Dataflow. |
| Segundos | La antigüedad (tiempo desde timestamp del evento) hasta la cual el pipeline ha procesado todos los datos. |
| Segundos | Duración que la ejecución actual de este pipeline ha estado en estado En ejecución hasta el momento, en segundos. Cuando se completa una ejecución, esto permanece en la duración de esa ejecución hasta que comience la siguiente ejecución. |
| Contar | Número de elementos agregados a la colección hasta el momento. |
| Bytes | Número estimado de bytes agregados a la colección p hasta el momento. Dataflow calcula el tamaño codificado promedio de los elementos en una colección y lo multiplica por la cantidad de elementos. |
| Contar | ¿Ha fracasado este trabajo? |
| Segundos | La antigüedad (tiempo desde timestamp del evento) hasta la cual todos los datos han sido procesados en esta etapa del pipeline. |
| Segundos | La duración máxima actual que un elemento de datos ha estado procesando o esperando procesamiento en segundos, por etapa de pipeline. |
| Segundos | La duración máxima actual que un elemento de datos ha estado procesando o en espera de procesamiento, en segundos. |
| Otro | El total de GB y segundos de memoria asignados a este trabajo de Dataflow. |
| Otro | El total de GB en segundos para todos los discos persistentes utilizados por todos los trabajadores asociados con este trabajo de Dataflow. |
| Bytes | El total de bytes de datos aleatorios procesados por este trabajo de Dataflow. |
| Bytes | El total de bytes de transmisión de datos procesados por este trabajo de Dataflow. |
| Segundos | El total de segundos de vCPU utilizados por este trabajo de Dataflow. |
| Contar | Una métrica de contador definida por el usuario. |