La integración de New Relic con Google Cloud Platform (GCP) incluye una que informa los datos de Google Cloud Dataproc a New Relic. Este documento explica cómo activar la integración de GCP Dataproc y describe los datos que reporta.
Característica
Cloud Dataproc es el servicio administrado de Google Cloud para ejecutar Apache Hadoop, Apache Spark y otras workloads de procesamiento de datos de código abierto. La integración de Dataproc de New Relic recopila métricas de HDFS, YARN, trabajos y operaciones para cada clúster de Dataproc.
Activar la integración
Para habilitar la integración, siga los procedimientos estándar para conectar su servicio de GCP a New Relic:
- Conectar con la federación de identidades de workload (Workload Identity Federation) (recomendado)
- Conectar con cuenta de servicio o cuenta de usuario
Frecuencia de sondeo
Las integraciones de New Relic consultan sus servicios de GCP de acuerdo con un intervalo de sondeo que varía según la integración. La frecuencia de sondeo para Google Cloud Dataproc es de 5 minutos. La resolución es 1 punto de datos cada minuto.
Importante
Cloud Dataproc admite intervalos de sondeo de 1 minuto para integraciones de WIF en versión preliminar limitada. Para solicitar acceso, comuníquese con el soporte de New Relic.
Federación de identidades de workload (Workload Identity Federation)
Buscar y utilizar datos
Después de habilitar la integración, sus recursos de Dataproc aparecen como entidades en el explorador de entidades de New Relic. Para ver los dashboards y administrar los servicios, vaya a one.newrelic.com > All capabilities > Infrastructure > GCP.
Todas las métricas de Dataproc disponibles en el monitoreo de la nube de GCP se recopilan como métricas dimensionales en el tipo de evento Metric. Las métricas adicionales más allá de esta tabla se recopilan automáticamente. Consulte la documentación de métricas de Dataproc de Google para obtener la lista completa.
Entidad
Datos métricos
Métricas clave — Cluster
Nombre de la métrica | Unidad | Descripción |
|---|---|---|
| Contar | Número de DataNodes de HDFS en ejecución en el clúster. |
| Gibibytes | Capacidad de almacenamiento de HDFS disponible en el clúster. |
| Por ciento | Fracción del almacenamiento HDFS actualmente en uso en el clúster. |
| Contar | Número de bloques HDFS en mal estado en el clúster. |
| Contar | Número de trabajos enviados al clúster. |
| Contar | Número de trabajos actualmente en ejecución en el clúster. |
| Contar | Número de trabajos que han fallado en el clúster. |
| Segundos | Tiempo desde el envío del trabajo hasta que Dataproc informa la finalización. |
| Segundos | Tiempo que los trabajos han pasado en un estado determinado, desglosado por estado. |
| Contar | Número de operaciones de clúster enviadas. |
| Contar | Número de operaciones del clúster actualmente en ejecución. |
| Contar | Número de operaciones del clúster que han fallado. |
| Segundos | Tiempo desde el envío de la operación hasta que Dataproc informa la finalización. |
| Por ciento | Fracción de memoria YARN asignada actualmente. |
| Gibibytes | Memoria total de YARN disponible en el clúster. |
| Gibibytes | Memoria YARN actualmente solicitada pero aún no asignada por el planificador. |
| Contar | Número de contenedores de YARN en el clúster. |
| Contar | Número de aplicaciones YARN activas en el clúster. |
| Contar | Número de NodeManagers de YARN en ejecución en el clúster. |
| Contar | Número de núcleos virtuales de YARN en el clúster. |
Para obtener la lista completa de métricas de Dataproc, consulte la documentación de métricas de Dataproc de Google.
Cuenta de servicio o cuenta de usuario
Buscar y utilizar datos
Después de activar la integración y esperar unos minutos (según la frecuencia de sondeo ), los datos aparecerán en la New Relic UI. Para buscar y utilizar sus datos, incluidos enlaces a su y configuración de alertas, vaya a one.newrelic.com > All capabilities > Infrastructure > GCP > (select an integration).
Los datos se adjuntan al siguiente tipo de evento:
Entidad | Tipo de evento | Proveedor |
|---|---|---|
Grupo |
|
|
Para obtener más información sobre cómo utilizar sus datos, consulte Comprender y utilizar los datos de integración.
Datos del clúster de procesamiento de datos
Métrica | Unidad | Descripción |
|---|---|---|
| Contar | Indica la cantidad de HDFS DataNodes que se ejecutan dentro de un clúster. |
| Gibibytes | Indica la capacidad del sistema HDFS que se ejecuta en el clúster en GB. |
| Por ciento | El porcentaje de almacenamiento HDFS utilizado actualmente. |
| Contar | Indica la cantidad de bloques en mal estado dentro del clúster. |
| Segundos | El tiempo que tardaron en completarse los trabajos desde el momento en que el usuario envía un trabajo hasta el momento en que Dataproc informa que se completó. |
| Segundos | El tiempo que los trabajos han pasado en un estado determinado. |
| Contar | Indica la cantidad de trabajos que han fallado en un clúster. |
| Contar | Indica el número de trabajos que se ejecutan en un clúster. |
| Contar | Indica el número de trabajos que se han enviado a un clúster. |
| Segundos | El tiempo que tardaron en completarse las operaciones desde el momento en que el usuario envía una operación hasta el momento en que Dataproc informa que se completó. |
| Segundos | El tiempo que las operaciones han permanecido en un estado determinado. |
| Contar | Indica el número de operaciones que han fallado en un clúster. |
| Contar | Indica el número de operaciones que se ejecutan en un clúster. |
| Contar | Indica el número de operaciones que se han enviado a un clúster. |
| Por ciento | Se asigna el porcentaje de memoria YARN. |
| Contar | Indica el número de aplicaciones YARN activas. |
| Contar | Indica el número de contenedor YARN. |
| Gibibytes | Indica el tamaño de la memoria YARN en GB. |
| Contar | Indica la cantidad de YARN NodeManagers que se ejecutan dentro del clúster. |
| Gibibytes | La solicitud de memoria actual, en GB, que está pendiente de ser cumplida por el programador. |
| Contar | Indica el número de núcleos virtuales en YARN. |