Les intégrations New Relic avec la Google Cloud Platform (GCP) en incluent une qui signale les données Google Cloud Dataproc à New Relic. Ce document explique comment activer l'intégration GCP Dataproc et décrit les données qu'elle signale.
Caractéristiques
Cloud Dataproc est le service géré de Google Cloud pour exécuter Apache Hadoop, Apache Spark et d'autres workloads open source de traitement des données. L'intégration New Relic Dataproc collecte les métriques HDFS, YARN, de job et d'opération pour chaque cluster Dataproc.
Activer l'intégration
Pour activer l’intégration, suivez les procédures standard pour connecter votre service GCP à New Relic:
- Se connecter avec la fédération d'identité de workload (Workload Identity Federation) (recommandé)
- Se connecter avec un compte de service ou un compte utilisateur
Fréquence des sondages
Les intégrations New Relic interrogent vos services GCP selon un intervalle d’interrogation qui varie selon l’intégration. La fréquence d'interrogation pour Google Cloud Dataproc est de 5 minutes. La résolution est de 1 point de données par minute.
Important
Cloud Dataproc prend en charge des intervalles d’interrogation de 1 minute pour les intégrations WIF en version préliminaire limitée. Pour demander l’accès, contactez le support New Relic.
Fédération d'identité de workload (Workload Identity Federation)
Rechercher et utiliser des données
Une fois que vous avez activé l’intégration, vos ressources Dataproc apparaissent sous forme d’entités dans l’explorateur d’entités de New Relic. Pour voir les dashboards et gérer les services, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP.
Toutes les métriques Dataproc disponibles dans le monitoring cloud GCP sont collectées en tant que métriques dimensionnelles dans le type d'événement Metric. Des métriques supplémentaires au-delà de ce tableau sont collectées automatiquement. Consultez la documentation de Google sur les métriques Dataproc pour obtenir la liste complète.
Entité
données métriques
Principales métriques — Cluster
Nom métrique | Unité | Description |
|---|---|---|
| Compter | Nombre de DataNodes HDFS en cours d'exécution sur le cluster. |
| Gibioctets | Capacité de stockage HDFS disponible sur le cluster. |
| Pour cent | Fraction du stockage HDFS actuellement en cours d'utilisation sur le cluster. |
| Compter | Nombre de blocs HDFS défectueux sur le cluster. |
| Compter | Nombre de tâches soumises au cluster. |
| Compter | Nombre de tâches actuellement en cours d'exécution sur le cluster. |
| Compter | Nombre de tâches qui ont échoué sur le cluster. |
| Secondes | Temps écoulé entre la soumission de la tâche et la notification de son achèvement par Dataproc. |
| Secondes | Temps passé par les tâches dans un état donné, segmenté par état. |
| Compter | Nombre d'opérations de cluster soumises. |
| Compter | Nombre d'opérations de cluster en cours d'exécution. |
| Compter | Nombre d'opérations de cluster ayant échoué. |
| Secondes | Temps écoulé entre la soumission de l'opération et le signalement de son achèvement par Dataproc. |
| Pour cent | Fraction de la mémoire YARN actuellement allouée. |
| Gibioctets | Mémoire YARN totale disponible sur le cluster. |
| Gibioctets | Mémoire YARN actuellement demandée mais pas encore allouée par le planificateur. |
| Compter | Nombre de conteneurs YARN sur le cluster. |
| Compter | Nombre d'applications YARN actives sur le cluster. |
| Compter | Nombre de NodeManagers YARN en cours d'exécution sur le cluster. |
| Compter | Nombre de cœurs virtuels YARN sur le cluster. |
Pour la liste complète des métriques Dataproc, consultez la documentation de Google sur les métriques Dataproc.
Compte de service ou compte utilisateur
Rechercher et utiliser des données
Après avoir activé l'intégration et attendu quelques minutes (en fonction de la fréquence d'interrogation), les données apparaîtront dans l'UI de New Relic. Pour rechercher et utiliser vos données, y compris les liens vers vos et vos paramètres d'alerte, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP > (select an integration).
Les données sont jointes au type d’événement suivant :
Entité | Type d'événement | Fournisseur |
|---|---|---|
Cluster |
|
|
Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.
Données Cluster Dataproc
métrique | Unité | Description |
|---|---|---|
| Compter | Indique le nombre de DataNodes HDFS en cours d'exécution dans un cluster. |
| Gibioctets | Indique la capacité du système HDFS exécuté sur le cluster en Go. |
| Pour cent | Le pourcentage de stockage HDFS actuellement utilisé. |
| Compter | Indique le nombre de blocs défectueux à l'intérieur du cluster. |
| Secondes | Le temps nécessaire à l'exécution des tâches à partir du moment où l'utilisateur soumet une tâche jusqu'au moment où Dataproc signale qu'elle est terminée. |
| Secondes | Le temps que les emplois ont passé dans un état donné. |
| Compter | Indique le nombre de tâches qui ont échoué sur un cluster. |
| Compter | Indique le nombre de tâches en cours d'exécution sur un cluster. |
| Compter | Indique le nombre de tâches qui ont été soumises à un cluster. |
| Secondes | Le temps nécessaire aux opérations pour se terminer à partir du moment où l'utilisateur soumet une opération jusqu'au moment où Dataproc signale qu'elle est terminée. |
| Secondes | Le temps que les opérations ont passé dans un état donné. |
| Compter | Indique le nombre d’opérations qui ont échoué sur un cluster. |
| Compter | Indique le nombre d’opérations en cours d’exécution sur un cluster. |
| Compter | Indique le nombre d'opérations qui ont été soumises à un cluster. |
| Pour cent | Le pourcentage de mémoire YARN est alloué. |
| Compter | Indique le nombre d'applications YARN actives. |
| Compter | Indique le nombre de conteneurs YARN. |
| Gibioctets | Indique la taille de la mémoire YARN en Go. |
| Compter | Indique le nombre de NodeManagers YARN exécutés à l'intérieur du cluster. |
| Gibioctets | La demande de mémoire actuelle, en Go, qui est en attente d'être satisfaite par le planificateur. |
| Compter | Indique le nombre de cœurs virtuels dans YARN. |