Les intégrations New Relic avec Google Cloud Platform (GCP) en incluent une qui signale les données de Google Cloud Dataflow à New Relic. Ce document explique comment activer l'intégration GCP Cloud Dataflow et décrit les données qu'elle signale.
Caractéristiques
Cloud Dataflow est le service de traitement des données en continu et par lots entièrement géré de Google Cloud basé sur Apache Beam. L’intégration New Relic Dataflow collecte les métriques de ressources des workers, de débit, de décalage et d’état des tâches pour chaque tâche Dataflow.
Activer l'intégration
Pour activer l’intégration, suivez les procédures standard pour connecter votre service GCP à New Relic:
- Se connecter avec la fédération d'identité de workload (Workload Identity Federation) (recommandé)
- Se connecter avec un compte de service ou un compte utilisateur
Fréquence des sondages
Les intégrations de New Relic interrogent vos services GCP selon un intervalle d’interrogation qui varie selon l’intégration. La fréquence d'interrogation pour Google Cloud Dataflow est de 5 minutes. La résolution est de 1 point de données par minute.
Important
Cloud Dataflow prend en charge des intervalles d’interrogation de 1 minute pour les intégrations WIF en version préliminaire limitée. Pour demander l’accès, contactez le support New Relic.
Fédération d'identité de workload (Workload Identity Federation)
Rechercher et utiliser des données
Après avoir activé l’intégration, vos ressources Dataflow apparaissent en tant qu’entités dans l’explorateur d’entités New Relic. Pour voir les dashboards et gérer les services, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP.
Toutes les métriques Dataflow disponibles dans le monitoring cloud de GCP sont collectées en tant que métriques dimensionnelles dans le type d’événement Metric. Des métriques supplémentaires au-delà de ce tableau sont collectées automatiquement. Consultez la documentation sur les métriques Dataflow de Google pour obtenir la liste complète.
Entité
données métriques
Principales métriques — Job
Nom métrique | Unité | Description |
|---|---|---|
| Compter | Nombre de vCPU actuellement alloués à la tâche Dataflow. |
| Secondes | Nombre total de secondes-vCPU consommées par la tâche Dataflow. |
| Compter | Nombre d’éléments produits par la tâche Dataflow, répartis par transformation. |
| Secondes | Temps maximum pendant lequel un élément a attendu dans le pipeline Dataflow. |
| Secondes | Âge du filigrane de données pour la tâche Dataflow. |
| Secondes | Latence du système observée à chaque étape de la tâche Dataflow. |
| Compter | Compteurs définis par l'utilisateur émis par le job Dataflow, répartis par nom de compteur. |
Pour obtenir la liste complète des métriques Dataflow, consultez la documentation de Google sur les métriques Dataflow.
Compte de service ou compte utilisateur
Rechercher et utiliser des données
Pour trouver vos données d’intégration, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP et sélectionnez une intégration.
Les données sont jointes au type d’événement suivant :
Entité | Type d'événement | Fournisseur |
|---|---|---|
Emploi |
|
|
Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.
données métriques
Cette intégration collecte les données GCP Dataflow pour Job.
Données de travail Dataflow
métrique | Unité | Description |
|---|---|---|
| Octets | Les octets facturables de données de mélange traitées par cette tâche Dataflow. |
| Compter | Le nombre de vCPU actuellement utilisés par ce travail Dataflow. Il s’agit du nombre actuel de travailleurs multiplié par le nombre de vCPU par travailleur. |
| Compter | Les emplacements de mélange actuels utilisés par cette tâche Dataflow. |
| Secondes | L'âge (temps écoulé depuis l'horodatage de l'événement) jusqu'auquel toutes les données ont été traitées par le pipeline. |
| Secondes | Durée pendant laquelle l'exécution actuelle de ce pipeline a été dans l'état En cours d'exécution jusqu'à présent, en secondes. Lorsqu'une exécution est terminée, la durée de cette exécution reste la même jusqu'au début de l'exécution suivante. |
| Compter | Nombre d'éléments ajoutés à la collection jusqu'à présent. |
| Octets | Nombre estimé d'octets ajoutés à la pcollection jusqu'à présent. Dataflow calcule la taille moyenne codée des éléments dans une pcollection et la multiplie par le nombre d'éléments. |
| Compter | Ce travail a échoué ? |
| Secondes | L'âge (temps écoulé depuis l'horodatage de l'événement) jusqu'auquel toutes les données ont été traitées par cette étape du pipeline. |
| Secondes | La durée maximale actuelle pendant laquelle un élément de données a été traité ou en attente de traitement, en secondes, par étape du pipeline. |
| Secondes | La durée maximale actuelle pendant laquelle un élément de données a été traité ou en attente de traitement, en secondes. |
| Autre | Le nombre total de Go de secondes de mémoire allouées à cette tâche Dataflow. |
| Autre | Le nombre total de Go de secondes pour tous les disques persistants utilisés par tous les travailleurs associés à cette tâche Dataflow. |
| Octets | Le nombre total d'octets de données de mélange traités par ce travail Dataflow. |
| Octets | Le nombre total d'octets de données de streaming traités par ce travail Dataflow. |
| Secondes | Le nombre total de secondes vCPU utilisées par cette tâche Dataflow. |
| Compter | Une métrique de compteur définie par l'utilisateur. |