Les intégrations New Relic avec Google Cloud Platform (GCP) en incluent une qui signale les données de Google Cloud Composer à New Relic. Ce document explique comment activer l’intégration GCP Cloud Composer et décrit les données qu’elle signale.
Caractéristiques
Cloud Composer est le service d'orchestration de workflow entièrement géré de Google Cloud basé sur Apache Airflow. L'intégration New Relic Cloud Composer collecte les métriques d'environnement, de workload et de workflow — exécutions de DAG, instances de tâche, pulsations du planificateur et utilisation des ressources des workers.
Activer l'intégration
Pour activer l’intégration, suivez les procédures standard pour connecter votre service GCP à New Relic:
- Se connecter avec la fédération d'identité de workload (Workload Identity Federation) (recommandé)
- Se connecter avec un compte de service ou un compte utilisateur
Fréquence des sondages
Les intégrations de New Relic interrogent vos services GCP selon un intervalle d’interrogation qui varie selon l’intégration. La fréquence d’interrogation de Google Cloud Composer est de 5 minutes. La résolution est de 1 point de données par minute.
Fédération d'identité de workload (Workload Identity Federation)
Rechercher et utiliser des données
Après avoir activé l’intégration, vos ressources Cloud Composer apparaissent en tant qu’entités dans l’explorateur d’entités New Relic. Pour voir les dashboards et gérer les services, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP.
Toutes les métriques Cloud Composer disponibles dans le monitoring cloud GCP sont collectées en tant que métriques dimensionnelles dans le type d’événement Metric. Des métriques supplémentaires au-delà de ce tableau sont collectées automatiquement. Consultez la documentation sur les métriques Cloud Composer de Google pour obtenir la liste complète.
Entité
données métriques
Métriques clés — environnement
Nom métrique | Unité | Description |
|---|---|---|
| Booléen | Indique si l’environnement Composer est actuellement sain. |
| Secondes | Temps total consacré à l'analyse des DAG dans l'environnement. |
| Pour cent | Utilisation du CPU de la base de données de métadonnées de l’environnement. |
| Pour cent | Utilisation de la mémoire de la base de données de métadonnées de l’environnement. |
| Compter | Nombre d’évictions de pod worker dans l’environnement. |
Métriques clés — Workflow
Nom métrique | Unité | Description |
|---|---|---|
| Compter | Nombre d’exécutions de DAG, réparti par état de workflow. |
| Secondes | Durée des exécutions de DAG dans l'ensemble du workflow. |
| Compter | Nombre d'instances de tâche dans l'ensemble du workflow, réparties par état. |
| Secondes | Distribution du temps d’exécution de l’instance de tâche. |
Métriques clés — workload
Nom métrique | Unité | Description |
|---|---|---|
| Secondes | Secondes de CPU consommées par le workload Composer. |
| Octets | Mémoire actuellement utilisée par le workload Composer. |
| Compter | Nombre de pods soutenant le workload Composer. |
Pour la liste complète des métriques Cloud Composer, consultez la documentation de Google sur les métriques Cloud Composer.
Compte de service ou compte utilisateur
Rechercher et utiliser des données
Pour trouver vos données d’intégration, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP et sélectionnez l’intégration.
Les données sont attachées aux types d’événements suivants :
Entité | Type d'événement | Fournisseur |
|---|---|---|
Environnement |
|
|
Workflow |
|
|
Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.
données métriques
Cette intégration collecte les données GCP Composer pour l'environnement et le workflow.
Données d'environnement du compositeur
métrique | Unité | Description |
|---|---|---|
| Compter | Nombre de requests API Composer observées jusqu'à présent. |
| Millisecondes | Distribution de Composer appel d'API latence. |
| Compter | Nombre d'erreurs générées lors de l'analyse des fichiers DAG. |
| Compter | Nombre de processus d'analyse DAG actuellement en cours d'exécution. |
| Compter | Nombre de fichiers que le processeur a arrêtés en raison d'un délai de traitement dépassé. |
| Secondes | Nombre de secondes nécessaires pour analyser et importer tous les fichiers DAG une fois. |
| Compter | La taille actuelle du sac à dos. |
| Compter | Nombre de cœurs réservés à l'instance de base de données. |
| Secondes | Temps d'utilisation du processeur de l'instance de base de données. |
| Compter | Taux d'utilisation du processeur (de 0,0 à 1,0) de l'instance de base de données. |
| Octets | Espace disque utilisé en octets sur l'instance de base de données. |
| Octets | Taille maximale du disque de données en octets de l'instance de base de données. |
| Compter | Taux d'utilisation du quota de disque (de 0,0 à 1,0) de l'instance de base de données. |
| Octets | Utilisation de la mémoire de l'instance de base de données en octets. |
| Octets | Taille maximale de la RAM en octets de l'instance de base de données. |
| Compter | Taux d'utilisation de la mémoire (de 0,0 à 1,0) de l'instance de base de données. |
| Compter | Nombre d'emplacements ouverts sur l'exécuteur. |
| Compter | Nombre de tâches en cours d'exécution sur l'exécuteur. |
| Compter | Instance de tâche globale. |
| Compter | Nombre d'ouvriers Celery . |
| Compter | Battements de cœur du planificateur. |
| Compter | Nombre de tâches dans la file d'attente. |
| Compter | Le nombre d'expulsions de pods de travailleurs Airflow. |
| Compter | Nombre de tâches zombies tuées. |
Données de workflow du compositeur
métrique | Unité | Description |
|---|---|---|
| Compter | Nombre d’exécutions de workflow terminées jusqu’à présent. |
| Secondes | Durée d'exécution du workflow. |
| Compter | Nombre de tâches de workflow terminées jusqu'à présent. |
| Secondes | Durée d'exécution de la tâche. |