Les intégrations New Relic avec Google Cloud Platform (GCP) en incluent une qui signale les données de Google Cloud Managed Service for Apache Kafka à New Relic. Ce document explique comment activer l'intégration GCP Managed Kafka et décrit les données qu'elle signale.
Caractéristiques
Managed Service for Apache Kafka est la plateforme de streaming entièrement gérée de Google Cloud, compatible avec Apache Kafka, incluant Kafka Connect. L’intégration New Relic Managed Kafka collecte les métriques de débit, de décalage, de rétention et de santé des connecteurs à travers les clusters, les topics, les partitions, les groupes de consommateurs, ainsi que les clusters et connecteurs Kafka Connect.
Activer l'intégration
Pour activer l’intégration, suivez les procédures standard pour connecter votre service GCP à New Relic:
Fréquence des sondages
Les intégrations New Relic interrogent vos services GCP selon un intervalle d’interrogation qui varie selon l’intégration. La fréquence d'interrogation pour Google Cloud Managed Kafka est de 5 minutes. La résolution est de 1 point de données par minute.
Important
Managed Service for Apache Kafka prend en charge des intervalles d’interrogation de 1 minute pour les intégrations WIF en version préliminaire limitée. Pour demander l'accès, contactez le support New Relic.
Fédération d'identité de workload (Workload Identity Federation)
Rechercher et utiliser des données
Après avoir activé l’intégration, vos ressources Managed Kafka apparaissent en tant qu’entités dans l’explorateur d’entités de New Relic. Pour voir les dashboards et gérer les services, accédez à one.newrelic.com > All capabilities > Infrastructure > GCP.
Toutes les métriques Managed Kafka disponibles dans le monitoring cloud GCP sont collectées en tant que métriques dimensionnelles dans le type d'événement Metric. Des métriques supplémentaires au-delà de ce tableau sont collectées automatiquement. Consultez la documentation sur les métriques Managed Kafka de Google pour obtenir la liste complète.
Entité
données métriques
Principales métriques — Cluster
Nom métrique | Unité | Description |
|---|---|---|
| Pour cent | Utilisation du processeur sur les nœuds de broker dans le cluster Managed Kafka. |
| Pour cent | Utilisation de la mémoire sur l’ensemble des nœuds de broker dans le cluster Managed Kafka. |
| Octets | Stockage utilisé par le cluster Managed Kafka. |
| Compter | Nombre de brokers actuellement en cours d’exécution dans le cluster Managed Kafka. |
| Compter | Nombre de topics sur le cluster Managed Kafka. |
Principales métriques — Topic
Nom métrique | Unité | Description |
|---|---|---|
| Octets | Octets produits dans le topic Managed Kafka. |
| Octets | Octets consommés depuis le topic Managed Kafka. |
| Compter | Messages produits dans le topic Managed Kafka. |
| Compter | Nombre de partitions dans le sujet Managed Kafka. |
| Octets | Taille totale sur disque du topic Managed Kafka sur toutes les partitions. |
Métriques clés — partition de sujet
Nom métrique | Unité | Description |
|---|---|---|
| Octets | Taille sur disque de la partition du topic. |
| Compter | Offset le plus récent produit pour la partition du topic. |
| Compter | Décalage disponible le plus ancien dans la partition de topic. |
| Compter | Décalage de fin de log pour la partition de topic. |
| Compter | Nombre de messages dont la partition est en avance sur son consommateur le plus lent. |
Métriques clés — groupe de consommateurs
Nom métrique | Unité | Description |
|---|---|---|
| Compter | Nombre de messages de retard du groupe de consommateurs par rapport au dernier offset, réparti par partition. |
| Compter | Dernier offset validé par le groupe de consommateurs. |
| Compter | Nombre de membres actifs dans le groupe de consommateurs. |
| Compter | Nombre de rééquilibrages de groupes de consommateurs observés. |
Principales métriques — Connect Cluster
Nom métrique | Unité | Description |
|---|---|---|
| Secondes | Secondes CPU consommées par les workers dans le cluster Kafka Connect. |
| Octets | Mémoire actuellement utilisée par les workers dans le cluster Kafka Connect. |
| Compter | Nombre de requests d’API de connecteur traitées par le cluster Kafka Connect. |
| Compter | Nombre de workers actuellement en cours d'exécution dans le cluster Kafka Connect. |
| Millisecondes | Distribution de la latence pour les requests d’API du connecteur sur le cluster Kafka Connect. |
Principales métriques — connecteur
Nom métrique | Unité | Description |
|---|---|---|
| Compter | Nombre de tâches en cours d'exécution pour le connecteur, réparties par état de tâche. |
| Compter | Nombre d'enregistrements ayant produit des erreurs sur le connecteur. |
| Compter | Enregistrements actifs mis en mémoire tampon sur les connecteurs de destination. |
| Compter | Nombre d’enregistrements écrits par les connecteurs sources vers Kafka. |
| Compter | Nombre d'enregistrements lus par les connecteurs récepteurs à partir de Kafka. |
Pour obtenir la liste complète des métriques Managed Kafka, consultez la documentation sur les métriques Managed Kafka de Google.