New Relic propose une intégration pour collecter vos données de streaming gérées par Confluent Cloud pour Apache Kafka . Ce document explique comment activer cette intégration et décrit les données qui peuvent être signalées.
Prérequis
- Un compte New Relic
- Un compte Confluent Cloud actif
- Une clé API et un secret Confluent Cloud
MetricsViewer
accès sur le compte Confluent Cloud
Activer l'intégration
Pour activer cette intégration, accédez à Integrations & Agents, sélectionnez Confluent Cloud -> API Polling et suivez les instructions.
Important
Si vous avez configuré le filtrage IP, ajoutez les adresses IP suivantes à votre filtre.
162.247.240.0/22
152.38.128.0/19
Pour plus d'informations sur les plages IP New Relic pour l'intégration cloud, reportez-vous à ce document. Pour obtenir des instructions sur la manière d'effectuer cette tâche, reportez-vous à ce document.
configuration et sondage
Informations d'interrogation par défaut pour l'intégration Confluent Cloud Kafka :
- Intervalle d'interrogation de New Relic : 5 minutes
- Intervalle de données Confluent Cloud : 1 minute
Vous ne pouvez modifier la fréquence d'interrogation que lors de la configuration initiale.
Afficher et utiliser les données
Vous pouvez interroger et explorer vos données en utilisant le type d'événement suivant :
Entité | Type de données | Fournisseur |
---|---|---|
Cluster |
|
|
connecteur |
|
|
ksql |
|
|
Pour en savoir plus sur l’utilisation de vos données, consultez Comprendre et utiliser les données d’intégration.
données métriques
Cette intégration enregistre les données Confluent cloud Kafka pour cluster, le connecteur et ksql.
Données Cluster
métrique | Unité | Description |
---|---|---|
| Pour cent | Une mesure de l'utilisation du cluster. La valeur est comprise entre 0,0 et 1,0. Seul le cluster de niveau dédié possède ces données métriques. |
| Pour cent | Un indicateur de la présence d’une partition chaude causée par le débit d’entrée. La valeur est 1,0 lorsqu'une partition chaude est détectée et vide lorsqu'aucune partition chaude n'est détectée. |
| Pour cent | Un indicateur de la présence d'une partition chaude causée par le débit de sortie. La valeur est 1,0 lorsqu'une partition chaude est détectée et vide lorsqu'aucune partition chaude n'est détectée. |
| Octets | Le nombre delta d'octets de requête totaux provenant des types de requêtes spécifiés envoyés sur le réseau. Chaque échantillon correspond au nombre d'octets envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets de réponse totaux provenant des types de réponse spécifiés envoyés sur le réseau. Chaque échantillon correspond au nombre d'octets envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets de données des clients reçues du réseau. Chaque échantillon correspond au nombre d'octets reçus depuis l'échantillon de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets de données des clients envoyés sur le réseau. Chaque échantillon correspond au nombre d'octets envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre delta d'enregistrements reçus. Chaque échantillon correspond au nombre d'enregistrements reçus depuis l'échantillon de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre delta d'enregistrements envoyés. Chaque échantillon correspond au nombre d'enregistrements envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre de partitions. |
| Millisecondes | Le décalage entre le décalage validé d'un membre du groupe et le niveau d'eau élevé de la partition. |
| Compter | Le nombre delta d'authentifications réussies. Chaque échantillon correspond au nombre d'authentifications réussies depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre de connexions authentifiées actives. |
Données du connecteur
métrique | Unité | Description |
---|---|---|
| Compter | Le nombre delta du nombre total d'enregistrements envoyés à partir des transformations et écrits dans Kafka pour le connecteur source. Chaque échantillon correspond au nombre d'enregistrements envoyés depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Bit | L'état d'un connecteur dans le système. Sa valeur est toujours fixée à 1, signifiant la présence du connecteur. L'état opérationnel actuel du connecteur est identifié via la tag métrique.status. |
| Bit | L'état de la tâche d'un connecteur au sein du système. Sa valeur est toujours définie sur 1, signifiant la présence de la tâche du connecteur. L'état opérationnel actuel du connecteur est identifié via la tag métrique.status. |
| Compter | La taille moyenne du lot (mesurée par le nombre d'enregistrements) par minute. Pour un connecteur source, il indique la taille moyenne du lot envoyé à Kafka. Pour un connecteur de récepteur, il indique la taille moyenne du lot lu par la tâche de récepteur. |
| Compter | La taille maximale du lot (mesurée par le nombre d'enregistrements) par minute. Pour un connecteur source, il indique la taille maximale du lot envoyé à Kafka. Pour un connecteur de récepteur, il indique la taille maximale du lot lu par la tâche du récepteur. |
| Compter | Le nombre delta du nombre total d'enregistrements reçus par le connecteur récepteur. Chaque échantillon correspond au nombre d’enregistrements reçus depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta du nombre total d'enregistrements reçus par le connecteur récepteur. Chaque échantillon correspond au nombre d’enregistrements reçus depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Octets | Le nombre delta d'octets totaux reçus par le connecteur récepteur. Chaque échantillon correspond au nombre d'octets reçus depuis le point de données précédent. Le comptage est échantillonné toutes les 60 secondes. |
| Compter | Le nombre delta d'enregistrements de file d'attente de lettres mortes écrits dans Kafka pour le connecteur de récepteur. Le comptage est échantillonné toutes les 60 secondes. |
données ksql
métrique | Unité | Description |
---|---|---|
| Compter | Nombre d'unités de streaming confluentes (CSU) pour cette instance KSQL. Le comptage est échantillonné toutes les 60 secondes. L'agrégation temporelle implicite pour cette métrique est MAX. |
| Pour cent | La saturation maximale pour une requête ksqlDB donnée sur tous les nœuds. Renvoie une valeur comprise entre 0 et 1, une valeur proche de 1 indique que le traitement des requêtes ksqlDB est goulot d'étranglement sur les ressources disponibles. |
| Octets | La taille de l'état d'une tâche donnée est stockée en octets. |
| Pour cent | L'utilisation totale du stockage pour une application ksqlDB donnée. |
| Octets | Le nombre delta d'octets consommés par Kafka par requête continue sur la période demandée. |
| Octets | Le nombre delta d'octets produits vers Kafka par requête continue sur la période demandée. |
| Compter | Le nombre delta de décalages traités par une requête, une tâche, un sujet ou un décalage donné. |
| Millisecondes | Le décalage actuel entre le décalage validé et le décalage de fin pour une requête, une tâche, une rubrique ou un décalage donné. |
| Compter | Nombre delta du nombre d'erreurs de traitement d'enregistrement d'une requête sur la période demandée. |
| Compter | Nombre delta du nombre d'échecs qui provoquent le redémarrage d'une requête sur la période demandée. |