Puede recopilar métricas sobre su Kafka administrado por Confluent Cloud desplegado con el recolector OpenTelemetry. El recolector es un componente de OpenTelemetry que recopila, procesa y exporta telemetry data a New Relic (o cualquier backend de observabilidad).
Esta integración funciona ejecutando una configuración de receptor prometheus dentro del recolector OpenTelemetry, que extrae la API métrica de Confluent Cloud y exporta esos datos a New Relic.
Complete los pasos a continuación para recopilar Kafka métrica de Confluent y exportarlos a New Relic.
Asegúrate de estar configurado
Antes de comenzar, debe tener el de la cuenta a la que desea informar datos. También debes verificar que:
- Tienes un docker daemon ejecutándose
- Tienes docker Compose instalado
- Tienes una cuenta de Confluent Cloud
- Tienes disponible tu clave de API y secreto de Confluent Cloud
Descargue o clone el repositorio de ejemplo
Descargue el repositorio de ejemplos de OpenTelemetry de New Relic , ya que esta configuración utiliza su configuración de recolector de ejemplo. Una vez instalado, abra el directorio de ejemplo de Confluent Cloud . Para obtener más información, también puede consultar el README
allí.
Establezca variables de entorno y ejecute el recolector
Establezca la clave de API y las variables secretas para Confluent Cloud y New Relic en el archivo
.env
Establezca la variable
Cluster_ID
con el ID del clúster objetivo Kafka(Opcional) Para monitor conectores o registros de esquemas administrados por Confluent Cloud, puede quitar el comentario de la configuración en el archivo
collector.yaml
y establecer el ID correspondiente en el archivo.env
.bash$# Open the confluent cloud example directory$cd newrelic-opentelemetry-examples/other-examples/collector/confluentcloud$$# Set environment variables.$$# run the collector in docker$docker compose upInformación de variables locales
Variable
Descripción
Documentos
NEW_RELIC_API_KEY
New Relic Ingest clave de API
NEW_RELIC_OTLP_ENDPOINT
El extremo predeterminado de OTLP New Relic de EE. UU. es https://otlp.nr-data.net:4318
CLUSTER_ID
ID del clúster de Confluent Cloud
CONFLUENT_API_KEY
Clave de API en la nube
CONFLUENT_API_SECRET
Secreto de la API de la nube
CONNECTOR_ID
(OPCIONAL) Puede monitor sus conectores Confluent especificando el ID aquí
SCHEMA_REGISTRY_ID
(OPCIONAL) Puede monitor su Registro de esquemas de Confluent especificando el ID aquí
Ver tus datos en New Relic
Puede ver sus datos de Confluent Cloud de diferentes maneras.
- Navegue hasta el mercado de New Relic y busque
Confluent
. ¡El panel disponible se puede instalar directamente en su cuenta! - Navegue hasta el explorador métrica y filtre por
confluent_kafka
. Estos datos se pueden agregar a cualquier alerta o dashboard personalizado.
Nube Confluente métrica
Esta integración cubre todas las métricas Exportables dentro de la API métrica de Confluent Cloud. Tenemos una lista parcial de las métricas Exportables a continuación:
Nombre | Descripción |
---|---|
confluent_kafka_server_received_bytes | El recuento delta de bytes de los datos de los clientes recibidos de la red. Cada muestra es el número de bytes recibidos desde la muestra de datos anterior. El recuento se realiza cada 60 segundos. |
confluent_kafka_server_sent_bytes | El recuento delta de bytes de los datos de los clientes enviados a través de la red. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se realiza cada 60 segundos. |
confluent_kafka_server_received_records | El recuento delta de registros recibidos. Cada muestra es el número de registros recibidos desde la muestra de datos anterior. El recuento se realiza cada 60 segundos. |
confluent_kafka_server_sent_records | El recuento delta de registros enviados. Cada muestra es el número de registros enviados desde el punto de datos anterior. El recuento se realiza cada 60 segundos. |
confluent_kafka_server_retained_bytes | El recuento actual de bytes retenidos por el clúster. El recuento se realiza cada 60 segundos. |
confluent_kafka_server_active_connection_count | El recuento de conexiones autenticadas activas. |
confluent_kafka_server_request_count | El recuento delta de solicitudes recibidas a través de la red. Cada muestra es el número de solicitudes recibidas desde el punto de datos anterior. El recuento se realizó cada 60 segundos. |
confluent_kafka_server_partition_count | El número de particiones |
confluent_kafka_server_successful_authentication_count | El recuento delta de autenticaciones exitosas. Cada muestra es el número de autenticaciones exitosas desde el punto de datos anterior. El recuento se realizó cada 60 segundos. |
confluent_kafka_server_consumer_lag_offsets | El retraso entre el desplazamiento comprometido de un miembro del grupo y la marca de límite superior de la partición. |