Recolector para monitoreo de Confluent Cloud y Kafka

Puede recopilar métricas sobre su Kafka administrado por Confluent Cloud desplegado con el recolector OpenTelemetry. El recolector es un componente de OpenTelemetry que recopila, procesa y exporta telemetry data a New Relic (o cualquier backend de observabilidad).

Esta integración funciona ejecutando una configuración de receptor prometheus dentro del recolector OpenTelemetry, que extrae la API métrica de Confluent Cloud y exporta esos datos a New Relic.

Complete los pasos a continuación para recopilar Kafka métrica de Confluent y exportarlos a New Relic.

Asegúrate de estar configurado

Antes de comenzar, debe tener el de la cuenta a la que desea informar datos. También debes verificar que:

Tienes un docker daemon ejecutándose
Tienes docker Compose instalado
Tienes una cuenta de Confluent Cloud
Tienes disponible tu clave de API y secreto de Confluent Cloud

Descargue o clone el repositorio de ejemplo

Descargue el repositorio de ejemplos de OpenTelemetry de New Relic , ya que esta configuración utiliza su configuración de recolector de ejemplo. Una vez instalado, abra el directorio de ejemplo de Confluent Cloud . Para obtener más información, también puede consultar el README allí.

Establezca variables de entorno y ejecute el recolector

Establezca la clave de API y las variables secretas para Confluent Cloud y New Relic en el archivo .env
Establezca la variable Cluster_ID con el ID del clúster objetivo Kafka

(Opcional) Para monitor conectores o registros de esquemas administrados por Confluent Cloud, puede quitar el comentario de la configuración en el archivo collector.yaml y establecer el ID correspondiente en el archivo .env.

bash

$# Open the confluent cloud example directory
$cd newrelic-opentelemetry-examples/other-examples/collector/confluentcloud
$
$# Set environment variables.
$
$# run the collector in docker
$docker compose up

Información de variables locales

Variable	Descripción	Documentos
`NEW_RELIC_API_KEY`	New Relic Ingest clave de API	Clave de documentos API
`NEW_RELIC_OTLP_ENDPOINT`	El extremo predeterminado de OTLP New Relic de EE. UU. es https://otlp.nr-data.net:4318	Documentos de configuración de OTLP extremo
`CLUSTER_ID`	ID del clúster de Confluent Cloud	Documentos para el comando de lista de ID de clúster
`CONFLUENT_API_KEY`	Clave de API en la nube	Documentos API de clave de nube
`CONFLUENT_API_SECRET`	Secreto de la API de la nube	Documentos API de clave de nube
`CONNECTOR_ID`	(OPCIONAL) Puede monitor sus conectores Confluent especificando el ID aquí	Documentos para el comando de ID del conector de lista
`SCHEMA_REGISTRY_ID`	(OPCIONAL) Puede monitor su Registro de esquemas de Confluent especificando el ID aquí	Documentos para el comando de ID del conector de lista

Ver tus datos en New Relic

Puede ver sus datos de Confluent Cloud de diferentes maneras.

Navegue hasta el mercado de New Relic y busque Confluent. ¡El panel disponible se puede instalar directamente en su cuenta!
Navegue hasta el explorador métrica y filtre por confluent_kafka. Estos datos se pueden agregar a cualquier alerta o dashboard personalizado.

Nube Confluente métrica

Esta integración cubre todas las métricas Exportables dentro de la API métrica de Confluent Cloud. Tenemos una lista parcial de las métricas Exportables a continuación:

Nombre	Descripción
confluent_kafka_server_received_bytes	El recuento delta de bytes de los datos de los clientes recibidos de la red. Cada muestra es el número de bytes recibidos desde la muestra de datos anterior. El recuento se realiza cada 60 segundos.
confluent_kafka_server_sent_bytes	El recuento delta de bytes de los datos de los clientes enviados a través de la red. Cada muestra es el número de bytes enviados desde el punto de datos anterior. El recuento se realiza cada 60 segundos.
confluent_kafka_server_received_records	El recuento delta de registros recibidos. Cada muestra es el número de registros recibidos desde la muestra de datos anterior. El recuento se realiza cada 60 segundos.
confluent_kafka_server_sent_records	El recuento delta de registros enviados. Cada muestra es el número de registros enviados desde el punto de datos anterior. El recuento se realiza cada 60 segundos.
confluent_kafka_server_retained_bytes	El recuento actual de bytes retenidos por el clúster. El recuento se realiza cada 60 segundos.
confluent_kafka_server_active_connection_count	El recuento de conexiones autenticadas activas.
confluent_kafka_server_request_count	El recuento delta de solicitudes recibidas a través de la red. Cada muestra es el número de solicitudes recibidas desde el punto de datos anterior. El recuento se realizó cada 60 segundos.
confluent_kafka_server_partition_count	El número de particiones
confluent_kafka_server_successful_authentication_count	El recuento delta de autenticaciones exitosas. Cada muestra es el número de autenticaciones exitosas desde el punto de datos anterior. El recuento se realizó cada 60 segundos.
confluent_kafka_server_consumer_lag_offsets	El retraso entre el desplazamiento comprometido de un miembro del grupo y la marca de límite superior de la partición.