Coletor para monitoramento Confluent Cloud e Kafka

Você pode coletar métricas sobre sua implantação Kafka gerenciada pelo Confluent Cloud com o coletor OpenTelemetry. O coletor é um componente do OpenTelemetry que coleta, processa e exporta dados de telemetria para o New Relic (ou qualquer backend de observabilidade).

Essa integração funciona executando uma configuração de receptor prometheus dentro do coletor OpenTelemetry, que extrai a API métrica do Confluent Cloud e exporta esses dados para o New Relic.

Conclua as etapas abaixo para coletar métricas Kafka do Confluent e exportá-las para o New Relic.

Verifique se você está configurado

Antes de começar, você precisa ter o da conta para a qual deseja relatar dados. Você também deve verificar se:

Você tem um daemon docker em execução
Você tem docker Compose instalado
Você tem uma conta Confluent Cloud
Você tem sua chave de API e segredo do Confluent Cloud disponível

Baixe ou clone o repositório de exemplo

Baixe o repositório de exemplos OpenTelemetry da New Relic, pois esta configuração usa seu exemplo de configuração do coletor. Depois de instalado, abra o diretório de exemplo do Confluent Cloud . Para obter mais informações, você também pode verificar README lá.

Defina variáveis de ambiente e execute o coletor

Defina a chave de API e as variáveis secretas para Confluent Cloud e New Relic no arquivo .env
Defina a variável Cluster_ID com o ID do cluster kafka de destino

(Opcional) Para monitor conectores ou registros de esquema gerenciados pelo Confluent Cloud, você pode remover o comentário da configuração no arquivo collector.yaml e definir o ID correspondente no arquivo .env

bash

$# Open the confluent cloud example directory
$cd newrelic-opentelemetry-examples/other-examples/collector/confluentcloud
$
$# Set environment variables.
$
$# run the collector in docker
$docker compose up

Informações de variáveis locais

Variável	Descrição	Documentos
`NEW_RELIC_API_KEY`	New Relic	Documentos de chave de API
`NEW_RELIC_OTLP_ENDPOINT`	O endpoint OTLP New Relic padrão dos EUA é https://otlp.nr-data.net:4318	Documentos de configuração do endpoint OTLP
`CLUSTER_ID`	ID do cluster do Confluent Cloud	Documentos para o comando list cluster ID
`CONFLUENT_API_KEY`	Chave de API da nuvem	Documentos da chave da API do Cloud
`CONFLUENT_API_SECRET`	Segredo da API da nuvem	Documentos da chave da API do Cloud
`CONNECTOR_ID`	(OPCIONAL) Você pode monitor seus conectores Confluent especificando o ID aqui	Documentos para o comando de ID do conector de lista
`SCHEMA_REGISTRY_ID`	(OPCIONAL) Você pode monitor seu registro de esquema confluente especificando o ID aqui	Documentos para o comando de ID do conector de lista

Visualize seus dados no New Relic

Você pode visualizar seus dados do Confluent Cloud de algumas maneiras diferentes.

Navegue até o mercado New Relic e pesquise Confluent. O painel disponível pode ser instalado diretamente na sua conta!
Navegue até o explorador métrico e filtre por confluent_kafka. Esses dados podem ser adicionados a qualquer alerta ou dashboard personalizado.

Métrica de nuvem confluente

Esta integração cobre todas as métricas exportáveis dentro da API métrica do Confluent Cloud. Temos abaixo uma lista parcial das métricas exportáveis :

Nome	Descrição
confluent_kafka_server_received_bytes	A contagem delta de bytes dos dados dos clientes recebidos da rede. Cada amostra é o número de bytes recebidos desde a amostra de dados anterior. A contagem é amostrada a cada 60 segundos.
confluent_kafka_server_sent_bytes	A contagem delta de bytes dos dados dos clientes enviados pela rede. Cada amostra é o número de bytes enviados desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos.
confluent_kafka_server_received_records	A contagem delta de registros recebidos. Cada amostra é o número de registros recebidos desde a amostra de dados anterior. A contagem é amostrada a cada 60 segundos.
confluent_kafka_server_sent_records	A contagem delta de registros enviados. Cada amostra é o número de registros enviados desde o ponto de dados anterior. A contagem é amostrada a cada 60 segundos.
confluent_kafka_server_retained_bytes	A contagem atual de bytes retidos pelo cluster. A contagem é amostrada a cada 60 segundos.
confluent_kafka_server_active_connection_count	A contagem de conexões autenticadas ativas.
confluent_kafka_server_request_count	A contagem delta de solicitações recebidas pela rede. Cada amostra é o número de solicitações recebidas desde o ponto de dados anterior. A contagem amostrada a cada 60 segundos.
confluent_kafka_server_partition_count	O número de partições
confluent_kafka_server_successful_authentication_count	A contagem delta de autenticações bem-sucedidas. Cada amostra é o número de autenticações bem-sucedidas desde o ponto de dados anterior. A contagem amostrada a cada 60 segundos.
confluent_kafka_server_consumer_lag_offsets	O atraso entre o deslocamento confirmado de um membro do grupo e o limite máximo da partição.