New Relic Queues and Streams oferece uma solução abrangente para monitorar seu cluster Kafka, fornecendo insights detalhados sobre possíveis problemas, como falhas, gargalos e limitações.
Este documento ajuda você a:
- Encontre seus dados de telemetria do Kafka na interface do usuário do New Relic.
- Entenda as principais métricas e dados disponíveis na interface New Relic .
- Aprenda a usar a interface New Relic para monitorar e observar o desempenho do seu Kafka fila de mensagens e dados de streaming.
Acessando filas e dados de fluxos na interface do usuário do New Relic
Para visualizar os dados do seu cluster na interface do usuário do New Relic, acesse one.newrelic.com > All capabilities > Queues & Streams.
Para visualizar os dados do cluster Kafka, na página de Queues & Streams summary , na coluna Name , selecione o provedor do cluster Kafka. Você também pode usar a barra de pesquisa ou o filtro para procurar um cluster Kafka específico com base no provedor, no nome da conta ou no ID da conta.
Métricas e dados importantes na interface New Relic
Com o New Relic Queues and Streams para Kafka, você obtém:
Insights instantâneos do Kafka: extraia informações importantes do cliente Kafka métrica sem esforço com o agente Java para obter rapidamente insights do Kafka conectando os pontos entre seus hosts e serviços por meio de uma interface unificada. Identifique outliers e solucione problemas mais rapidamente: identifique anomalias instantaneamente em métricas-chave em todos os componentes do cliente Kafka - produtores e consumidores - para garantir um fluxo de dados tranquilo Identifique gargalos: usando latência métrica, taxas de limitação, profundidade da fila e contagens de novas tentativas, identifique gargalos que impactam o fluxo de dados e aumentem a latência. Descubra problemas ocultos do broker: analise métricas do lado do cliente, como tempo de limitação do produtor/consumidor e crescimento da taxa de novas tentativas para detectar possíveis problemas do lado do broker e limitações de recursos Aumente o fluxo de dados com otimização do lado do cliente: identifique fluxos de dados não compactados por meio de métricas, como taxa média de compactação do produtor, e implemente estratégias de compactação eficientes para reduzir o tamanho dos dados e melhorar as taxas de transferência.
Resumo
A seção Summary fornece uma visão geral do cluster Kafka, incluindo o número de corretores, tópicos e partições.
O Kafka Navigator fornece uma representação pictórica do cluster, corretores ou tópicos saudáveis e não saudáveis do Kafka. O favo de mel verde representa o estado saudável, enquanto o favo de mel amarelo representa o estado não saudável. Passe o mouse sobre o bloco de favo de mel para visualizar os detalhes do cluster, broker ou tópico. Você também pode clicar no bloco de favo de mel para visualizar detalhes adicionais do cluster, broker ou tópico.
Incoming throughput by clusters (bytes/sec) fornece os dados de série temporal de taxas de transferência de entrada do cluster Kafka em bytes por segundo.
By Cluster bar chart visualisations fornecem a contagem de tópicos sendo gravados ou lidos de todos os brokers no cluster Kafka, juntamente com o número de partições e brokers nesses cluster.
Tópicos
A seção de tópicos fornece uma visão detalhada das 20 principais entidades de tópicos no cluster Kafka, incluindo taxas de transferência de entrada e saída e taxa de mensagens. Você pode clicar na entidade do tópico para visualizar detalhes adicionais do tópico, como bytes de entrada, bytes de saída, mensagens de entrada, busca de mensagens, etc.