Padrões de log são a maneira mais rápida de descobrir valor nos dados log sem pesquisar.
Os dados de log são telemetria de alto volume com um valor baixo por registro individual. A pesquisa pode levar rapidamente a registros que fornecem uma explicação da causa raiz, mas a maioria dos dados é repetitiva e difícil de contextualizar durante a navegação. Os padrões podem tornar os dados de log detectáveis sem gastar muito tempo lendo dados de baixo valor.
one.newrelic.com > All capabilities > Logs > Patterns: Padrões de log ajudam você a detectar picos ou quedas suspeitas na mensagem do log sem ter que gastar mais tempo pesquisando.
Visão geral técnica
A funcionalidade Padrões de log aplica aprendizado de máquina para normalizar e agrupar mensagens do log que são consistentes em formato, mas variáveis em conteúdo. Essas mensagens agrupadas podem ser classificadas, facilitando a localização dos conjuntos de log mais frequentes ou mais raros em seu ambiente.
Use padrões como base para alertas quando a frequência de dados importantes mudar ou para configurar regras de descarte para se livrar de dados repetitivos desnecessários.
Padrões de log usam algoritmos de cluster avançados para agrupar automaticamente mensagens do log semelhantes. Com padrões, você pode:
- Oriente-se mais rapidamente através de milhões de registros.
- Reduza o tempo necessário para identificar comportamentos incomuns em seu patrimônio de log.
- Monitor a frequência de padrões conhecidos ao longo do tempo para concentrar sua energia no que importa e excluir o que é irrelevante.
Disponibilidade
Se você vir Patterns are turned off em sua interface de registro, clique em Configure patterns e ative-o. Se você não vir padrões dentro de 30 minutos após ativar o recurso, pode haver falta de dados com um atributo de mensagem para o sistema criar um padrão a partir dele.
Padrões de log | Limitações e considerações |
|---|---|
Preços | Não há preços separados para Padrões de toras. O único custo é para dados adicionais gerados e adicionados aos seus registros de log. Um atributo de padrão será adicionado a todos os logs que correspondam a um padrão. atributo também pode ser adicionado quando valores comuns são descobertos, como GUIDs, endereços IP, URL ou endereços de e-mail. Esses atributos são extraídos automaticamente da mensagem do log como parte do processo do padrão. |
Contas HITRUST | O recurso Padrões de log não é compatível com FedRAMP. FedRAMP ou outras contas HITRUST não são elegíveis para usar padrões. |
Limites de correspondência de padrões de log | Temos um sistema de limites de segurança de memória e recursos de CPU ao combinar log com padrões. Estes limites de correspondência podem ter um impacto na percentagem de toras que podem ser agrupadas em Padrões de toras. No entanto, a correspondência de Padrões de log é um processo de "melhor esforço": não é um erro se nem todos os seus logs tiverem a oportunidade de serem agrupados por padrões. Você ainda obterá valor do agrupamento que pode ser feito dentro dos limites de recursos. |
Iniciar
Para começar a examinar padrões:
Vá para
one.newrelic.com > All capabilities > Logs
e use o dropdown do seletor de contas para selecionar a conta de destino onde deseja explorar padrões.
Na navegação esquerda da interface de registro, clique em
Patterns
.
A interface principal log muda para mostrar padrões que correspondem à consulta na barra de consulta. Para visualizar o registro de um período de tempo específico, clique nesse ponto (ou clique e arraste uma área) no gráfico ou use o seletor de hora.
Explorar Padrões de log
Por padrão, a interface Padrões de log mostra primeiro a ocorrência mais frequente de padrões. Para classificar e mostrar primeiro os padrões mais raros, clique na coluna Count . Você também pode usar a barra de consulta ou barra de atributo para filtrar seus Padrões de log.
Se você quiser... | Fazem isto... |
|---|---|
Entenda a taxa de mudança nos padrões | Observe o gráfico de linhas. Os padrões codificados por cores correspondem à coluna plot da tabela. Você pode alternar padrões plot individuais para restringir seu foco. |
Veja a mensagem do log individual que corresponde a cada padrão | Clique em pattern para expandir a linha e ver uma tabela de registros de log individuais.
|
Agrupe e filtre padrões por seu atributo | Utilize a barra de consulta e o seletor de hora. À medida que você aplica diferentes filtros e janelas de tempo, os Padrões de log se ajustam aos novos dados do seu destino. |
Crie um alerta a partir de um padrão | Adicione o padrão à barra de consulta e execute a consulta. Em seguida, clique em Create alert condition na navegação esquerda. |
Solucionar problemas de mensagens do log que não foram agrupadas em um padrão | Use a guiaLogs with no pattern na interface do usuário Log patterns . |
Clicar em uma mensagem do log específica abrirá o painel de detalhes da mensagem do log com o qual você está familiarizado na interface de log.
Explorar log sem padrão
A guia Logs with no pattern agrupa todas as mensagens recentes de login na sua conta que ainda não foram agrupadas em um padrão conhecido. Estas mensagens do log não representam nenhum problema ou falha no sistema; eles não têm padrão porque são novos demais para serem processados pelo sistema de aprendizado de máquina. Isso os torna valiosos para serem explorados quando você deseja entender o que mudou recentemente em seu ambiente.
Por exemplo:
- Algum desses registros está vinculado a um problema recente? Esta é uma maneira rápida de descobrir dados de log exclusivos que aparecem pela primeira vez em seu ambiente.
- Seus dados log têm um novo formato? Às vezes, o log não representa um problema, mas um novo formato de dados de log que se desvia do modelo de dados que você espera que seu aplicativo siga.
Capturar esses logs antecipadamente lhe dá a oportunidade de pedir aos desenvolvedores que corrijam qualquer Desvio em sua saída log . Quanto mais consistentes as pessoas forem na forma como os dados log são gerados, mais fácil será usar o log em um conjunto diversificado de equipes.
Atributo mascarado e curingas
Partes dos padrões da mensagem do log in são classificadas como variáveis e substituídas por atributos mascarados. O processo de mascaramento suporta e melhora a fase de agrupamento, permitindo que o algoritmo ignore a mudança de detalhes e se concentre na estrutura repetitiva.
Os atributos mascarados incluem:
date_timeipurluuid
Os atributos mascarados são destacados e fáceis de identificar, conforme mostrado no exemplo a seguir.
Padrões de log extraem outras variáveis menos triviais que não pertencem a nenhum atributo mascarado. Essas variáveis são indicadas como curingas *.
Resolução de problemas
Aqui estão alguns motivos pelos quais você tem padrões ativados, mas não vê nenhum dado de padrão. Se você tiver certeza de que nenhum desses itens é verdade, obtenha ajuda em support.newrelic.com.
- Nenhum dado chegou no período que você está observando. Tente expandir o intervalo de tempo que você está visualizando com o seletor de hora.
- Já se passaram menos de 24 horas desde que os padrões foram ativados na conta. Isso significa que o modelo de ML pode ainda não ter sido gerado para a conta.
- Nenhum dos dados recebidos possui um campo
message. Os padrões serão gerados apenas para valores no campomessagede um registro de log. Se o seu log não contivermessage, não haverá dados.
Coloque a plataforma para trabalhar com padrões
Padrões são um valor que é enriquecido na mensagem do log existente como um novo atributo chamado newrelic.logPattern. Tudo o que você pode fazer com toras geralmente pode ser feito com Padrões de toras, como:
Crie seu próprio painel com padrões para monitor um padrão específico ou grupo de padrões de seu interesse.
Crie
para padrões adicionando alertas NRQL.
Utilize anomalia condição do alerta para detectar anomalia em Padrões de log conhecidos.