Reduza o ruído com alerta de qualidade

Alerta redundante enterra incidentes críticos sob ruído. Avaliar o seu alerta existente é uma parte fundamental da sua estratégia de priorização, pois a qualidade do seu alerta se traduz na forma como as suas equipes respondem ao incidente. Se houver muito ruído, você corre o risco de cansar sua equipe com incidentes de baixa prioridade que têm pouco ou nenhum impacto nos negócios. incidentes que não alertam, no entanto, levam a interrupções que afetam a experiência dos clientes.

Objetivos

Este tutorial pressupõe que você já tenha um alerta ativo. Oferece algumas recomendações sobre como gerenciar a qualidade do seu alerta e fornece algumas consultas de NRQL para a criação de novos. Você irá:

• Instale o dashboard de gerenciamento de qualidade de alerta (AQM)
• Diferencie entre um alerta bom e um alerta ruim
• Revise nossas strings NRQL recomendadas para criar alertas

Instale o dashboard AQM

AQM se concentra em reduzir o número de incidentes incômodos para que sua equipe se concentre em alertascom verdadeiro impacto nos negócios. Você é um bom candidato para AQM se:

• Você tem muitos alertas.
• Você tem alertas que ficam abertos por longos períodos de tempo.
• Seus clientes descobrem seus problemas antes das ferramentas de monitoramento.

Para começar, instale o dashboard AQM através do nosso início rápido:

1. Acesse a página de observabilidade instantânea

   Alert Quality Management

   .

2. Clique no botão

   Install now

   .

3. Siga o prompt para escolher a conta na qual deseja instalar o dashboard .

4. Visualize seu dashboard.

Recomendamos que você passe pelo menos duas semanas com o dashboard AQM. Durante esse período, o dashboard AQM coletará dados sobre como suas equipes interagem com todos os seus alertas.

Como regra geral, recomendamos remover estes tipos de alerta:

• Gerar incidentes "sempre ativos" com milhares de minutos ou mais de duração acumulada.
• Onde 30% ou mais dos incidentes ficam abertos por menos de 5 minutos.
• Cujo tempo médio de fechamento é superior a 30 minutos.
• Crie mais de 350 incidentes por semana.

Crie novo alerta para pico de demanda

Com as políticas existentes sob revisão, você pode querer criar novos alertas ajustados para picos de demanda. A criação de um bom alerta depende da especificidade das suas configurações. Dois alertas podem compartilhar a mesma consulta de condição de alerta, por exemplo:

SELECT average(`apm.service.memory.heap.used`) FROM Metric WHERE appName = 'Inventory Service'

Embora a consulta em si seja uma forte política de alertas, a forma como você configura esse alerta pode criar redundância ou ruído. Um alerta incorreto pode ter uma duração de janela muito pequena, um limite baixo ou nenhum atraso ou baseline. Além disso, anexar uma condição do alerta a uma fonte de dados relativamente nova também pode criar problemas, pois não há histórico suficiente para detectar comportamento anônimo.

Se você está pronto para criar um novo alerta, aqui estão algumas consultas recomendadas que você pode usar no seu dia de jogo:

SELECT average(duration) FROM Transaction WHERE account_id in (91290, 102021, 20230)

SELECT percentile(duration, 95) FROM Transaction WHERE name LIKE 'Controller/checkout/%'

SELECT percentile(duration, 95) FROM Transaction

SELECT percentile(databaseDuration, 75) FROM Transaction

SELECT max(duration) FROM Transaction

SELECT average(duration) FROM Transaction

SELECT percentage(count(*), WHERE duration > 2) FROM Transaction

SELECT percentage(count(*), WHERE http.statusCode = '500') FROM Transaction

SELECT apdex(duration, t:0.5) FROM Transaction WHERE appName like '%prod%'