팀이 너무 많은 경고나 잘못된 경고를 받으면 경고 피로가 발생하기 시작합니다. 두 요인 중 하나가 증가하면 피로가 심각하고 부정적인 결과를 초래하기 시작합니다. 압도된 사건 대응자는 잘못된 경고에 익숙해지고 더 심각한 문제보다 신속하게 해결하기 쉬운 문제에 우선순위를 둡니다. 설상가상으로 응답 시간 목표를 유지하기 위해 해결되지 않은 인시던트를 단순히 종료하기 시작하는 경우가 많습니다. 이는 사건 대응 시간과 심각한 정전 발생이 증가하는 동안 실제 경보가 소음 속에서 손실됨을 의미합니다.
경고 피로를 해결하고 향후 발생을 방지하려면 경고 품질을 개선해야 합니다. 경보 품질 관리(AQM) 정책을 채택하면 방해 사건 수를 줄이는 데 중점을 두어 다음 사항에만 집중할 수 있습니다. 진정한 비즈니스 영향을 미칩니다. 이를 통해 경고 피로도가 줄어들고 귀하와 귀하의 팀이 적시에 적절한 장소에 주의를 집중할 수 있습니다.
다음과 같은 경우 AQM에 적합한 후보자입니다.
- 알림이 너무 많습니다.
- 오랫동안 열려 있는 알림이 있습니다.
- 관련 없는 알림이 많이 있습니다.
- 고객은 모니터링 도구보다 먼저 문제를 발견합니다.
팁
계정에서 이를 구현하기 전에 실습 학습 방식을 시도하고 싶습니까? 경보 품질 관리 랩을 확인하십시오.
경고 품질 관리를 사용하는 이유는 무엇입니까?
경고 품질 관리를 기반으로 하는 방법을 채택하면 응답 시간이 단축되고 중요한 이벤트에 대한 인식이 높아집니다. 경고 신호 대 잡음비를 개선하면 혼동이 줄어들고 문제의 근본 원인을 신속하게 식별하고 격리할 수 있습니다. 목표는 보다 가치 있는 사고가 발생할 때 식별하는 더 쉬운 방법을 만드는 동시에 덜 가치 있는 경고를 줄이는 것입니다. 결과는 다음과 같습니다.
- 가동 시간 및 가용성 증가.
- 평균 해결 시간(MTTR) 감소.
- 경고 볼륨이 감소했습니다.
- 중요하지 않은 경고를 쉽게 식별하여 가치 있게 만들거나 제거할 수 있습니다.
핵심 성과 지표 사용
올바른 KPI(핵심 성과 지표)를 사용하면 가장 시끄럽고 가치가 가장 낮은 경고를 찾는 데 도움이 되므로 해당 값을 개선하거나 제거할 수 있습니다. AQM 프로세스를 사용하여 인시던트 볼륨 및 참여 KPI를 수집 및 측정한 다음 이를 사용하여 심각한 문제를 일으키는 문제를 해결하기 위한 추세를 식별합니다. 아래에서 모든 KPI에 대한 정보와 각 KPI에 대한 NRQL 쿼리를 찾아 New Relic UI의 어디에서나 모니터링할 수 있습니다.
사고 규모
인시던트(경고 포함 또는 제외)를 작업 대기열처럼 처리해야 합니다. 대기열과 마찬가지로 알림 수는 항상 가능한 한 0에 가까워야 합니다. 각 사건은 조건을 해결하기 위해 조사 또는 시정 조치를 트리거해야 합니다. 경고가 어떤 종류의 조치로 이어지지 않으면 경고 조건의 값을 질문해야 합니다.
특히, 자주 발생하는 특정 사건을 본다면 의미 있는 영향을 지속적으로 받는 상태에 있는지 아니면 단순히 소음이 많은 것인지 질문해야 합니다. 인시던트 볼륨 KPI는 이러한 질문에 답하고 고품질 알림의 정상 상태를 향한 진행 상황을 측정하는 데 도움이 됩니다.
사용자 참여
사건의 가치는 받는 관심의 양으로 측정해야 합니다. 개별 알림이 받는 참여의 양은 그 가치를 직접적으로 측정한 것입니다. 더 많은 참여는 가치 있는 알림을 의미하는 반면, 적은(또는 0) 참여는 알림이 시끄럽고 수정하거나 비활성화해야 함을 의미합니다.
사건 인식의 순간을 측정하는 것과 해결 활동이 시작되는 시점을 인지하는 것 사이에는 상당한 차이가 있습니다. New Relic 알림과 통합을 사용하는 경우 New Relic에 전송된 Acknowledge 이벤트는 문제가 외부 사고 관리 도구로 전송될 때가 아니라 해결 활동이 시작될 때 트리거되는지 확인하십시오.
다음은 뭐지?
이전 문서 에서 AQM 프로세스를 구현하면 안정성과 안정성을 유지하면서 알림 볼륨이 크게 감소하는 것을 확인할 수 있습니다. AQM KPI는 위에 나열된 모범 사례를 따를 때 이러한 개선 사항에 대한 정확한 정보를 제공할 수 있습니다.
AQM 구현을 완료하면 다음과 같은 플랫폼의 다른 측면을 개선하고 관리할 수도 있습니다.