패턴으로 로그 데이터에서 가치 발견

로그 패턴은 검색 없이 로그 데이터에서 가치를 발견하는 가장 빠른 방법입니다.

로그 데이터는 개별 레코드당 값이 낮은 대용량 원격 분석입니다. 검색하면 근본 원인 설명을 제공하는 로그가 빠르게 생성될 수 있지만 대부분의 데이터는 반복적이고 검색할 때 상황을 파악하기 어렵습니다. 패턴을 사용하면 값이 낮은 데이터를 읽는 데 많은 시간을 소비하지 않고도 로그 데이터를 검색할 수 있습니다.

기술 개요

로그 패턴 기능은 기계 학습을 적용하여 형식은 일관되지만 내용은 가변적인 로그 메시지를 정규화하고 그룹화합니다. 이러한 그룹화된 메시지를 정렬할 수 있으므로 사용자 환경에서 가장 빈번하거나 가장 희귀한 로그 세트를 쉽게 찾을 수 있습니다.

중요한 데이터의 빈도가 변경될 때 경고의 기반으로 패턴을 사용하거나 불필요한 반복 데이터를 제거하기 위해 삭제 규칙을 구성합니다.

로그 패턴은 고급 클러스터링 알고리즘을 사용하여 유사한 로그 메시지를 자동으로 그룹화합니다. 패턴을 사용하여 다음을 수행할 수 있습니다.

• 수백만 개의 로그를 통해 더 빠르게 방향을 지정합니다.
• 로그 자산에서 비정상적인 동작을 식별하는 데 걸리는 시간을 줄입니다.
• 시간이 지남에 따라 알려진 패턴의 빈도를 모니터링하여 중요한 것에 에너지를 집중하고 관련 없는 것은 제외하십시오.

유효성

로그 UI에 Patterns are turned off 표시되면 Configure patterns 클릭하고 활성화하세요. 기능을 활성화한 후 30분 이내에 패턴이 표시되지 않으면 시스템에서 패턴을 생성할 메시지 속성이 있는 데이터가 부족한 것일 수 있습니다.

시작하다

패턴 검사를 시작하려면:

1. one.newrelic.com > All capabilities > Logs

   으로 이동하여 계정 선택기 드롭다운 메뉴를 사용하여 패턴을 탐색하려는 목표 계정을 선택하세요.

2. 로그 UI의 왼쪽 탐색에서

   Patterns

   클릭합니다.

기본 로그 UI가 쿼리 표시줄에 쿼리와 일치하는 패턴을 표시하도록 변경됩니다. 특정 기간의 로그를 보려면 차트에서 해당 지점을 클릭(또는 영역을 클릭하고 드래그)하거나 시간 선택기를 사용하세요.

로그 패턴 탐색

기본적으로 로그 패턴 UI는 가장 자주 발생하는 패턴을 먼저 표시합니다. 가장 희귀한 패턴을 먼저 표시하도록 정렬하려면 Count 열을 클릭하세요. 쿼리 표시줄이나 속성 표시줄을 사용하여 로그 패턴을 필터링할 수도 있습니다.

특정 로그 메시지를 클릭하면 로그 UI에서 익숙한 로그 메시지 세부 정보 패널이 열립니다.

패턴이 없는 로그 탐색

Logs with no pattern 탭은 아직 알려진 패턴으로 클러스터링되지 않은 계정의 모든 최근 로그 메시지를 그룹화합니다. 이러한 로그 메시지는 시스템의 문제나 결함을 나타내지 않습니다. 너무 새롭기 때문에 기계 학습 시스템에서 처리할 수 없기 때문에 패턴이 없습니다. 따라서 최근 환경에서 변경된 사항을 이해하고 싶을 때 탐색하는 것이 중요합니다.

예를 들어:

• 이러한 로그 중 최근 문제와 관련된 로그가 있습니까? 이것은 사용자 환경에서 처음으로 나타나는 고유한 로그 데이터를 검색하는 빠른 방법입니다.
• 로그 데이터에 새로운 형식이 있습니까? 때때로 로그는 문제를 나타내지 않지만 애플리케이션이 따를 것으로 예상하는 데이터 모델에서 벗어나는 새로운 형식의 로그 데이터입니다.

이러한 로그를 조기에 포착하면 개발자에게 로그 출력의 편차를 수정하도록 요청할 수 있습니다. 로그 데이터가 생성되는 방식에 일관성이 있는 사람들이 많을수록 다양한 팀 집합에서 로그를 사용하기가 더 쉬워집니다.

마스킹된 속성 및 와일드카드

패턴의 로그 메시지 부분은 변수로 분류되며 마스크된 속성으로 대체됩니다. 마스킹 프로세스는 알고리즘이 변화하는 세부 사항을 무시하고 반복적인 구조에 집중할 수 있도록 하여 클러스터링 단계를 지원하고 개선합니다.

마스킹된 속성에는 다음이 포함됩니다.

• date_time
• ip
• url
• uuid

다음 예와 같이 마스킹된 속성이 강조 표시되어 쉽게 식별할 수 있습니다.

로그 패턴은 마스킹된 속성에 속하지 않는 다른 덜 사소한 변수를 추출합니다. 이러한 변수는 와일드카드 * 로 표시됩니다.

문제점 해결

다음은 패턴을 활성화했지만 패턴 데이터가 표시되지 않는 몇 가지 이유입니다. 이 항목 중 어느 것도 사실이 아니라고 확신하는 경우 support.newrelic.com 에서 도움을 받으십시오.

• 관찰 중인 기간에 데이터가 도착하지 않았습니다. 시간 선택기로 보고 있는 시간 범위를 확장해 보세요.
• 계정에서 패턴이 활성화된 지 24시간 미만입니다. 이는 계정에 대해 ML 모델이 아직 생성되지 않았을 수 있음을 의미합니다.
• 들어오는 데이터에 message 필드가 없습니다. 패턴은 로그 레코드의 message 필드 값에 대해서만 생성됩니다. 로그에 message 가 포함되어 있지 않으면 데이터가 없습니다.

플랫폼을 패턴 작업에 적용

패턴은 기존 로그 메시지에 newrelic.logPattern 이라는 새 속성으로 보강되는 값입니다. 로그로 할 수 있는 모든 작업은 일반적으로 다음과 같은 로그 패턴으로 수행할 수 있습니다.

• 특정 패턴 또는 관심 있는 패턴 그룹을 모니터링하기 위해 패턴을 사용하여 고유한 대시보드 를 구축합니다.

• NRQL 알림을 추가하여 패턴에 대한

  알림

  을 생성합니다.

• 이상 알림 조건 을 사용하여 알려진 로그 패턴의 이상을 감지합니다.