뉴렐릭의 MLOps 솔루션은 기계 학습 모델을 쉽게 모니터링할 수 있는 Python 라이브러리를 제공합니다. 뉴렐릭 Bring Your Own(BYO) Machine Learning Model Monitoring 은 사용자가 사용 중인 플랫폼이나 프레임워크에 관계없이 자체 머신러닝 모델의 성능을 모니터링할 수 있게 해주는 뉴렐릭 제품군의 제품입니다. 이를 통해 사용자는 모델 문제를 식별하고 해당 문제가 애플리케이션의 정확성이나 성능에 영향을 미치기 전에 수정 조치를 취할 수 있습니다.
점점 더 복잡해지는 디지털 공간에서 데이터 팀은 예측 엔진에 크게 의존하여 결정을 내립니다. New Relic 머신 러닝 모델 모니터링을 통해 팀은 한 걸음 뒤로 물러나 전체 그림을 볼 수 있습니다. 모델 성능 모니터링을 통해 팀은 ML 모델을 검사하여 문제를 효율적으로 식별하고 모든 메트릭에 대한 경고 설정과 같은 NR 핵심 기능을 활용하여 결정을 내리고 ML 성능이 변경되면 알림을 받을 수 있습니다.
쉬운 통합
newrelic-telemetry-sdk-python 을 기반으로 하는 ml-performance-monitoring python 패키지를 사용하면 코드에 몇 줄만 추가하면 모델의 기능과 예측 값은 물론 사용자 지정 메트릭을 보낼 수 있습니다.
Python 패키지를 사용하여 다음 유형의 데이터를 New Relic에 보냅니다.
Inference data:
모델의 기능과 예측 값을 스트리밍합니다. 커튼 데이터는 InferenceData라는 사용자 정의 대시보드 로 스트리밍됩니다.
Data metrics:
모든 원시 추론 데이터를 보내는 대신 기능 및 예측(예: 최소, 최대, 평균 또는 백분위수)에 대해 집계된 통계 옵션을 선택하세요. 지표 로 자동 전송됩니다.
Custom metrics:
자신만의 지표를 계산하고, 모델 성능 또는 모델 데이터를 모니터링하고, Record_metrics 함수를 사용하여 뉴렐릭으로 스트리밍합니다. 지표 로 전송됩니다.
모델 예측 보기
기계 학습 모델의 성능을 모니터링하면 정확성이나 성능에 영향을 미칠 수 있는 문제를 식별할 수 있습니다. 전체 모델 예측 및 시간 경과에 따른 분포와 같은 중요한 정보를 대시보드에서 확인할 수 있습니다. 또한 설정하여 전체 예측 또는 높은/낮은 선택의 변경 사항을 추적할 수 있습니다.
모델 및 데이터 드리프트 감지
실시간 모니터링을 통해 모델 및 데이터 드리프트를 감지하여 기계 학습 모델의 문제를 빠르게 식별할 수 있습니다. 모델 및 데이터 드리프트는 모델의 예측 능력에 영향을 줄 수 있는 실제 환경의 변화입니다. 모델 및 데이터 드리프트에 대한 실시간 데이터를 가져오면 이러한 문제가 애플리케이션의 성능에 영향을 미치기 전에 신속하게 수정 조치를 취할 수 있습니다.
모델 기능에 대해 자세히 알아보기
기능에 대한 통찰력과 통계 데이터를 얻고 표준 및 예상 동작과의 편차에 대해 경고를 받습니다.
ML 모델 성능 모니터링을 시작하는 방법
먼저 시작하기 문서를 사용하여 모델 데이터 스트리밍을 시작하세요. 그런 다음 뉴렐릭 UI 의 All Capabilities 페이지에서 Model Performance 를 클릭하면(고정하는 것을 잊지 마세요) 모델이 전송하는 데이터를 기반으로 한 모델 성능 보기가 표시됩니다.
