New Relic의 MLOps 솔루션은 기계 학습 모델을 쉽게 모니터링할 수 있는 Python 라이브러리를 제공합니다. New Relic Bring Your Own(BYO) 기계 학습 모델 모니터링 은 사용자가 사용 중인 플랫폼이나 프레임워크에 관계없이 자체 기계 학습 모델의 성능을 모니터링할 수 있는 New Relic 제품군의 제품입니다. 이를 통해 사용자는 모델의 문제를 식별하고 해당 문제가 애플리케이션의 정확도나 성능에 영향을 미치기 전에 수정 조치를 취할 수 있습니다.
점점 더 복잡해지는 디지털 공간에서 데이터 팀은 예측 엔진에 크게 의존하여 결정을 내립니다. New Relic 머신 러닝 모델 모니터링을 통해 팀은 한 걸음 뒤로 물러나 전체 그림을 볼 수 있습니다. 모델 성능 모니터링을 통해 팀은 ML 모델을 검사하여 문제를 효율적으로 식별하고 모든 메트릭에 대한 경고 설정과 같은 NR 핵심 기능을 활용하여 결정을 내리고 ML 성능이 변경되면 알림을 받을 수 있습니다.
쉬운 통합
newrelic-telemetry-sdk-python 을 기반으로 하는 ml-performance-monitoring python 패키지를 사용하면 코드에 몇 줄만 추가하면 모델의 기능과 예측 값은 물론 사용자 지정 메트릭을 보낼 수 있습니다.
Python 패키지를 사용하여 다음 유형의 데이터를 New Relic에 보냅니다.
추론 데이터: 모델의 기능 및 예측 값을 스트리밍합니다. 추론 데이터는 InferenceData라는 사용자 지정 이벤트 로 스트리밍됩니다. 데이터 메트릭: 모든 원시 추론 데이터를 보내는 대신 기능 및 예측(예: 최소, 최대, 평균 또는 백분위수)에 대해 집계된 통계 옵션을 선택합니다. 측정항목 으로 자동 전송됩니다. 맞춤형 지표: 자체 지표를 계산하고, 모델 성능 또는 모델 데이터를 모니터링하고, record_metrics 함수를 사용하여 New Relic으로 스트리밍합니다. 측정항목 으로 전송됩니다.
모델 예측 보기
기계 학습 모델의 성능을 모니터링하여 정확도나 성능에 영향을 줄 수 있는 문제를 식별할 수 있습니다. 전체 모델 예측 및 시간 경과에 따른 분포와 같은 중요한 정보를 대시보드에서 볼 수 있습니다. 또한 총 예측 또는 높음/낮음 선택의 변경 사항을 추적하도록 알림을 설정할 수 있습니다.
모델 및 데이터 드리프트 감지
실시간 모니터링을 통해 모델 및 데이터 드리프트를 감지하여 기계 학습 모델의 문제를 빠르게 식별할 수 있습니다. 모델 및 데이터 드리프트는 모델의 예측 능력에 영향을 줄 수 있는 실제 환경의 변화입니다. 모델 및 데이터 드리프트에 대한 실시간 데이터를 가져오면 이러한 문제가 애플리케이션의 성능에 영향을 미치기 전에 신속하게 수정 조치를 취할 수 있습니다.
모델 기능에 대해 자세히 알아보기
기능에 대한 통찰력과 통계 데이터를 얻고 표준 및 예상 동작과의 편차에 대해 경고를 받습니다.
ML 모델 성능 모니터링을 시작하는 방법
먼저 시작하기 문서를 사용하여 모델 데이터 스트리밍을 시작하세요. 그런 다음 New Relic UI의 모든 기능 페이지에서 모델 성능을 클릭하면(고정하는 것을 잊지 마십시오) 모델이 보내는 데이터를 기반으로 모델 성능 보기가 표시됩니다.