Aporia는 데이터 과학 팀이 프로덕션 환경에서 기계 학습 모델을 모니터링할 수 있는 빠르고 쉽고 안전한 방법입니다. Aporia를 사용하면 팀은 데이터 드리프트, 예상치 못한 편향, 데이터 무결성 문제 및 성능 저하와 같은 문제를 조기에 감지하기 위해 실시간 경고를 수신하기 위해 몇 분 만에 맞춤형 모니터를 구축할 수 있습니다. Aporia에는 추가 조사 및 근본 원인 분석을 가능하게 하는 조사 도구 상자도 있습니다. 아포리아에 대해 자세히 알아보세요 .
Aporia에는 MLOps의 전체 모델 관리를 제공하기 위한 뉴렐릭과의 통합이 포함되어 있으며, 뉴렐릭 내의 사용자 정의된 사용하여 레이블 조사를 표시합니다.
New Relic과 Aporia 통합
Aporia를 사용하면 Aporia의 모니터에서 생성된 뉴렐릭의 인시던트 인텔리전스 엔진 및 예측 데이터에 연결하여 모델에 대한 뉴렐릭의 포괄적인 모니터링 대시보드를 생성할 수 있습니다.
Login into Aporia's console
: 왼쪽 탐색 모음에서
Integrations
클릭하고
New Relic
선택합니다.
Login into your New Relic account:
one.newrelic.com > All capabilities > +Add more data
으)로 이동합니다.
Click on Aporia:
검색창에
Aporia
를 입력합니다.
Select your account ID:
Aporia와 통합할 계정 ID를 선택하세요.
Get a New Relic API key:
Aporia 아이콘을 클릭한 후 1단계를 따르세요.
Prediction data & model quality alerts
아래에서
Select
클릭하여 기존 키를 선택하거나
Create API key
클릭합니다. 이로 인해 뉴렐릭에 데이터를 보고하는 데 사용되는 뉴렐릭
이 생성되었습니다.
Paste the key in Aporia:
이제 Aporia의 대시보드로 이동하여 뉴렐릭 통합 화면 아래에 있는
New Relic insert token
아래에 키를 붙여넣으세요. 붙여넣은 후
Save
) 클릭하세요.
Verify the key:
Aporia 대시보드에서
Verify token
버튼을 클릭하여 키가 제대로 작동하는지 확인합니다. 상태를 나타내기 위해
Green
확인 표시 또는
Red
오류 표시가 나타나야 합니다.
이 문서가 설치하는데 도움이 되셨나요?
Aporia로 기계 학습 모델 모니터링
이제 New Relic과 Aporia를 통합했으므로 Aporia에서 생성된 자동화된 차트가 포함된 대시보드를 사용하여 데이터를 모니터링할 수 있습니다.
Go to the integration dashboard: 의미를 확인하고 통합이 올바르게 설정되었음을 확인한 후 뉴렐릭 통합 대시보드로 돌아가서 See your data 클릭하세요. 그러면 뉴렐릭의 Aporia에 보고된 데이터를 표시하는 자동 생성 대시보드로 리디렉션됩니다.
Analyze Aporia's dashboard. 뉴렐릭으로 채워진 Aporia의 대시보드에는 6개의 차트가 포함되어 있습니다.
Most active models
차트에는 선택한 기간에 예측을 보고한 다양한 모델이 표시됩니다.
Most active model versions
차트에는 선택한 기간에 예측을 보고한 다양한 버전이 표시됩니다.
Model inferences
그래프는 각 모델 및 버전에 대해 보고된 고유 예측 수를 표시합니다.
Average numeric inferences
차트에는 각 모델 및 버전에 대해 보고된 평균 수치 예측 값이 표시됩니다.
Numeric inferences heatmaps
차트에는 각 모델 및 버전에 대해 보고된 숫자 예측의 히스토그램이 표시됩니다.
Categorical inferences
차트에는 각 모델 및 버전에 대해 보고된 다양한 고유값과 범주형 예측 빈도가 표시됩니다.
Filter data: … 버튼을 클릭하고 Edit 클릭합니다. 오른쪽 탐색 모음의 User as filter 아래에서 Filter the current dashboard 활성화하고 Save 클릭합니다.
Setup alert notifications: 대시보드를 만들고 나면 데이터에 대한 알림을 받을 수 있습니다. 차트에서 NRQL 공지 조건을 생성하려면 차트를 클릭한 다음 Create alert condition을 클릭하세요. 조건의 이름을 지정하고 사용자 정의한 후에는 이를 기존 정책에 추가하거나 새 정책을 생성할 수 있습니다.
Get notified: 공지조건을 만든 후에는 알림을 받을 방법을 선택할 수 있습니다. 공지 채널 설정 방법 에 대한 문서를 참조하세요.
Correlate your incidents: 공지 외에도 인시던트 인텔리전스를 사용하여 인시던트를 연관시킬 수 있습니다. 의사결정을 사용하여 인시던트를 연관시키는 방법 에 대한 문서를 참조하세요.