TruEra는 AI 스택의 중요한 공백을 메우고 수명 주기 전반에 걸쳐 모델 품질을 설명하고 테스트합니다. TruEra의 AI 솔루션은 기계 학습 모델을 설명, 디버그 및 모니터링하여 더 높은 품질과 신뢰성, 더 빠른 배포로 이어집니다. 이 솔루션은 모델 수명 주기 전반에 걸쳐 작동하고 모델 개발 플랫폼과 독립적이며 기존 AI 스택에 쉽게 포함됩니다.
TruEra에는 New Relic과 모델 성능 모니터링 통합이 포함되어 있어 MLOps 팀이 ML 수명 주기 전반에 걸쳐 신호의 상관 관계를 파악하고 표준 정확도를 넘어 입력 및 출력 드리프트를 모니터링할 수 있습니다.
TruEra를 New Relic과 통합
TruEra에 기계 학습 모델 추가
TruEra는 기계 학습 모델 및 기타 데이터를 수집하기 위해 CLI(명령줄 인터페이스) 및 Python 클라이언트를 제공합니다. CLI를 사용하여 모델을 추가하는 단계에는 새 프로젝트 생성, 데이터 수집, 교육 데이터 추가, 모델 패키징 및 수집, 프로덕션 데이터 추가가 포함됩니다.
이 단계는 TruEra 기술 문서 페이지 에서 찾을 수 있습니다.
TruEra에서 New Relic으로 데이터 스트리밍
새로운 데이터 세트가 Truera Monitoring 시스템으로 수집될 때마다 관련 메트릭을 계산하고 저장합니다. 이러한 계산된 측정항목은 truera2newrelic 데이터 내보내기를 사용하여 주기적으로 New Relic에 푸시할 수 있습니다. 이 내보내기에는 Truera 및 New Relic 콘솔에서 생성된 API 키가 필요합니다.
다음 지침은 이러한 키를 만드는 방법을 보여줍니다.
뉴렐릭 계정에 로그인하세요.
one.newrelic.com > All capabilities > + Add more data
으)로 이동하세요.
TruEra를 클릭합니다. 검색창에
TruEra
입력합니다.
계정 ID 선택: TruEra가 통합할 계정 ID를 선택하십시오.
API 키 선택 또는 생성: 대시보드 관리에는
Active dashboard key
가 필요하고 지표 수집에는
Model metrics data key
이 필요합니다. 이 키는
참조합니다. 새 키를 생성하거나 두 개의 키 섹션에서 기존 키를 선택합니다.
TruEra에서 키 생성: TruEra 콘솔에 로그인하고 사용자 페이지로 이동합니다.
Generate Credentials
클릭하여
Auth token
을(를) 생성합니다.
데이터 내보내기 실행 확인 및 일괄 내보내기 설정 : 이제 TruEra 문서 로 이동하여 터미널의 명령을 사용하여 첫 번째 데이터 내보내기 실행을 확인하는 방법에 대한 단계를 찾으십시오. 다음으로 가상 머신에서 배치 데이터 내보내기를 설정합니다.
이 문서가 설치하는데 도움이 되셨나요?
TruEra를 사용하여 즉시 사용 가능한 New Relic 대시보드 보기
기계 학습 모니터링 메트릭을 시각화하기 위해 TruEra는 모델 상태, 세그먼트 드릴다운, 기능 값, 데이터 품질, 공정성 등과 같은 주제를 사용하여 문제를 모니터링하고 드릴다운할 수 있는 스켈레톤 대시보드를 제공합니다.
이러한 truera2newrelic 대시보드 도구를 사용하여 설정할 수 있습니다. 이렇게 하려면 다음 단계를 따르세요.
모델 지표 확인: one.newrelic.com 에서 탐색 메뉴로 이동하여 기본 탐색 메뉴에서 대시보드 탭을 클릭합니다. 특정 ML 모델에 대해 자동으로 생성된 대시보드 설정이 표시됩니다. 최근에 내보낸 모델 지표가 표시되는지 확인합니다.
공지 공지 설정: 대시보드를 만든 후에는 데이터에 대한 알림을 받을 수 있습니다. 차트에서 NRQL 조건을 생성하려면 차트 위젯을 클릭한 다음 Create alert condition 클릭하세요. 조건의 이름을 지정하고 사용자 정의한 후에는 이를 기존 정책에 추가하거나 새 정책을 생성할 수 있습니다.
알림 받기: 알림 조건을 만든 후에 알림 방법을 선택할 수 있습니다. 알림 채널을 설정하는 방법 에 대한 문서를 참조하세요.
인시던트 상관 관계: 알림 외에도 인시던트 인텔리전스를 사용하여 인시던트의 상관 관계를 지정할 수 있습니다. 의사결정을 사용하여 사건을 연관시키는 방법 에 대한 문서를 참조하십시오.
이제 New Relic을 TruEra와 성공적으로 통합했습니다. 새로 생성된 경고는 이제 New Relic 경고와 상관 관계가 있으며 새로 보고된 예측에 대한 데이터를 볼 수 있습니다.