DagsHub는 데이터 과학자와 기계 학습 엔지니어가 데이터, 모델, 실험 및 코드의 버전을 지정하고 동기화할 수 있는 플랫폼입니다. 이를 통해 귀하와 귀하의 팀은 작업을 쉽게 공유, 검토 및 재사용하여 기계 학습을 위한 GitHub와 같은 경험을 제공할 수 있습니다. DagsHub는 인기 있는 오픈 소스 도구 및 형식을 기반으로 하므로 New Relic과 같이 이미 사용 중인 도구와 쉽게 통합할 수 있습니다.
New Relic에는 실시간으로 기계 학습 교육 지표를 모니터링하고 분석하기 위해 DagsHub와 통합된 모델 성능 모니터링 이 포함되어 있습니다.
DagsHub를 New Relic과 통합
DagsHub와 New Relic을 통합하면 기계 학습 훈련 지표를 실시간으로 분석하고 모니터링할 수 있습니다. New Relic 대시보드 에서 메트릭을 시각화하고, 사용자 지정 메트릭을 만들고, 훈련 실행 중에 발생하는 이벤트와 사건을 알리도록 경고 를 설정할 수 있습니다.
DagsHub에서 New Relic으로 데이터를 수신하려면 계정 번호와 다음과 같이 얻을 수 있는 특수 키가 필요합니다.
Log into your New Relic account
:
one.newrelic.com > All capabilities > +Add more data
로 이동합니다.
Click on DagsHub:
검색창에 DagsHub를 입력하세요.
Select the account ID
DagsHub와 통합하기를 원합니다.
Create an access token
: 계정 ID를 선택한 후
real-time training metrics
아래에서
Create an API key
클릭합니다. 이것이 새로운 텔레메트리 API 키가 될 것입니다. 향후 단계를 위해 뉴렐릭 페이지를 열어두세요.
Log into the DagsHub portal:
로그인한 후 작업 중인 저장소를 선택하세요.
Settings
클릭하고 왼쪽 메뉴에서
integrations
버튼을 선택합니다.
New Relic
타일을 클릭하세요. 실시간 실험 모니터링으로 프로젝트를 생성하는 방법을 알아보려면 DagsHub MLflow 문서 페이지를 읽어보세요.
Copy and paste the token in DagsHub
. 뉴렐릭 통합 대시보드로 돌아가서 삽입 키 옆에 있는
copy
아이콘을 클릭하여 생성한 의미를 복사하세요. DagsHub 포털에서
New Relic Insight insert key
아래에 삽입 키를 붙여넣고
Next
클릭하여 완료합니다. 토큰이 확인되고 확인 화면이 나타납니다.
이 문서가 설치하는데 도움이 되셨나요?
New Relic 대시보드에서 DagsHub 모델 보기 및 탐색
DagsHub에서 New Relic 통합을 구성하면 실시간으로 DagsHub에 기록된 모든 교육 지표가 New Relic으로 전송됩니다.
DagsHub integration dashboard 으로 이동: 베타를 테스트하고 통합이 올바르게 설정되었는지 확인한 후 뉴렐릭 통합 대시보드로 돌아가서 See your data) 클릭하세요. DagsHub에서 제공하는 자동 생성된 뉴렐릭 대시보드로 리디렉션됩니다.
Analyze the DagsHub dashboard: DagsHub 대시보드에는 모델의 손실을 해당 저장소별로 그룹화하여 표시하는 차트 하나 Loss metric by repository 가 포함되어 있습니다. 이는 훈련한 모든 모델에 적용됩니다.
Display customized metrics: DagsHub에서 제공되는 교육 지표를 쉽게 맞춤 설정할 수 있습니다. NRQL 사용 및 데이터 추적을 위한 쿼리 생성에 대한 자세한 내용은 NRQL 참조 를 참조하세요.
Set up alerts notifications: 대시보드 내에 차트를 만든 후에는 데이터에 대한 알림을 받을 수 있습니다. 차트에서 NRQL 조건을 생성하려면 ... 차트 메뉴를 클릭한 다음 Create alert condition 클릭하세요. 조건의 이름을 지정하고 사용자 정의한 후에는 기존 정책에 추가하거나 새 정책을 생성할 수 있습니다.
Get notified: 공지조건을 생성한 후, 알림을 받을 방법을 선택할 수 있습니다. 공지 채널 설정 방법 에 대한 문서를 참조하세요.
이제 New Relic을 DagsHub와 성공적으로 통합했습니다. 새로 생성된 경고는 New Relic 경고와 상호 연결되며 새로 보고된 예측에 대한 데이터를 볼 수 있습니다.