DagsHubは、データサイエンティストや機械学習エンジニアが、データ、モデル、実験、コードをバージョン管理し、同期するためのプラットフォームです。DagsHubは、データサイエンティストや機械学習エンジニアがデータやモデル、実験、コードをバージョン管理し、同期するためのプラットフォームです。DagsHubは一般的なオープンソースのツールやフォーマットをベースに構築されているため、New Relicのように既に使用しているツールとの統合が容易です。
New Relic には、DagsHub とのモデル パフォーマンス モニタリング統合が含まれており、機械学習トレーニング メトリックをリアルタイムでモニタリングおよび分析できます。
DagsHubとNew Relicの統合
DagsHubとNew Relicを統合することで、機械学習のトレーニング指標をリアルタイムで分析・監視することができます。 New Relic ダッシュボード でメトリクスを可視化したり、カスタムメトリクスを作成したり、 アラート を設定して、トレーニング実行中に発生したイベントやインシデントを通知することができます。
DagsHubからNew Relicにデータを取り込むためには、アカウント番号と特別なキーが必要で、以下の手順で入手できます。
Log into your New Relic account
:
one.newrelic.com > All capabilities > +Add more data
へ移動します。
Click on DagsHub:
検索バーに「DagsHub」と入力します。
Select the account ID
DagsHub を統合したいと考えています。
Create an access token
: アカウント ID を選択したら、
real-time training metrics
の下の
Create an API key
をクリックします。 これが新しいテレメトリー API キーになります。 今後の手順のために New Relic ページを開いたままにしておきます。
Log into the DagsHub portal:
ログインしたら、作業しているリポジトリを選択します。
Settings
をクリックし、左側のメニューから
integrations
ボタンを選択します。
New Relic
タイルをクリックします。 リアルタイム実験監視を使用してプロジェクトを作成する方法については、 DagsHub MLflow ドキュメント ページをお読みください。
Copy and paste the token in DagsHub
。 New Relicインテグレーション ダッシュボードに戻り、挿入キーの横にある
copy
アイコンをクリックして、作成したガイドラインをコピーします。 DagsHub のポータルで、挿入キーを
New Relic Insight insert key
の下に貼り付け、
Next
をクリックして終了します。 トークンが検証され、確認画面が表示されます。
このドキュメントはインストールで役立ちましたか。
New Relic ダッシュボードで DagsHub モデルを表示し、探索することができます。
DagsHubでNew Relicとの連携を設定すると、DagsHubにリアルタイムで記録されたトレーニングのメトリクスがすべてNew Relicに送信されます。
DagsHub integration dashboard に移動します: ウイルスをテストし、インテグレーションが正しく設定されていることを確認したら、 New Relicインテグレーション ダッシュボードに戻り、See your data をクリックします。 DagsHub を利用して自動生成された New Relic ダッシュボードにリダイレクトされます。
Analyze the DagsHub dashboard: DagsHub ダッシュボードには、モデルの損失をそれぞれのリポジトリごとにグループ化して表示する 1 つのグラフLoss metric by repositoryが含まれています。 これはトレーニング済みのどのモデルでも機能します。
Display customized metrics: DagsHub からのトレーニング メトリックを簡単にカスタマイズできます。 NRQL の使用とデータを追跡するためのクエリの作成の詳細については、 「NRQL リファレンス」を参照してください。
Set up alerts notifications: ダッシュボード内にいくつかのグラフを作成すると、 データに関するアラートを受け取ることができます。 チャートから NRQL 条件を作成するには、 ...チャート メニューをクリックし、 Create alert conditionをクリックします。 条件に名前を付けてカスタマイズしたら、既存のポリシーに追加したり、新しいポリシーを作成したりできます。
Get notified: アラート条件を作成したら、通知の受け取り方法を選択できます。 通知チャネルの設定方法については、ドキュメントを参照してください。
これで、New Relic と DagsHub が正常に統合されました。 新しく作成されたアラートは New Relic アラートと関連付けられており、新しく報告された予測に関するデータが表示されます。