Superwise には、New Relic とのモデル パフォーマンス監視統合が含まれており、Superwise によって監視されている AI の状態を、ユーザーが New Relic の一元化された運用ビューに追加するのに役立ちます。
New Relic を使用して Superwise からデータを移行する
Superwise の KPI とインシデントの統合により、ドリフト、アクティビティ、インシデント、および設定したカスタム KPI を含む、すぐに使用できるモデル KPI の結果が New Relic に直接効率化されます。 あらゆるユースケース、ロジック、セグメンテーション、しきい値、感度に合わせて調整できる、どのモデルが誤動作しているかの概要がすぐに得られます。
Superwise から New Relic にデータを受信するには、次のことを行う必要があります。
Login into your New Relic account: one.newrelic.com > All capabilities > + Add more dataに移動します。
Click on Superwise: 検索バーにSuperwiseと入力します。
Select an account ID: Superwise と統合するアカウント ID を選択します。
Create two access tokens:
- アカウントIDを選択すると、 New Relicインテグレーション画面が表示されます。 Model Metrics Dataの下で、 Create a keyをクリックします。 これにより、 生成されます。
- さらに、必要に応じて、認証トークンをIncident Insightsの下にコピーできます。 今後の手順のために、New Relic ページを開いたままにしておきます。
Log into the Superwise portal: 今すぐSuperwiseポータルにログインして、 Notification channel settingsに移動します。 New Relicを選択して、チャネル名を作成します。
Copy and paste the key and token in Superwise: New Relicダッシュボードに戻り、copy アイコンをクリックして、作成したキーとオプションのトークンをコピーします。 Superwise のポータルのNew Relicチャネルで、 API keyをModel Metrics Dataの下に貼り付け、 Auth tokenをIncidentsの下に貼り付けます。 Saveをクリックして終了します。
Verify the Token: Superwise チャネル ポータルのTestボタンをクリックして、両方のトークンが正常に動作していることを確認します。 検証を示すgreenまたはredステータス ボックスが表示されます。
このドキュメントはインストールの役に立ちましたか？
SuperwiseのモデルをNew Relicのダッシュボードで表示・検討することができます。
ユーザーがSuperwiseでNew Relicインテグレーションを設定すると、標準的なモデルメトリクスがNew Relicに送信され、ユーザーはNew Relic内でモデル observability dashboards を得ることができます。また、ユーザーは特定のモデルメトリクスやインシデントポリシーを設定し、それらをNew Relicに送信することで、ビジネスコンテキストに合わせたモデルのオブザーバビリティを実現することができます。
Go to the integration dashboard: トークンをテストし、インテグレーションが正しく設定されていることを確認したら、 New Relicインテグレーション ダッシュボードに戻り、See your data をクリックします。 これにより、Superwise を利用して自動生成されたダッシュボードにリダイレクトされます。
Analyze Superwise's dashboard. New Relic の Superwise のダッシュボードには 3 つのグラフが含まれています。
- Model activityグラフには、フィルタリングされた時間枠内のアクティブなモデルの数、そのアクティビティ、予測の総数が表示されます。
- Model input drift検出チャートには、どのモデルがドリフトしているか、0 ～ 100 のスケールでモデルドリフト レベラーを使用した再トレーニングが必要な可能性があることが表示されます。
- Incident Insightsチャートには、オープン インシデント を持つモデルの数、インシデント の配布方法、およびモデル インシデント 自体の詳細が表示されます。
/ <img title="Superwise's dashboards" alt="Superwise dashboards." src="/images/model-performance-monitoring_screenshot-crop_superwise-dashboard.webp" /> /
Customize metrics and incidents in Superwise: チームは、Superwise プラットフォーム内のあらゆるモデル メトリックおよびインシデント タイプを簡単にカスタマイズできます。 その後、Metrics の下のNew Relic Browser タブでこれらのメトリクスを検索できます。 これを行うには、 Superwise ドキュメントのステップ 4 の指示に従ってください。
Set up alert notifications: いくつかのダッシュボードを作成したら、データに関するアラートを受け取ることができます。 チャートから NRQL 条件を作成するには、チャート ウィジェットをクリックし、 Create alert conditionをクリックします。 条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加するか、新しいポリシーを作成できます。
Get notified: アラート条件を作成したら、通知の受け取り方法を選択できます。 通知チャネルの設定方法については、ドキュメントを参照してください。
Correlate your incidents: 通知に加えて、インシデント インテリジェンスを使用して、インシデントを関連付けることができます。 決定を使用してインシデントを相関させる方法については、ドキュメントを参照してください。
これで、New Relic と Superwise が正常に統合されました。 新しく作成されたアラートは New Relic アラートと関連付けられるようになり、新しく報告された予測に関するデータを確認できるようになります。