Superwise には、New Relic とのモデル パフォーマンス監視統合が含まれており、Superwise によって監視されている AI の状態を、ユーザーが New Relic の一元化された運用ビューに追加するのに役立ちます。
New Relic を使用して Superwise からデータを移行する
Superwise の KPI とインシデントの統合により、ドリフト、アクティビティ、インシデント、および設定したカスタム KPI を含む、すぐに使用できるモデル KPI の結果が New Relic に直接効率化されます。 あらゆるユースケース、ロジック、セグメンテーション、しきい値、感度に合わせて調整できる、どのモデルが誤動作しているかの概要がすぐに得られます。
Superwise から New Relic にデータを受信するには、次のことを行う必要があります。
Login into your New Relic account:
one.newrelic.com > All capabilities > + Add more data
に移動します。
Click on Superwise:
検索バーに
Superwise
と入力します。
Select an account ID:
Superwise と統合するアカウント ID を選択します。
Create two access tokens:
アカウントIDを選択すると、 New Relicインテグレーション画面が表示されます。
Model Metrics Data
の下で、
Create a key
をクリックします。 これにより、
生成されます。
さらに、必要に応じて、認証トークンを
Incident Insights
の下にコピーできます。 今後の手順のために、New Relic ページを開いたままにしておきます。
Log into the Superwise portal:
今すぐSuperwiseポータルにログインして、
Notification channel settings
に移動します。
New Relic
を選択して、チャネル名を作成します。
Copy and paste the key and token in Superwise:
New Relicダッシュボードに戻り、
copy
アイコンをクリックして、作成したキーとオプションのトークンをコピーします。 Superwise のポータルの
New Relic
チャネルで、
API key
を
Model Metrics Data
の下に貼り付け、
Auth token
を
Incidents
の下に貼り付けます。
Save
をクリックして終了します。
Verify the Token:
Superwise チャネル ポータルの
Test
ボタンをクリックして、両方のトークンが正常に動作していることを確認します。 検証を示す
green
または
red
ステータス ボックスが表示されます。
このドキュメントはインストールの役に立ちましたか？
SuperwiseのモデルをNew Relicのダッシュボードで表示・検討することができます。
ユーザーがSuperwiseでNew Relicインテグレーションを設定すると、標準的なモデルメトリクスがNew Relicに送信され、ユーザーはNew Relic内でモデル observability dashboards を得ることができます。また、ユーザーは特定のモデルメトリクスやインシデントポリシーを設定し、それらをNew Relicに送信することで、ビジネスコンテキストに合わせたモデルのオブザーバビリティを実現することができます。
Go to the integration dashboard: トークンをテストし、インテグレーションが正しく設定されていることを確認したら、 New Relicインテグレーション ダッシュボードに戻り、See your data をクリックします。 これにより、Superwise を利用して自動生成されたダッシュボードにリダイレクトされます。
Analyze Superwise's dashboard. New Relic の Superwise のダッシュボードには 3 つのグラフが含まれています。
Model activity
グラフには、フィルタリングされた時間枠内のアクティブなモデルの数、そのアクティビティ、予測の総数が表示されます。
Model input drift
検出チャートには、どのモデルがドリフトしているか、0 ～ 100 のスケールでモデルドリフト レベラーを使用した再トレーニングが必要な可能性があることが表示されます。
Incident Insights
チャートには、オープン インシデント を持つモデルの数、インシデント の配布方法、およびモデル インシデント 自体の詳細が表示されます。
Customize metrics and incidents in Superwise: チームは、Superwise プラットフォーム内のあらゆるモデル メトリックおよびインシデント タイプを簡単にカスタマイズできます。 その後、Metrics の下のNew Relic Browser タブでこれらのメトリクスを検索できます。 これを行うには、 Superwise ドキュメントのステップ 4 の指示に従ってください。
Set up alert notifications: いくつかのダッシュボードを作成したら、データに関するアラートを受け取ることができます。 チャートから NRQL 条件を作成するには、チャート ウィジェットをクリックし、 Create alert conditionをクリックします。 条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加するか、新しいポリシーを作成できます。
Get notified: アラート条件を作成したら、通知の受け取り方法を選択できます。 通知チャネルの設定方法については、ドキュメントを参照してください。
Correlate your incidents: 通知に加えて、インシデント インテリジェンスを使用して、インシデントを関連付けることができます。 決定を使用してインシデントを相関させる方法については、ドキュメントを参照してください。
これで、New Relic と Superwise が正常に統合されました。 新しく作成されたアラートは New Relic アラートと関連付けられるようになり、新しく報告された予測に関するデータを確認できるようになります。