Superwise には、New Relic とのモデル パフォーマンス監視統合が含まれており、Superwise によって監視されている AI の状態を、ユーザーが New Relic の一元化された運用ビューに追加するのに役立ちます。
New Relic を使用して Superwise からデータを移行する
SuperwiseのKPIとインシデントの統合により、ドリフト、アクティビティ、インシデント、および構成したカスタムKPIを含む、すぐに使用できるモデルKPIの結果がNewRelicに直接合理化されます。どのモデルが誤動作しているかの概要がすぐにわかり、ユースケース、ロジック、セグメンテーション、しきい値、感度に合わせて調整できます。
SuperwiseからNew Relicにデータを受信するためには、以下のようにする必要があります。
New Relic アカウントにログインします: one.newrelic.com > + Add more data に移動します。
Superwise をクリックします。検索バーにSuperwiseと入力します。
Select an account ID: Superwiseと統合したいアカウントIDを選択。
2つのアクセストークンを作成します。
アカウント ID を選択すると、New Relic Integration 画面が表示されます。 [Model Metrics Data]で、 [Create a key]をクリックします。 これにより、
.
また、オプションとして、 Incident Insights でauth tokenをコピーすることができます。今後の手順については、New Relic のページを開いておいてください。
Superwiseポータルにログイン： 今度はSuperwiseポータルにログインして、 Notification channel settings 。 New Relic を選択し、チャンネル名を作成する。
キーとトークンをコピーしてSuperwiseに貼り付ける： New Relicインテグレーションダッシュボードに戻り、 copy アイコンをクリックして作成したキーとオプショナルトークンをコピーする。Superwiseのポータルで、 New Relic チャンネルに、 APIキー を Model Metrics Data の下に、 Auth token を Incidents の下に貼り付けます。最後に Save をクリックして完了です。
トークンの検証： Superwiseチャンネルポータルで、 Test ボタンをクリックして、両方のトークンが正常に動作していることを確認します。 緑色の または 赤色の ステータスボックスが表示され、検証されたことを示します。
このドキュメントはインストールで役立ちましたか。
SuperwiseのモデルをNew Relicのダッシュボードで表示・検討することができます。
ユーザーがSuperwiseでNew Relicインテグレーションを設定すると、標準的なモデルメトリクスがNew Relicに送信され、ユーザーはNew Relic内でモデル observability dashboards を得ることができます。また、ユーザーは特定のモデルメトリクスやインシデントポリシーを設定し、それらをNew Relicに送信することで、ビジネスコンテキストに合わせたモデルのオブザーバビリティを実現することができます。
- 統合ダッシュボードに行く： トークンをテストして、統合が正しく設定されていることを確認したら、New Relic 統合ダッシュボードに戻り、 See your data をクリックします。これにより、Superwiseで自動生成されたダッシュボードにリダイレクトされます。
- Superwiseのダッシュボードを分析する New RelicのSuperwiseのダッシュボードには3つのチャートがあります。
- モデルアクティビティ チャートには、フィルタリングされた時間枠内のアクティブなモデルの数、そのアクティビティ、および予測の総数が表示されます。
- Model input drift Detection chart は、どのモデルがドリフトしていて、モデル・ドリフト・レベラーを使った再トレーニングが必要なのかを、0～100の間でスケーリングして表示します。
- Incident Insights チャートには、未解決のインシデントがあるモデルの数、インシデントがどのように分布しているか、モデルのインシデント自体のより詳細な情報が表示されます。
- Superwiseでメトリクスやインシデントをカスタマイズ： チームは、Superwiseプラットフォームでモデルのメトリクスやインシデントタイプを簡単にカスタマイズできます。その後、New Relic Browser タブの Metrics で、これらのメトリクスを検索することができます。これを行うには、 Superwiseのドキュメント のステップ4の指示に従います。
- アラート通知の設定： ダッシュボードをいくつか作成したら、データにアラートを出すことができます。チャートから NRQL アラート条件を作成するには、チャートウィジェットをクリックし、 アラート条件の作成 をクリックします。条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成することができます。
- Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
- インシデントの関連付け：通知に加えて、インシデントインテリジェンスを使用してインシデントを関連付けることができます。 決定を使用してインシデントを関連付ける方法については、ドキュメントを参照してください。
これで、New RelicとSuperwiseの統合が完了しました。新たに作成されたアラートは、New Relicのアラートと相関し、新たに報告された予測に関するデータを見ることができるようになります。