Aporiaは、データサイエンスチームが運用中の機械学習モデルを監視するための、速くて簡単で安全な方法です。Aporiaを使えば、チームはカスタマイズ可能な独自のモニターを数分で構築し、データドリフト、予期せぬバイアス、データ整合性の問題、パフォーマンスの低下などの問題を早期に発見するためのライブアラートを受け取ることができます。また、Aporiaには、さらなる調査と根本原因の分析を可能にする調査ツールボックスがあります。 Aporiaについての詳細はこちら.
Aporia には New Relic との統合が含まれており、カスタマイズされた MLOps インフラストラクチャの完全なモデル管理を提供します。 推論調査を示す New Relic 内。
AporiaとNew Relicの統合
Aporiaを使用すると、Aporiaのモニターによって生成されたアラートをNew Relicのインシデントインテリジェンスエンジンと予測データに接続して、モデルのNewRelicに包括的な監視ダッシュボードを作成できます。
Aporiaのコンソールにログイン: 左側のナビバーで Integrations をクリックし、 New Relic を選択します。
New Relic アカウントにログインします: one.newrelic.com > +Add more data に移動します。
Aporia をクリックします。検索バーにAporiaと入力します。
Select your account ID: Aporiaに統合させたいアカウントIDを選択してください。
New Relic API キーを取得します。Aporia アイコンをクリックしたら、ステップ 1 に従います。 [Prediction data & model quality alerts]で、 [Select]をクリックして既存のキーを選択するか、 [Create API key] をクリックします。 これにより、New Relicが作成されました
、New Relic へのデータのレポートに使用されます。
Aporiaにキーを貼り付けます: 今度はAporiaのダッシュボードに行き、New Relic Integrationの画面で、 New Relic insert token の下にキーを貼り付けます。貼り付けたら、 Save をクリックしてください。
Verify the key: Aporiaのダッシュボードで、 Verify token ボタンをクリックして、キーが正常に動作していることを確認します。 緑の チェックマークまたは 赤の エラーマークが表示され、ステータスを示します。
このドキュメントはインストールで役立ちましたか。
Aporiaで機械学習モデルを監視する
New Relic と Aporia を統合したことで、 ダッシュボード Aporia が作成した自動チャートを使ってデータを監視することができます。
- Go to the integration dashboard: トークンを確認し、統合が正しく設定されていることを確認したら、New Relic統合ダッシュボードに戻り、 See your data をクリックします。これにより、New RelicでAporiaに報告されたデータを表示する自動生成ダッシュボードにリダイレクトされます。
- Aporiaのダッシュボードを分析する New Relicに登録されたAporiaのダッシュボードには6つのチャートがあります。
- Most active models チャートには、選択したタイムフレームで予測を報告したさまざまなモデルが表示されます。
- Most active model versions チャートには、選択した時間枠で予測を報告したさまざまなバージョンが表示されます。
- Model inferences グラフには、各モデルとバージョンについて報告されたユニークな予測の数が表示されます。
- Average numeric inferences チャートには、各モデルとバージョンで報告された平均値の数値予測が表示されます。
- Numeric inferences heatmaps チャートには、各モデルとバージョンについて報告された数値予測のヒストグラムが表示されます。
- Categorical inferences チャートには、各モデルおよびバージョンで報告されたカテゴリー別予測の異なる固有値とその頻度が表示されます。
- Filter data: ... ボタンをクリックし、 Edit をクリックします。右のナビバーで、 User as filter の下で、 Filter the current dashboard を有効にし、 Save をクリックします。
- アラート通知の設定： ダッシュボードをいくつか作成したら、データにアラートを出すことができます。チャートから NRQL アラート条件を作成するには、チャートウィジェットをクリックし、 Create alert condition をクリックします。条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成することができます。
- Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
- インシデントの関連付け：通知に加えて、インシデントインテリジェンスを使用してインシデントを関連付けることができます。 決定を使用してインシデントを関連付ける方法については、ドキュメントを参照してください。