Aporiaは、データサイエンスチームが運用中の機械学習モデルを監視するための、速くて簡単で安全な方法です。Aporiaを使えば、チームはカスタマイズ可能な独自のモニターを数分で構築し、データドリフト、予期せぬバイアス、データ整合性の問題、パフォーマンスの低下などの問題を早期に発見するためのライブアラートを受け取ることができます。また、Aporiaには、さらなる調査と根本原因の分析を可能にする調査ツールボックスがあります。 Aporiaについての詳細はこちら.
Aporia には、 New Relicとの統合が含まれており、推論調査を示すNew Relic内でカスタマイズされた、MLOps インフラストラクチャの完全なモデル管理を提供します。
AporiaとNew Relicの統合
Aporia を使用すると、Aporia のモニターによって生成された をNew Relicのインシデント インテリジェンス エンジンと予測データに接続して、 New Relicでモデル用の包括的な監視ダッシュボードを作成できます。
Login into Aporia's console: 左側のナビゲーションバーでIntegrationsをクリックし、New Relicを選択します。
Login into your New Relic account: one.newrelic.com > All capabilities > +Add more dataに移動します。
Click on Aporia:検索バーにAporiaと入力します。
Select your account ID: Aporia と統合するアカウント ID を選択します。
Get a New Relic API key: Aporia アイコンをクリックしたら、手順 1 に従います。Prediction data & model quality alertsの下で、Selectをクリックして既存のキーを選択するか、Create API keyをクリックします。 これにより、New Relic にデータをレポートするために使用される New Relic が作成されました。
Paste the key in Aporia:次に、Aporia のダッシュボードに移動し、 New Relicインテグレーション画面で、New Relic insert tokenの下にキーを貼り付けます。 貼り付けたら、Saveをクリックします。
Verify the key: Aporia ダッシュボードでVerify tokenボタンをクリックして、キーが正しく機能していることを確認します。 ステータスを示すために、Greenチェック マークまたはRedエラー マークが表示されます。
このドキュメントはインストールの役に立ちましたか？
Aporiaで機械学習モデルを監視する
New Relic と Aporia を統合したので、Aporia によって作成された自動チャートを備えたダッシュボードを使用してデータを監視できるようになりました。
Go to the integration dashboard: インターネットを検証し、インテグレーションが正しく設定されていることを確認したら、 New Relicインテグレーション ダッシュボードに戻り、See your data をクリックします。 これにより、New Relic の Aporia にレポートされたデータを表示する、自動生成されたダッシュボードにリダイレクトされます。
Analyze Aporia's dashboard. New Relic に入力された Aporia のダッシュボードには 6 つのグラフが含まれています。
Most active modelsチャートには、選択した期間内に予測を報告したさまざまなモデルが表示されます。
Most active model versionsグラフには、選択した時間枠で予測を報告したさまざまなバージョンが表示されます。
Model inferencesグラフには、モデルとバージョンごとに報告された一意の予測の数が表示されます。
Average numeric inferencesグラフには、各モデルとバージョンについて報告された平均値の数値予測が表示されます。
Numeric inferences heatmapsグラフには、各モデルとバージョンについて報告された数値予測のヒストグラムが表示されます。
Categorical inferencesグラフには、モデルとバージョンごとに報告されたさまざまなユニーク値とカテゴリ予測の頻度が表示されます。
Filter data: …ボタンをクリックし、 Editをクリックします。 右側のナビゲーションバーのUser as filterで、 Filter the current dashboardを有効にして、 Saveをクリックします。
Setup alert notifications: いくつかのダッシュボードを作成したら、データに関するアラートを受け取ることができます。 チャートから NRQL アラート条件を作成するには、チャート ウィジェットをクリックし、 Create alert conditionをクリックします。 条件に名前を付けてカスタマイズしたら、既存のポリシーに追加したり、新しいポリシーを作成したりできます。
Get notified: アラート条件を作成したら、通知方法を選択できます。 通知チャネルの設定方法については、ドキュメントを参照してください。
Correlate your incidents: 通知に加えて、インシデント インテリジェンスを使用して、インシデントを関連付けることができます。 決定を使用してインシデントを相関させる方法については、ドキュメントを参照してください。
