New Relic の MLOps ソリューションは、機械学習モデルの監視を容易にする Python ライブラリを提供します。New Relic Bring Your Own (BYO) Machine Learning Model Monitoringは、使用しているプラットフォームやフレームワークに関係なく、ユーザーが独自の機械学習モデルのパフォーマンスを監視できる New Relic 製品スイートのオファリングです。これにより、ユーザーはモデルの問題を特定し、それらの問題がアプリケーションの精度やパフォーマンスに影響を与える前に修正措置を講じることができます。
ますます複雑化するデジタル空間では、データ チームは予測エンジンに大きく依存して意思決定を行っています。New Relic Machine Learning Model Monitoring を使用すると、チームは一歩下がって全体像を見ることができます。当社のモデル パフォーマンス モニタリングにより、チームは ML モデルを調べて問題を効率的に特定し、任意のメトリクスにアラートを設定するなどの NR コア機能を活用して決定を下し、ML パフォーマンスが変化したときに通知を受け取ることができます。
統合が容易
newrelic-telemetry-sdk-pythonに基づくml-performance-monitoring python パッケージを使用すると、コードに数行を追加するだけで、モデルの機能と予測値、およびカスタム メトリクスを送信できます。
python パッケージを使用して、以下の種類のデータを New Relic に送信します。
- Inference data [推論データ]:モデルの特徴と予測値をストリーミングします。推論データは、InferenceData という名前のカスタム イベントとしてストリーミングされます。
- Data metrics [データ メトリクス]:すべての生の推論データを送信する代わりに、特徴と予測に対する集計統計オプション (最小値、最大値、平均値、パーセンタイルなど) を選択します。これらはメトリクスとして自動的に送信されます。
- Custom metrics [カスタムメトリクス]:独自のメトリクスを計算し、モデルのパフォーマンスまたはモデルデータを監視し、record_metrics 関数を使用してそれらを New Relic にストリーミングします。それらはメトリクスとして送信されます。
モデル予測の表示
機械学習モデルのパフォーマンスを監視することで、その精度やパフォーマンスに影響を与えている可能性がある問題を特定できます。 ダッシュボードには、モデル全体の予測や経時的な分布などの重要な情報が表示されます。 さらに、設定できるのは、 予測全体または高/低選択の変化を追跡します。
モデルとデータのドリフトを検出する
リアルタイム モニタリングを使用すると、モデルとデータのドリフトを検出して、機械学習モデルの問題をすばやく特定できます。モデルとデータのドリフトは、モデルの予測力に影響を与える可能性がある現実世界の環境の変化です。モデルとデータ ドリフトに関するリアルタイム データを取得することで、これらの問題がアプリケーションのパフォーマンスに影響を与える前に、迅速に修正措置を講じることができます。
モデル機能の詳細
機能に関する洞察と統計データを取得し、標準および予想される動作からの逸脱についてアラートを受け取ります。
ML モデルのパフォーマンスの監視を開始する方法
まず、入門ドキュメントを使用して、モデル データのストリーミングを開始します。次に、New Relic UI のAll Capabilities [すべての機能]ページでModel Performance [モデル パフォーマンス]をクリックします (忘れずに固定してください)。モデルが送信しているデータに基づいてモデル パフォーマンス ビューが表示されます。