New Relicの MLOps ソリューションは、機械学習モデルを簡単に監視できる Python ライブラリを提供します。 New Relic Bring Your Own (BYO) Machine Learning Model Monitoring は、使用しているプラットフォームやフレームワークに関係なく、ユーザーが独自の機械学習モデルのパフォーマンスを監視できるNew Relic製品スイートのサービスです。 これにより、ユーザーはモデルの問題を特定し、その問題がアプリケーションの精度やパフォーマンスに影響を与える前に修正措置を講じることができます。
ますます複雑化するデジタル空間では、データ チームは予測エンジンに大きく依存して意思決定を行っています。New Relic Machine Learning Model Monitoring を使用すると、チームは一歩下がって全体像を見ることができます。当社のモデル パフォーマンス モニタリングにより、チームは ML モデルを調べて問題を効率的に特定し、任意のメトリクスにアラートを設定するなどの NR コア機能を活用して決定を下し、ML パフォーマンスが変化したときに通知を受け取ることができます。
統合が容易
newrelic-telemetry-sdk-pythonに基づくml-performance-monitoring python パッケージを使用すると、コードに数行を追加するだけで、モデルの機能と予測値、およびカスタム メトリクスを送信できます。
python パッケージを使用して、以下の種類のデータを New Relic に送信します。
Inference data:
モデルの機能と予測値をストリーミングします。 推論データは、InferenceData という名前のカスタム イベントとしてストリーミングされます。
Data metrics:
すべての生の推論データを送信する代わりに、機能と予測 (最小、最大、平均、パーセンタイルなど) よりも集計された統計オプションを選択します。 メトリクスとして自動的に送信されます。
Custom metrics:
独自のメトリックを計算し、モデルのパフォーマンスまたはモデル データをモニターし、record_metrics 関数を使用してNew Relicにストリーミングします。 メトリクスとして発送されます。
モデル予測の表示
機械学習モデルのパフォーマンスを監視することで、モデルの精度やパフォーマンスに影響を与える可能性のある問題を特定できます。 ダッシュボードには、全体的なモデル予測や時間の経過に伴う分布などの重要な情報が表示されます。 さらに、 を設定すると、合計予測や高/低ピックの変更を追跡できます。
モデルとデータのドリフトを検出する
リアルタイム モニタリングを使用すると、モデルとデータのドリフトを検出して、機械学習モデルの問題をすばやく特定できます。モデルとデータのドリフトは、モデルの予測力に影響を与える可能性がある現実世界の環境の変化です。モデルとデータ ドリフトに関するリアルタイム データを取得することで、これらの問題がアプリケーションのパフォーマンスに影響を与える前に、迅速に修正措置を講じることができます。
モデル機能の詳細
機能に関する洞察と統計データを取得し、標準および予想される動作からの逸脱についてアラートを受け取ります。
ML モデルのパフォーマンスの監視を開始する方法
まず、入門ドキュメントを使用してモデル データのストリーミングを開始します。 次に、New Relic UI のAll CapabilitiesページでModel Performanceをクリックすると (ピン留めすることを忘れないでください)、モデルが送信しているデータに基づいてモデルのパフォーマンス ビューが表示されます。