• ログイン今すぐ開始

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。

英語版と齟齬がある場合、英語版の定めが優先するものとします。より詳しい情報については、本リンクをご参照ください。

問題を作成する

自分のデータを持ち込む

New Relic の MLOps ソリューションは、機械学習モデルの監視を容易にする Python ライブラリを提供します。New Relic Bring Your Own (BYO) Machine Learning Model Monitoringは、使用しているプラットフォームやフレームワークに関係なく、ユーザーが独自の機械学習モデルのパフォーマンスを監視できる New Relic 製品スイートのオファリングです。これにより、ユーザーはモデルの問題を特定し、それらの問題がアプリケーションの精度やパフォーマンスに影響を与える前に修正措置を講じることができます。

ますます複雑化するデジタル空間では、データ チームは予測エンジンに大きく依存して意思決定を行っています。New Relic 機械学習モデル モニタリングを使用すると、チームは一歩下がって全体像を見ることができます。当社のモデル パフォーマンス モニタリングにより、チームは ML モデルを調べて問題を効率的に特定し、任意のアラートの設定などの NR コア機能を活用して決定を下すことができます。メトリクスを取得し、ML のパフォーマンスが変化したときに通知を受け取ります

統合が容易

newrelic-telemetry-sdk-pythonに基づくml-performance-monitoring python パッケージを使用すると、コードに数行を追加するだけで、モデルの機能と予測値、およびカスタム メトリクスを送信できます。

python パッケージを使用して、以下の種類のデータを New Relic に送信します。

推論データ:モデルの特徴と予測値をストリーミングします。推論データは、InferenceData という名前のカスタム イベントとしてストリーミングされます。データ メトリクス:生の推論データをすべて送信する代わりに、機能と予測 (最小、最大、平均、パーセンタイルなど) に対して集計統計オプションを選択します。それらは メトリクスとして自動的に送信されます。カスタム メトリクス:独自のメトリクスを計算し、モデルのパフォーマンスまたはモデル データを監視し、record_metrics 関数を使用してそれらを New Relic にストリーミングします。これらは メトリクスとして送信されます。

モデル予測の表示

機械学習モデルのパフォーマンスを監視することで、精度やパフォーマンスに影響を与える可能性のある問題を特定できます。ダッシュボードには、全体的なモデルの予測や経時的な分布などの重要な情報が表示されます。さらに、アラートを設定して、合計予測またはハイ/ロー ピックの変化を追跡できます。

モデルとデータのドリフトを検出する

リアルタイム モニタリングを使用すると、モデルとデータのドリフトを検出して、機械学習モデルの問題をすばやく特定できます。モデルとデータのドリフトは、モデルの予測力に影響を与える可能性がある現実世界の環境の変化です。モデルとデータ ドリフトに関するリアルタイム データを取得することで、これらの問題がアプリケーションのパフォーマンスに影響を与える前に、迅速に修正措置を講じることができます。

モデル機能の詳細

機能に関する洞察と統計データを取得し、標準および予想される動作からの逸脱についてアラートを受け取ります。

ML モデルのパフォーマンスの監視を開始する方法

まず、入門ドキュメントを使用して、モデル データのストリーミングを開始します。次に、New Relic UI の [すべての機能] ページで [モデルのパフォーマンス] をクリックします (ピン留めすることを忘れないでください)。モデルが送信するデータに基づいて、モデルのパフォーマンス ビューが表示されます。

Copyright © 2023 New Relic Inc.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.