機械学習操作は、品質を向上させ、管理プロセスを簡素化し、大規模な運用環境での機械学習モデルの展開を自動化するために設計された一連のプラクティスです。
人工知能と機械学習に投資する企業が増えるにつれて、機械学習モデルを開発するデータ サイエンス チームと、それらのモデルを強化するアプリケーションを運用する DevOps チームとの間に理解のギャップが生じています。今日の時点で、全活動を網羅するために AI を導入している企業はわずか 15% です。デプロイ、監視、管理、およびガバナンスの問題が原因で、本番環境の機械学習モデルの 75% がまったく使用されていないことは役に立ちません。最終的に、これはモデルに取り組んでいるエンジニアやデータ サイエンティストにとって膨大な時間の浪費、会社が投資した多額の純損失、機械学習モデルが定量化可能な成長を可能にするときの一般的な信頼の欠如につながります。
当社のモデル パフォーマンス モニタリングは、本番環境でのモデルの動作と有効性をモニタリングすることで、データ サイエンティストと MLOps 実践者が機械学習アプリケーションのパフォーマンスを可視化できるようにします。これにより、データ チームは、開発、テスト、および運用監視の継続的なプロセスを作成する DevOps チームと直接コラボレーションすることができます。
まだお持ちでない場合は、以下で無料の New Relic アカウントを作成して、今すぐデータの監視を開始してください。
機械学習モデルのモニタリング方法
New Relic で適用されたインテリジェンス内でモデル パフォーマンス モニタリングを使用するには、いくつかの異なるオプションがあります。
独自のデータを持ち込む (BYOD):これは、New Relic が推奨するアプローチです。当社の ML モデル パフォーマンス モニタリングは、ML モデルが本番環境でどのように動作するかを詳細に観察できます。BYOD は、任意の環境 (Python スクリプト、コンテナー、Lambda 関数、SageMaker など) から使用でき、任意の機械学習フレームワーク (Scikit-learn、Keras、Pytorch、Tensorflow、Jax など) と簡単に統合できます。BYOD を使用すると、独自の ML モデル テレメトリを New Relic に取り込み、ML モデル データから価値を得ることができます。わずか数分で、特徴分布、統計データ、および予測分布を、監視したい他のカスタム メトリクスと共に取得できます。BYOD の詳細については、ドキュメントをご覧ください。
統合: New Relic は Amazon SageMaker とも提携しており、SageMaker から New Relic へのパフォーマンス メトリクスのビューを提供し、ML エンジニアとデータ サイエンス チームのオブザーバビリティへのアクセスを拡大しています。Amazon SageMaker 統合の詳細をお読みください。
Partnerships: New Relic は、特定のユースケースと監視機能を提供する 7 つの異なる MLOps ベンダーと提携しています。パートナーは、厳選されたパフォーマンスにアクセスするための優れた方法です およびその他のオブザーバビリティ ツールを使用して、すぐに使用できるダッシュボードを提供し、モデルを即座に可視化できます。
現在、私たちはパートナーとして活動しています。
これらのオプションのいずれかを使用して数分で機械学習モデルのパフォーマンスの測定を開始するには、モデル パフォーマンスの監視のクイックスタートを確認してください。
OpenAI GPT アプリを監視する方法
GPT シリーズのアプリケーション統合により、OpenAI の完了クエリを監視し、リクエストに関する New Relic のカスタマイズ可能なダッシュボードに有用な統計を記録することができます。わずか 2 行のコードを追加するだけで、コスト、応答時間、サンプルの入力/出力などの主要なパフォーマンス メトリックにアクセスできます。完全にカスタマイズ可能なダッシュボードにより、ユーザーは合計リクエスト、平均トークン/リクエスト、およびモデル名を追跡することもできます.詳細を読むか、 New Relic OpenAI クイックスタートにアクセスして統合をインストールしてください。