機械学習操作は、品質を向上させ、管理プロセスを簡素化し、大規模な運用環境での機械学習モデルの展開を自動化するために設計された一連のプラクティスです。
人工知能と機械学習に投資する企業が増えるにつれて、機械学習モデルを開発するデータ サイエンス チームと、それらのモデルを強化するアプリケーションを運用する DevOps チームとの間に理解のギャップが生じています。今日の時点で、全活動を網羅するために AI を導入している企業はわずか 15% です。デプロイ、監視、管理、およびガバナンスの問題が原因で、本番環境の機械学習モデルの 75% がまったく使用されていないことは役に立ちません。最終的に、これはモデルに取り組んでいるエンジニアやデータ サイエンティストにとって膨大な時間の浪費、会社が投資した多額の純損失、機械学習モデルが定量化可能な成長を可能にするときの一般的な信頼の欠如につながります。
当社のモデル パフォーマンス モニタリングは、本番環境でのモデルの動作と有効性をモニタリングすることで、データ サイエンティストと MLOps 実践者が機械学習アプリケーションのパフォーマンスを可視化できるようにします。これにより、データ チームは、開発、テスト、および運用監視の継続的なプロセスを作成する DevOps チームと直接コラボレーションすることができます。
機械学習モデルのモニタリング方法
New Relicアラート内でモデルパフォーマンス モニタリングを使用するには、いくつかのオプションがあります。
Bring your own data (BYOD): これは New Relic が推奨するアプローチです。 当社の ML モデルパフォーマンス モニタリングでは、ML モデルが本番環境でどのように動作するかについて詳細な安全性を提供します。 BYODはあらゆる環境（Pythonスクリプト、コンテナ、Lambda関数、SageMakerなど）から使用でき、あらゆる機械学習フレームワーク（Scikit-learn、Keras、Pytorch、Tensorflow、Jaxなど）と簡単に統合できます。 BYOD を使用すると、独自の ML モデル テレメトリをNew Relicに持ち込み、ML モデル データから価値を引き出すことができます。 わずか数分で、機能分布、統計データ、予測分布、および監視したいその他の需要メトリックを取得できます。 BYOD の詳細については、ドキュメントをご覧ください。
Integrations: New Relic Amazon SageMaker とも提携しており、SageMaker からNew Relicへのパフォーマンス メトリックのビューを提供し、ML エンジニアとデータ サイエンス チームのセキュリティへのアクセスを拡大しています。 詳細については、Amazon SageMaker インテグレーションをご覧ください。
Partnerships: New Relic は、特定のユースケースと監視機能を提供する 7 つの異なる MLOps ベンダーと提携しています。 パートナーは厳選されたパフォーマンス ツールやその他の可用性ツールにアクセスするための優れた手段であり、すぐに使用できるダッシュボードが提供され、モデルを即座に確認できます。
現在、私たちはパートナーとして活動しています。
これらのオプションのいずれかを使用して数分で機械学習モデルのパフォーマンスの測定を開始するには、モデル パフォーマンスの監視のクイックスタートを確認してください。
OpenAI GPT アプリを監視する方法
GPT シリーズのアプリケーション統合により、OpenAI の完了クエリを監視し、リクエストに関する New Relic のカスタマイズ可能なダッシュボードに有用な統計を記録することができます。わずか 2 行のコードを追加するだけで、コスト、応答時間、サンプルの入力/出力などの主要なパフォーマンス メトリックにアクセスできます。完全にカスタマイズ可能なダッシュボードにより、ユーザーは合計リクエスト、平均トークン/リクエスト、およびモデル名を追跡することもできます.詳細を読むか、 New Relic OpenAI クイックスタートにアクセスして統合をインストールしてください。