TruEra は、AI スタックの重要なギャップを埋め、ライフサイクルを通じてモデルの品質を説明およびテストします。TruEra の AI ソリューションは、機械学習モデルの説明、デバッグ、およびモニタリングを行い、より高い品質と信頼性を実現するとともに、迅速なデプロイメントを可能にします。このソリューションは、モデルのライフサイクル全体にわたって機能し、モデル開発プラットフォームに依存せず、既存のAIスタックに簡単に組み込むことができます。
TruEra には、New Relic とのモデル パフォーマンス モニタリング統合が含まれており、MLOps チームが ML ライフサイクル全体で信号を関連付け、標準精度を超え、入力と出力のドリフトを監視するのに役立ちます。
TruEraとNew Relicの統合
機械学習モデルを TruEra に追加する
TruEraは、機械学習モデルやその他のデータを取り込むためのコマンドライン・インターフェース（CLI）とPythonクライアントを提供しています。CLIを使用してモデルを追加する手順には、新規プロジェクトの作成、データ収集、トレーニングデータの追加、モデルのパッケージ化と取り込み、本番データの追加が含まれます。
これらの手順は、 TruEraのテクニカル・ドキュメント・ページ に記載されています。
TruEraからNew Relicへのデータの流れ
新しいデータセットがTrueraMonitoringシステムに取り込まれるたびに、関連するメトリックが計算されて保存されます。これらの計算されたメトリックは、 truera2newrelicデータエクスポーターを使用して定期的にNewRelicにプッシュできます。このエクスポーターには、TrueraおよびNewRelicコンソールによって生成されたAPIキーが必要です。
以下に、これらのキーを作成する方法を説明します。
New Relic アカウントにログインします。 one.newrelic.com > All capabilities > +Add more dataに移動します。
TruEra をクリックします。検索バーにTruEraと入力します。
Select an account ID: TruEraと統合したいアカウントIDを選択してください。
Select or create an API key: アクティブなダッシュボード キーが 必要です。
管理、およびメトリクス取り込み用の モデル メトリクス データ キー 。これらのキーは、
.新しいキーを作成するか、2 つのキー セクションで既存のキーを選択します。
TruEraでキーを作成する： TruEraコンソールにログインし、ユーザー・ページに移動します。 Generate Credentials をクリックして、 Auth token を作成します。
Verify the data export run and set up the batch exporter: 次に、 TruEra docs にアクセスして、ターミナルのコマンドを使用して最初のデータ・エクスポー ト実行を検証する方法の手順を確認してください。次に、仮想マシン上でバッチ・データ・エクスポーターをセットアップします。
このドキュメントはインストールで役立ちましたか。
TruEra を使用して、すぐに使える New Relic ダッシュボードを表示します。
機械学習のモニタリング指標を可視化するために、TruEra は、モデルの健全性、セグメントのドリルダウン、フィーチャの値、データの品質、公平性などのテーマを使用して問題を監視し、ドリルダウンするためのスケルトン・ダッシュボードを提供します。
これらは truera2newrelic ダッシュボード ツールを使用して設定できます。これを行うには、次の手順に従います。
- モデルのメトリクスを確認します: one.newrelic.comから、ナビゲーション メニューに移動し、メイン ナビゲーション メニューのダッシュボード タブをクリックします。特定の ML モデルに対して自動生成されたダッシュボードのセットアップが表示されます。最近エクスポートされたモデル メトリックが表示されていることを確認します。
- アラート通知の設定： ダッシュボードをいくつか作成したら、データにアラートを出すことができます。チャートから NRQL アラート条件を作成するには、チャートウィジェットをクリックし、 アラート条件の作成 をクリックします。条件に名前を付けてカスタマイズしたら、それを既存のポリシーに追加したり、新しいポリシーを作成することができます。
- Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
- インシデントの関連付け：通知に加えて、インシデントインテリジェンスを使用してインシデントを関連付けることができます。 決定を使用してインシデントを関連付ける方法については、ドキュメントを参照してください。
これで、New Relic と TruEra の統合が完了しました。新たに作成されたアラートは、New Relic のアラートと相関関係があり、新たに報告された予測に関するデータを見ることができるようになりました。