TruEra は、AI スタックの重要なギャップを埋め、ライフサイクルを通じてモデルの品質を説明およびテストします。TruEra の AI ソリューションは、機械学習モデルの説明、デバッグ、およびモニタリングを行い、より高い品質と信頼性を実現するとともに、迅速なデプロイメントを可能にします。このソリューションは、モデルのライフサイクル全体にわたって機能し、モデル開発プラットフォームに依存せず、既存のAIスタックに簡単に組み込むことができます。
TruEra には、New Relic とのモデル パフォーマンス モニタリング統合が含まれており、MLOps チームが ML ライフサイクル全体で信号を関連付け、標準精度を超え、入力と出力のドリフトを監視するのに役立ちます。
TruEraとNew Relicの統合
機械学習モデルを TruEra に追加する
TruEraは、機械学習モデルやその他のデータを取り込むためのコマンドライン・インターフェース（CLI）とPythonクライアントを提供しています。CLIを使用してモデルを追加する手順には、新規プロジェクトの作成、データ収集、トレーニングデータの追加、モデルのパッケージ化と取り込み、本番データの追加が含まれます。
これらの手順は、 TruEraのテクニカル・ドキュメント・ページ に記載されています。
TruEraからNew Relicへのデータの流れ
新しいデータセットがTrueraMonitoringシステムに取り込まれるたびに、関連するメトリックが計算されて保存されます。これらの計算されたメトリックは、 truera2newrelicデータエクスポーターを使用して定期的にNewRelicにプッシュできます。このエクスポーターには、TrueraおよびNewRelicコンソールによって生成されたAPIキーが必要です。
以下に、これらのキーを作成する方法を説明します。
New Relic アカウントにログインします:
one.newrelic.com > All capabilities > + Add more data
に移動します。
「TruEra」をクリックします。検索バーに
TruEra
と入力します。
Select an account ID: TruEraと統合したいアカウントIDを選択してください。
API キーを選択または作成します。ダッシュボード管理には
Active dashboard key
が必要で、メトリック取り込みには
Model metrics data key
必要です。 これらのキーは
を参照します。 新しいキーを作成するか、2 つのキー セクションで既存のキーを選択します。
TruEra でキーを作成する: TruEra コンソールにログインし、ユーザー ページに移動します。
Auth token
を作成するには
Generate Credentials
をクリックしてください。
Verify the data export run and set up the batch exporter: 次に、 TruEra docs にアクセスして、ターミナルのコマンドを使用して最初のデータ・エクスポー ト実行を検証する方法の手順を確認してください。次に、仮想マシン上でバッチ・データ・エクスポーターをセットアップします。
このドキュメントはインストールの役に立ちましたか？
TruEra を使用して、すぐに使える New Relic ダッシュボードを表示します。
機械学習のモニタリング指標を可視化するために、TruEra は、モデルの健全性、セグメントのドリルダウン、フィーチャの値、データの品質、公平性などのテーマを使用して問題を監視し、ドリルダウンするためのスケルトン・ダッシュボードを提供します。
これらは、 truera2newrelicダッシュボード ツールを使用して設定できます。 これを行うには、次の手順に従います。
モデルメトリックスを確認します: one.newrelic.comからナビゲーション メニューに移動し、メイン ナビゲーション メニューのダッシュボード タブをクリックします。 指定された ML モデルに対して自動的に生成されたダッシュボード設定が表示されます。 最近エクスポートされたモデル メトリクスが表示されていることを確認します。
まとめ通知の設定:ダッシュボードを作成したら、データにアラートを取得できます。 チャートから NRQL 条件を作成するには、チャート ウィジェットをクリックし、次にCreate alert conditionをクリックします。 条件に名前を付けてカスタマイズしたら、既存のポリシーに追加したり、新しいポリシーを作成したりできます。
Get notified: アラート条件を作成したら、どのように通知するかを選択できます。通知チャンネルの設定方法については、 のドキュメントを参照してください 。
インシデントの関連付け：通知に加えて、インシデントインテリジェンスを使用してインシデントを関連付けることができます。 決定を使用してインシデントを関連付ける方法については、ドキュメントを参照してください。
これで、New Relic と TruEra の統合が完了しました。新たに作成されたアラートは、New Relic のアラートと相関関係があり、新たに報告された予測に関するデータを見ることができるようになりました。