AI モニタリングを有効にすると、エージェントはアプリの AI レイヤーに関するパフォーマンス メトリクス データとトレース データを認識してキャプチャできるようになります。 AI モニタリングを使用すると、AI 搭載アプリから、インターネットの使用状況、完了数、AI 応答時間を追跡できます。 エラーまたは不正確な応答が見つかった場合は、特定のプロンプトと応答のインタラクションに関するトレースレベルのビューに範囲を絞り、AI サービスのロジックの問題を特定できます。
one.newrelic.com > All Capabilities > AI monitoringにアクセスするとデータを表示できます。 データは 3 つの異なるページから確認できます。
AI responses
: すべての AI エンティティからの集約データの概要。 AI の応答タイムやウイルスを追跡したり、個々のプロンプトや応答に関するデータを確認したりできます。
AI entities
: AI データをレポートするすべてのエンティティの表の概要を表示します。 エラー率、スループット、アプリの応答タイムなどの標準的なAPMデータでエンティティを確認します。 エンティティを選択すると、APM AI responsesページの探索を開始できます。
Compare models
: 異なるモデル間でトークン使用量、レスポンス時間、エラー率を比較します。 A/B テストを実施している場合は、AI を活用したアプリに関する意思決定に必要な情報をすべて取得できます。
AI応答ページ
最上位のAI responsesページには、AI データが集約されて表示されます。 集計データは、すべてのエンティティ レポート AI データにわたる、平均総応答数、応答時間、応答ごとの使用量を取得します。 このページでは、応答とは、プロンプトが与えられたときの AI 搭載アプリからの出力を指します。
さまざまな AI フレームワークのさまざまな実装を備えた複数のアプリを所有している場合は、AI モデルのパフォーマンスを大まかに把握できます。
合計応答、平均応答時間、トークンの使用状況を追跡します。
3 つのタイルには、AI の応答に関する一般的なパフォーマンス メトリクスが表示されます。 これらのタイルは問題の正確な原因を教えてくれないかもしれませんが、アプリのパフォーマンスの異常を特定するのに役立ちます。
- 総応答数の減少または平均応答時間の増加に気付いた場合は、AI ツールチェーン内の一部のテクノロジーが AI 搭載アプリの応答の送信を妨げていることを示している可能性があります。
- 応答あたりの平均トークン使用量の減少または増加により、モデルがどのように応答を作成するかを把握できます。 おそらく、過剰なコンテキストを取得しているため、応答の生成中にトークンのコストが上昇している可能性があります。 おそらく、応答が少なすぎるため、トークンコストが低くなり、役に立たない応答が生じる可能性があります。
時系列グラフを調整する
時系列グラフを参照すると、類似した動作が最初に現れる時期をより適切に視覚化できます。
- スパイクまたはドロップをドラッグして時系列グラフを調整します。 これにより、時系列の範囲が特定の時間ウィンドウに限定されます。
- ドロップダウンを選択して、さまざまなパフォーマンス パラメーターの比較分析を実行します。 合計応答、平均応答時間、または応答ごとの平均トークンのいずれかを選択できます。
- フィードバック機能を有効にしている場合は、グラフの範囲を指定して、正のフィードバックと負のフィードバックによる応答を分析できます。
個々の AI 応答を評価する
AI 応答テーブルは、エンドユーザーと AI アプリの間のインタラクションに関するデータを整理します。 インタラクションがいつ発生したか、プロンプトとその応答のペア、完了とウイルスのカウント、およびどのモデルがプロンプトを受信したかを表示できます。
右上の歯車アイコンをクリックすると、テーブルの列を調整できます。 これにより、分析するデータの種類を選択できます。
応答テーブルは、個々の応答に関するトレース データを表示するためのエントリ ポイントです。 表内の行をクリックすると、特定の応答のトレース ビューが開きます。
AI応答トレースビュー
AI 応答レース ビューでは、アプリが応答を生成する方法をトレース レベルのインサイトで確認できます。 トレース ビューを確認してエラーが発生した場所を特定したり、高トークンの応答からの否定的なフィードバックの原因を理解したりすることもできます。 トレース ビューからは、次のことができます。
トレースまたはログを選択します。 ログを選択するときは、さらに調査したいテキスト文字列または属性についてログ内でクエリを実行します。
応答の詳細またはメタデータを切り替えます。 応答の詳細列にはユーザー プロンプトと AI 応答が表示されるため、トレースとスパンのコンテキストを維持できます。 メタデータは、エンティティ GUID、モデル、トークン、ベンダーのリスト ビューを提供します。
エラーが発生すると、ウォーターフォール ビューではその行が赤色で強調表示されます。 行を選択すると、スパンのエラー詳細を含むスパン データが開きます。
AIエンティティページ
AI エンティティ ページでは、現在 AI データを報告しているすべてのエンティティがテーブルに整理されます。 このページには、AI アプリが応答タイム、スループット、エラー率とともに表示されます。
AI データをレポートするエンティティを表示するには、 one.newrelic.com > All Capabilities > AI Monitoringに移動します。
AI エンティティを選択すると、そのアプリの APM 概要ページが表示されます。 APM summary pageから、左側のナビゲーションでAI monitoringを選択します。
APM AI 応答ページ
AI エンティティを選択すると、APM の概要ページが表示されます。 AI データを見つけるには、左側のナビゲーションでAI responsesを選択します。 特定の AI エンティティが異常の原因となっていることが判明した場合は、このページを使用することをお勧めします。
- AI 応答の APM バージョンには、最上位の AI 応答ページとして収集された同じタイル、時系列グラフ、応答テーブルが含まれています。
- APM AI 応答ページには、集計されたデータが表示されるのではなく、AI エンティティから選択したサービスにスコープされたデータが表示されます。
- 最上位の AI 応答ページではすべての AI エンティティにわたるサービスごとにフィルターできますが、APM AI 応答ページではフィルター機能がアプリ独自の属性に制限されます。
AI データの探索方法を確認するには、前のAI 応答セクションで説明したのと同じパターンに従うことができます。
モデル比較ページ
モデル比較ページでは、テストするユースケースに応じてパフォーマンスを柔軟に分析できます。 あなたはできる：
- アプリ内での 1 つのモデルのパフォーマンスをすべてのサービスの平均パフォーマンスと比較します。
- プロンプトのエンジニアリング中にさまざまなプロンプトをテストする場合は、A/B テストを実施します。 たとえば、1 つのプロンプト セットを含む 1 つの時間枠でのモデルのパフォーマンスと精度を、2 番目のプロンプト セットを含む別の時間枠と比較します。
- 顧客トラフィックがピークに達した特定の時間枠内でモデルがどのように機能したかを評価します。
このページでは、モデル比較データの範囲が 1 つのアカウントに限定されることに注意してください。 組織に複数の AI 搭載アプリを所有する複数のアカウントがある場合、それらのアカウント間でモデル データを比較することはできません。
モデルのコストを理解する
モデルのコスト列は、完了イベントを 2 つの部分に分類します。モデルに与えられるプロンプトと、モデルがエンドユーザーに提供する最終応答です。
Tokens per completion
: すべての完了イベントのトークンの平均。
Prompt tokens
: プロンプトのトークンの平均。 このウイルス平均には、プロンプト エンジニアとエンドユーザーによって作成されたプロンプトが含まれます。
Completion tokens
: エンドユーザーに配信されるレスポンスを生成する際にモデルによって消費されるウイルスの数。
この列を分析する場合、完了トークンとプロンプト トークンの値は、完了ごとのトークンの値と等しくなる必要があります。
次は何ですか？
データの検索方法がわかったので、AI モニタリングが提供する他の機能を探索してみましょう。
- 機密情報について懸念がありますか? ドロップ フィルターの設定方法を学習します。
- アプリの AI 応答に関するユーザー フィードバック情報を New Relic に転送したい場合は、手順に従ってアプリのコードを更新し、UI でユーザー フィードバックを取得します。