人々が人工知能について話すとき、それはさまざまな意味を持っている場合があります。 New Relicで AI と言うとき、エンドユーザー プロンプトを受信したときに応答を生成するために大規模言語モデル(LLM) (LLM) を使用する環境の層を意味します。 AI モニタリングは、AI 搭載アプリのエンドツーエンドの可視性を提供するAPMソリューションです。
AI モニタリングを使用すると、AI アプリを駆動するエンジンのパフォーマンスを測定できるため、ユーザーに可能な限り最高のエクスペリエンスを提供できるようになります。 開始するには、APMエージェントのいずれかをインストールし、AIモニタリングを有効にするだけです。
one.newrelic.com > AI monitoring > AI responsesに移動し、応答行を選択します。
AIモニタリングはどのように機能するのでしょうか?
AI モニタリングを開始するには、アプリを計測するための APM エージェントの 1 つをインストールします。 インストゥルメンテーションとは、アプリを測定できることを意味し、エージェントがアプリの動作に関するデータを取得できるようにします。 インストゥルメントされたら、設定レベルで AI モニタリングを有効にする必要があります。
AI モニタリングを有効にすると、エージェントは AI イベントに関連付けられた AI メタデータを認識できるようになります。 AI がプロンプトを受信して応答を返すと、エージェントは外部 LLM およびベクター ストアから生成されたデータを認識し、トークンの使用状況に関する情報を解析できます。
AIモニタリングによるAIパフォーマンスの向上
AI を利用したアプリのパフォーマンスを概要するには、 one.newrelic.com > AI monitoring > AI responsesに移動します。
AI モニタリングは、AI アプリのパフォーマンスに関する重要な質問、つまりエンドユーザーが応答を待つ時間が長すぎますか? に答えるのに役立ちます。 最近トークンの使用量が急増していますか? 特定のトピックに関して、ユーザーからの否定的なフィードバックのパターンはありますか? AI モニタリングを使用すると、AI 層に固有のデータを確認できます。
- 応答テーブルから特定のプロンプトと応答インタラクションのエラーを特定します。 エラーが発生した場合は、トレース ウォーターフォール ビューを開いてメソッドをスコープし、AI 搭載アプリが応答を生成するときに行う呼び出しを行います。
- プロンプト エンジニアが AI のプロンプト パラメーターを更新した場合、更新後にトークンの使用量が急増したか減少したかを追跡できます。 AI モニタリングを使用して、コストを抑える意思決定を支援します。
- 開発中にアプリを微調整しているかもしれませんが、本番環境に移行する前にコストとパフォーマンスの効率を向上させたいと考えています。 異なるアプリ環境で異なるモデルを使用している場合は、デプロイする前にアプリのコストとパフォーマンスを比較できます。
AIモニタリングを始める
始める準備はできましたか? AI ライブラリまたはフレームワークが計装できることを必ず確認してください。 すでにアプリをインストゥルメントした場合は、エージェントを更新する必要がある場合があります。
準備ができたら、ドキュメントを使用してAI モニタリングを手動でインストールします。 このドキュメントでは、APM エージェントをインストールするための関連手順を説明し、エージェント AI モニタリングの構成について説明します。