人々が人工知能について話すとき、それはさまざまな意味を持っている場合があります。 New Relicで AI と言うとき、エンドユーザー プロンプトを受信したときに応答を生成するために大規模言語モデル(LLM) (LLM) を使用する環境の層を意味します。 AI モニタリングは、AI 搭載アプリのエンドツーエンドの可視性を提供するAPMソリューションです。
AI モニタリングを使用すると、AI アプリを駆動するエンジンのパフォーマンスを測定できるため、ユーザーに可能な限り最高のエクスペリエンスを提供できるようになります。 開始するには、APMエージェントのいずれかをインストールし、AIモニタリングを有効にするだけです。
one.newrelic.com > AI monitoring > AI responsesに移動し、応答行を選択します。
AIモニタリングはどのように機能するのでしょうか?
AI モニタリングを開始するには、アプリを計測するための APM エージェントの 1 つをインストールします。 インストゥルメンテーションとは、アプリを測定できることを意味し、エージェントがアプリの動作に関するデータを取得できるようにします。 インストゥルメントされたら、設定レベルで AI モニタリングを有効にする必要があります。
AI モニタリングを有効にすると、エージェントは AI イベントに関連付けられた AI メタデータを認識できるようになります。 AI がプロンプトを受信して応答を返すと、エージェントは外部 LLM およびベクター ストアから生成されたデータを認識し、トークンの使用状況に関する情報を解析できます。
AIモニタリングによるAIパフォーマンスの向上
AI を利用したアプリのパフォーマンスを概要するには、 one.newrelic.com > AI monitoring > AI responsesに移動します。
AI モニタリングは、AI アプリのパフォーマンスに関する重要な質問、つまりエンドユーザーが応答を待つ時間が長すぎますか? に答えるのに役立ちます。 最近トークンの使用量が急増していますか? 特定のトピックに関して、ユーザーからの否定的なフィードバックのパターンはありますか? AI モニタリングを使用すると、AI 層に固有のデータを確認できます。
- 応答テーブルから特定のプロンプトおよび応答インタラクションのエラーを識別します。 AI モデルを改善したい場合は、 New Relicでモデル データを分析する方法を学習してください。
- アプリ環境間で異なるモデルを使用している場合は、デプロイする前にアプリのコストとパフォーマンスを比較できます。
- データのコンプライアンスについて懸念がありますか? 機密データを New Relic に送信する前にドロップ フィルターを作成してドロップする方法を学びます。
AIモニタリングを始める
始める準備はできましたか? AI ライブラリまたはフレームワークが計装できることを必ず確認してください。 すでにアプリをインストゥルメントした場合は、エージェントを更新する必要がある場合があります。
準備ができたら、ドキュメントを使用してAI モニタリングを手動でインストールします。 このドキュメントでは、APM エージェントをインストールするための関連手順を説明し、エージェント AI モニタリングの構成について説明します。