GPT シリーズのアプリケーション統合により、ユーザーは OpenAI 完了クエリをシームレスに監視し、同時に New Relic のカスタマイズ可能なダッシュボードに有用な統計を記録することができます。
わずか 2 行のコードを追加するだけで、ユーザーはコスト、応答時間、サンプルの入力/出力などの主要なパフォーマンス メトリックにアクセスできます。ダッシュボードでは、ユーザーは合計リクエスト、平均トークン/リクエスト、およびモデル名を追跡することもできます。
New Relic の完全にカスタマイズ可能なダッシュボードを使用すると、ユーザーは特定のビジネス要件とニーズに基づいて追加のメトリックを追加できます。
全体として、New Relic の GPT 統合は、企業が使用を最適化し、コストを削減し、より良い結果を達成するのに役立つリアルタイムのメトリクスを提供します。
インストール
インストールは簡単で、他の Python ライブラリと同様です。
pip install nr-openai-observability
入門
このガイドでは、OpenAI GPT アプリケーションを統合し、使用状況の監視を開始するために必要なすべてについて、順を追って説明します。
ステップ 1. 環境変数を設定する
入手してください ( ingest - license
とも呼ばれます) を環境変数として設定します: NEW_RELIC_LICENSE_KEY
。詳細と手順については、ここをクリックしてください 。
import osos.environ["NEW_RELIC_LICENSE_KEY"] = "<license key>"
NEW_RELIC_LICENSE_KEY
monitor.initialization()
呼び出しでパラメーターとして送信することもできます。
ステップ 2. コードを変更する
次の 2 行をコードに追加します。
from nr_openai_observability import monitormonitor.initialization()
ステップ 3. ダッシュボードを追加する
指示に従って、ダッシュボードを New Relic アカウントに追加します。
import os
import openaifrom nr_openai_observability import monitor
monitor.initialization()
openai.api_key = os.getenv("OPENAI_API_KEY")openai.Completion.create( model="text-davinci-003", prompt="What is Observability?", max_tokens=20, temperature=0 )
EU アカウントのユーザー
New Relic EU 地域にデータを報告していますか?詳細については 、ここをクリック してください。 EU アカウントを使用している場合は、 EVENT_CLIENT_HOST
も設定する必要があります。
import osos.environ["EVENT_CLIENT_HOST"] = "insights-collector.eu01.nr-data.net"
EVENT_CLIENT_HOST
monitor.initialization()
呼び出しでパラメーターとして送信することもできます。
デモ動画
この統合を設定するデモは次のとおりです。