OpenAI の統合

GPT シリーズのアプリケーション統合により、ユーザーは OpenAI 完了クエリをシームレスに監視し、同時に New Relic のカスタマイズ可能なダッシュボードに有用な統計を記録することができます。

わずか 2 行のコードを追加するだけで、ユーザーはコスト、応答時間、サンプルの入力/出力などの主要なパフォーマンスメトリックにアクセスできます。ダッシュボードでは、ユーザーは合計リクエスト、平均トークン/リクエスト、およびモデル名を追跡することもできます。

New Relic の完全にカスタマイズ可能なダッシュボードを使用すると、ユーザーは特定のビジネス要件とニーズに基づいて追加のメトリックを追加できます。

全体として、New Relic の GPT 統合は、企業が使用を最適化し、コストを削減し、より良い結果を達成するのに役立つリアルタイムのメトリクスを提供します。

インストール

インストールは簡単で、他の Python ライブラリと同様です。

pip install nr-openai-observability

入門

このガイドでは、OpenAI GPT アプリケーションを統合し、使用状況の監視を開始するために必要なすべてについて、順を追って説明します。

ステップ 1. 環境変数を設定する

入手してください ( ingest - licenseとも呼ばれます) を環境変数として設定します: NEW_RELIC_LICENSE_KEY。詳細と手順については、ここをクリックしてください。

import os
os.environ["NEW_RELIC_LICENSE_KEY"] = "<license key>"

NEW_RELIC_LICENSE_KEY monitor.initialization()呼び出しでパラメーターとして送信することもできます。

ステップ 2. コードを変更する

次の 2 行をコードに追加します。

from nr_openai_observability import monitor
monitor.initialization()

ステップ 3. ダッシュボードを追加する

指示に従って、ダッシュボードを New Relic アカウントに追加します。

import os

import openai
from nr_openai_observability import monitor

monitor.initialization()

openai.api_key = os.getenv("OPENAI_API_KEY")
openai.Completion.create(
    model="text-davinci-003",
    prompt="What is Observability?",
    max_tokens=20,
    temperature=0 
)

EU アカウントのユーザー

New Relic EU 地域にデータを報告していますか?詳細については、ここをクリックしてください。 EU アカウントを使用している場合は、 EVENT_CLIENT_HOSTも設定する必要があります。

import os
os.environ["EVENT_CLIENT_HOST"] = "insights-collector.eu01.nr-data.net"

EVENT_CLIENT_HOST monitor.initialization()呼び出しでパラメーターとして送信することもできます。

デモ動画

この統合を設定するデモは次のとおりです。