WithLlmCustomAttributes (Python エージェントAPI )

構文

with newrelic.agent.WithLlmCustomAttributes(custom_attribute_map):

アプリケーション コード内の LLM 呼び出しによって生成される大規模言語モデル(LLM) (LLM) イベントにユーザー指定のプロパティを追加するコンテキスト マネージャーAPI 。

要件

Python エージェント バージョン 10.1.0 またはそれ以上。

説明

このコンテキスト マネージャー API は、LLM への呼び出しに基づいて、コンテキスト内で生成された各 LLM イベントにユーザー指定のカスタム属性を追加します。 エージェントは、渡された辞書引数で指定された各カスタムアトリビュート キー名にllm.プレフィックスを自動的に追加します。 この API は、アクティブなトランザクションのコンテキスト内で呼び出す必要があります。

これらのカスタムアトリビュートは、LLM イベントで表示したり、 New Relic UIで投稿したりできます。 AI モニタリングの詳細については、 AI ドキュメント を参照してください。

パラメーター

戻り値

なし。

例

OpenAI チャット完了呼び出しにカスタムアトリビュートを追加する

import newrelic.agent

from openai import OpenAI

client = OpenAI()

with newrelic.agent.WithLlmCustomAttributes({"custom": "attr", "custom1": "attr1"}):
    response = client.chat.completions.create(
        messages=[{
            "role": "user",
            "content": "Say this is a test",
        }],
        model="gpt-4o-mini",
    )