WithLlmCustomAttributes (API del agente de Python)

Sintaxis

with newrelic.agent.WithLlmCustomAttributes(custom_attribute_map):

API de administrador de contexto que agrega un atributo especificado por el usuario al evento de modelo de lenguaje extenso (LLM) generado por llamadas de LLM en el código de la aplicación.

Requisitos

Versión 10.1.0 del agente Python o superior.

Descripción

Esta API de administrador de contexto agrega atributos personalizados especificados por el usuario a cada evento LLM generado dentro de su contexto en función de las llamadas realizadas a los LLM. El agente agregará automáticamente un prefijo llm. a cada nombre de clave de atributo personalizado especificado en el argumento del diccionario pasado. Esta API debe llamar dentro del contexto de una transacción activa.

Estos atributos personalizados se pueden ver en LLM evento y consultar en la New Relic UI. Para obtener más información sobre el monitoreo de IA, consulte nuestra documentación de IA.

Parámetros

Valores de retorno

Ninguno.

Ejemplos

Agregue un atributo personalizado a una llamada de finalización de chat OpenAI

import newrelic.agent

    from openai import OpenAI

    client = OpenAI()

    with newrelic.agent.WithLlmCustomAttributes({"custom": "attr", "custom1": "attr1"}):
        response = client.chat.completions.create(
            messages=[{
                "role": "user",
                "content": "Say this is a test",
            }],
            model="gpt-4o-mini",
        )