WithLlmCustomAttributes (API do agente Python)

Sintaxe

with newrelic.agent.WithLlmCustomAttributes(custom_attribute_map):

API gerenciadora de contexto que adiciona atributos especificados pelo usuário ao grande modelo de linguagem (LLM) gerado por chamadas LLM no código do aplicativo.

Requisitos

Agente Python versão 10.1.0 ou superior.

Descrição

Esta API do gerenciador de contexto adiciona atributos personalizados especificados pelo usuário a cada evento LLM gerado dentro de seu contexto com base em chamadas feitas aos LLMs. O agente adicionará automaticamente um prefixo llm. a cada nome de chave de atributo personalizado especificado no argumento do dicionário passado. Esta API deve ser chamada dentro do contexto de uma transação ativa.

Esses atributos personalizados podem ser visualizados no evento LLM e consultados na interface New Relic . Para obter mais informações sobre AI Monitoring, consulte nossa documentação de IA.

Parâmetro

Valores de retorno

Nenhum.

Exemplos

Adicionar atributo personalizado a uma chamada de conclusão de chat OpenAI

import newrelic.agent

    from openai import OpenAI

    client = OpenAI()

    with newrelic.agent.WithLlmCustomAttributes({"custom": "attr", "custom1": "attr1"}):
        response = client.chat.completions.create(
            messages=[{
                "role": "user",
                "content": "Say this is a test",
            }],
            model="gpt-4o-mini",
        )