Sintaxe
newrelic.agent.record_llm_feedback_event(trace_id, rating, category=None, message=None, metadata=None)
Registra evento de feedback personalizado para AI grande modelo de linguagem aplicativo.
Requisitos
Agente Python versão 9.8.0 ou superior.
Descrição
Esta API registra um evento de feedback LlmFeedbackMessage
que pode ser visualizado e consultado na interface New Relic . O feedback pode correlacionar IDs trace entre uma mensagem gerada por IA e o feedback que um usuário final enviou sobre ela. Para correlacionar mensagens com feedback, você pode obter o trace ID da transação ativa por meio de uma chamada para current_trace_id
logo após a chamada que gera a mensagem AI. Passe o ID trace para a chamada de feedback posteriormente, quando um usuário fornecer feedback.
Em muitos casos, o endpoint das mensagens de IA é registrado em locais diferentes do endpoint de feedback. Eles podem acontecer em diferentes transações. É importante:
- Certifique-se de que o ID trace seja capturado dentro do endpoint que gera a mensagem AI.
- Passe esse ID trace dentro do endpoint que registra o feedback.
Parâmetro
Parâmetro | Descrição |
---|---|
corda | Obrigatório. ID do trace onde ocorreram as conclusões do chat relacionadas ao feedback. Esse ID pode ser obtido por meio de uma chamada para |
string ou int | Obrigatório. Classificação fornecida por um usuário final (ex: “Bom/Mau”, “1-10”). |
corda | Opcional. Categoria do feedback fornecido pelo usuário final (ex: “informativo”, “impreciso”). |
corda | Opcional. Feedback de texto de formato livre de um usuário final. |
dict | Opcional. Conjunto de pares de valores principais para armazenar quaisquer outros dados desejados para enviar com o evento de feedback. |
Valores de retorno
Nenhum.
Exemplos
Obtenha ID trace e registre feedback
Exemplo de gravação de um evento de feedback:
import newrelic.agent
def get_message(request): trace_id = newrelic.agent.current_trace_id()
def post_feedback(request): newrelic.agent.record_llm_feedback_event(trace_id=request.trace_id, rating=request.rating, metadata= {"my_key": "my_val"})```