Sintaxis
newrelic.agent.record_llm_feedback_event(trace_id, rating, category=None, message=None, metadata=None)
Registra eventos de retroalimentación personalizados para la aplicación del modelo de lenguaje extenso IA.
Requisitos
Agente Python versión 9.8.0 o superior.
Descripción
Esta API registra un evento de retroalimentación LlmFeedbackMessage
que se puede ver y consultar en la New Relic UI. La retroalimentación incluso correlaciona los ID de traza entre un mensaje generado por IA y la retroalimentación que un usuario finalmente envió al respecto. Para correlacionar mensajes con comentarios, puede obtener el ID de traza de la transacción activa mediante una llamada a current_trace_id
justo después de la llamada que genera el mensaje de IA. Pase el ID de traza a la llamada de comentarios más tarde cuando un usuario proporcione comentarios.
En muchos casos, el extremo de los mensajes de IA se graba en lugares diferentes del extremo de retroalimentación. Pueden ocurrir en diferentes transacciones. Es importante:
- Asegúrese de que la traza ID esté capturada dentro del extremo que genera el mensaje de IA.
- Pase esa traza ID dentro del extremo que registra la retroalimentación.
Parámetros
Parámetro | Descripción |
---|---|
cadena | Requerido. ID de la traza donde se produjo la finalización del chat relacionado con los comentarios. Esta identificación se puede obtener mediante una llamada a |
cadena o int | Requerido. Calificación proporcionada por un usuario final (por ejemplo: “Bueno/Malo”, “1-10”). |
cadena | Opcional. Categoría de los comentarios proporcionados por el usuario final (por ejemplo: “informativo”, “inexacto”). |
cadena | Opcional. Comentarios de texto de formato libre de un usuario final. |
dict | Opcional. Conjunto de pares de valores principales para almacenar cualquier otro dato deseado para enviar con el evento de retroalimentación. |
Valores de retorno
Ninguno.
Ejemplos
Obtenga ID de traza y registre comentarios
Ejemplo de grabación de un evento de retroalimentación:
import newrelic.agent
def get_message(request): trace_id = newrelic.agent.current_trace_id()
def post_feedback(request): newrelic.agent.record_llm_feedback_event(trace_id=request.trace_id, rating=request.rating, metadata= {"my_key": "my_val"})```