Ver datos de respuesta de la aplicación AI

Habilitar el monitoreo de IA permite al agente reconocer y capturar datos de rendimiento métrico y traza sobre la capa de IA de su aplicación. Con el monitoreo de IA, puede realizar un seguimiento del uso token , la cantidad de finalizaciones y el tiempo de respuesta de IA desde su aplicación impulsada por IA. Cuando ve un error o una respuesta inexacta, puede acceder a una vista de nivel de traza en una interacción símbolo-respuesta determinada para identificar problemas en la lógica de su servicio de IA.

Puede ver sus datos yendo a one.newrelic.com > All Capabilities > AI monitoring. Puedes ver tus datos desde tres páginas diferentes:

• AI responses

  : Descripción general de datos agregados de todas sus entidades de IA. Realice un seguimiento de su tiempo de respuesta y token de IA, o vea datos sobre símbolos y respuestas individuales.

• AI entities

  : vea un resumen de la tabla de todas las entidades que informan datos de IA. Vea la entidad con datos APM estándar, como tasa de errores, rendimiento y tiempo de respuesta de la aplicación. Cuando selecciona una entidad, puede comenzar a explorar la página AI responses de APM.

Página de respuestas de IA

La página AI responses de nivel superior muestra sus datos de IA en conjunto. Los datos agregados toman el promedio total de respuestas, el tiempo de respuesta y el uso token por respuesta en todas las entidades que informan datos de IA. En esta página, la respuesta se refiere a una salida de su aplicación impulsada por IA cuando se le asigna un símbolo.

Si posee varias aplicaciones con varias implementaciones de diferentes marcos de IA, puede tener una idea general de cómo funciona su modelo de IA.

Realice un seguimiento del total de respuestas, el tiempo de respuesta promedio y el uso token

Los tres mosaicos muestran el rendimiento métrico general de las respuestas de tu IA. Es posible que estos mosaicos no le indiquen la causa exacta de un problema, pero son útiles para identificar anomalías en el rendimiento de su aplicación.

• Si nota una caída en el total de respuestas o un aumento en el tiempo de respuesta promedio, puede indicar que alguna tecnología en su cadena de herramientas de IA ha impedido que su aplicación impulsada por IA publique una respuesta.
• Una caída o un aumento en el uso promedio token por respuesta puede brindarle información valiosa sobre cómo su modelo crea una respuesta. Tal vez esté extrayendo demasiado contexto, aumentando así el costo token al generar su respuesta. Tal vez sus respuestas sean demasiado sobrias, lo que lleva a menores costos token y respuestas inútiles.

Ajustar los gráficos de series temporales.

Puede consultar los gráficos de series temporales para visualizar mejor cuándo aparece por primera vez un comportamiento anómalo.

• Ajuste el gráfico de series temporales arrastrándolo sobre un pico o una caída. Esto limita la serie temporal a una ventana de tiempo determinada.
• Seleccione el menú desplegable para ejecutar un análisis comparativo para diferentes parámetros de rendimiento. Puedes elegir entre respuestas totales, tiempo de respuesta promedio o token promedio por respuesta.
• Si ha habilitado la característica de comentarios, puede ampliar los gráficos para analizar las respuestas mediante comentarios positivos y negativos.

Evaluar respuestas individuales de IA

Su tabla de respuesta de IA organiza datos sobre la interacción entre su usuario final y la aplicación de IA. Puede ver cuándo ocurrió una interacción, el símbolo emparejado con sus respuestas, la finalización y el recuento token , y qué modelo recibió un símbolo.

Puede ajustar las columnas de la tabla haciendo clic en el icono de engranaje en la esquina superior derecha. Esto le permite elegir los tipos de datos que desea analizar.

La tabla de respuestas es un punto de entrada para ver los datos de traza sobre una respuesta individual. Haga clic en una fila de la tabla para abrir la vista de traza de una respuesta particular.

Vista de rastreo de respuesta IA

La vista IA rastreo de respuesta le brinda información valiosa a nivel de traza sobre cómo su aplicación genera respuestas. Es posible que desee consultar la vista de traza para identificar dónde ocurrió un error, o tal vez desee comprender qué provocó comentarios negativos a partir de una respuesta token alta. Desde la vista de traza, puedes:

• Elige entre traza o log. Cuando seleccionas log, consulta dentro de log las cadenas de texto o atributos que deseas investigar más a fondo.

• Alternar entre detalles de respuesta o metadatos. La columna de detalles de la respuesta muestra el símbolo de usuario y la respuesta de IA para que pueda mantener el contexto de su traza y tramos. metadatos proporciona una vista de lista para entidad GUID, modelo, token y proveedor.

• Cuando se produce un error, la vista en cascada resalta su fila en rojo. Seleccione la fila para abrir los datos del intervalo, incluidos los detalles del error del intervalo.

  

  

Página de entidad IA

La página de entidad IA organiza todas sus entidades que actualmente informan datos de IA en una tabla. Esta página muestra sus aplicaciones de IA junto con el tiempo de respuesta, el rendimiento y la tasa de errores.

Al seleccionar una entidad de IA, accederá a la página de resumen de APM para esa aplicación. Desde APM summary page, selecciona AI monitoring en el navegador izquierdo.

Página de respuestas de APM AI

Al seleccionar una entidad de IA, accederá a la página de resumen de APM. Para encontrar sus datos de IA, elija AI responses en el navegador izquierdo. Recomendamos utilizar esta página cuando haya identificado que una entidad de IA en particular ha contribuido a la anomalía.

• La versión APM de las respuestas de IA contiene los mismos mosaicos, gráficos de series temporales y tablas de respuestas recopiladas como la página de respuestas de IA de nivel superior.
• En lugar de mostrar datos agregados, la página de respuestas APM AI muestra datos relacionados con el servicio que seleccionó de entidad de IA.
• Mientras que la página de respuestas de IA de nivel superior le permite filtrar por servicio en todas las entidades de IA, la página de respuestas de APM AI limita la funcionalidad de filtrado al atributo propio de la aplicación.

Para revisar cómo explorar sus datos de IA, puede seguir los mismos patrones explicados en la sección anterior de respuestas de IA.

¿Que sigue?

Ahora que sabe cómo encontrar sus datos, puede explorar otras características que el monitoreo de IA tiene para ofrecer.

• ¿Quieres analizar datos sobre llamadas realizadas a tu modelo de IA? Consulte nuestro documento sobre las páginas de inventario de modelos y comparación de modelos.
• ¿Preocupado por la información confidencial? Aprenda a configurar filtros de caída.
• Si desea reenviar información de comentarios de los usuarios sobre las respuestas de IA de su aplicación a New Relic, siga nuestras instrucciones para actualizar el código de su aplicación y obtener comentarios de los usuarios en la UI.