Habilitar el monitoreo de IA permite al agente reconocer y capturar datos de rendimiento métrico y traza sobre la capa de IA de su aplicación. Con el monitoreo de IA, puede realizar un seguimiento del uso token , la cantidad de finalizaciones y el tiempo de respuesta de IA desde su aplicación impulsada por IA. Cuando ve un error o una respuesta inexacta, puede acceder a una vista de nivel de traza en una interacción símbolo-respuesta determinada para identificar problemas en la lógica de su servicio de IA.
Puede ver sus datos yendo a one.newrelic.com > All Capabilities > AI monitoring. Puedes ver tus datos desde tres páginas diferentes:
AI responses
: Descripción general de datos agregados de todas sus entidades de IA. Realice un seguimiento de su tiempo de respuesta y token de IA, o vea datos sobre símbolos y respuestas individuales.
AI entities
: vea un resumen de la tabla de todas las entidades que informan datos de IA. Vea la entidad con datos APM estándar, como tasa de errores, rendimiento y tiempo de respuesta de la aplicación. Cuando selecciona una entidad, puede comenzar a explorar la página AI responses de APM.
Compare models
: Compare el uso token , el tiempo de respuesta y la tasa de errores entre diferentes modelos. Si estás realizando la Prueba A/B, puedes obtener toda la información que necesitas para tomar decisiones sobre tu aplicación impulsada por IA.
Página de respuestas de IA
La página AI responses de nivel superior muestra sus datos de IA en conjunto. Los datos agregados toman el promedio total de respuestas, el tiempo de respuesta y el uso token por respuesta en todas las entidades que informan datos de IA. En esta página, la respuesta se refiere a una salida de su aplicación impulsada por IA cuando se le asigna un símbolo.
Si posee varias aplicaciones con varias implementaciones de diferentes marcos de IA, puede tener una idea general de cómo funciona su modelo de IA.
Realice un seguimiento del total de respuestas, el tiempo de respuesta promedio y el uso token
Los tres mosaicos muestran el rendimiento métrico general de las respuestas de tu IA. Es posible que estos mosaicos no le indiquen la causa exacta de un problema, pero son útiles para identificar anomalías en el rendimiento de su aplicación.
- Si nota una caída en el total de respuestas o un aumento en el tiempo de respuesta promedio, puede indicar que alguna tecnología en su cadena de herramientas de IA ha impedido que su aplicación impulsada por IA publique una respuesta.
- Una caída o un aumento en el uso promedio token por respuesta puede brindarle información valiosa sobre cómo su modelo crea una respuesta. Tal vez esté extrayendo demasiado contexto, aumentando así el costo token al generar su respuesta. Tal vez sus respuestas sean demasiado sobrias, lo que lleva a menores costos token y respuestas inútiles.
Ajustar los gráficos de series temporales.
Puede consultar los gráficos de series temporales para visualizar mejor cuándo aparece por primera vez un comportamiento anómalo.
- Ajuste el gráfico de series temporales arrastrándolo sobre un pico o una caída. Esto limita la serie temporal a una ventana de tiempo determinada.
- Seleccione el menú desplegable para ejecutar un análisis comparativo para diferentes parámetros de rendimiento. Puedes elegir entre respuestas totales, tiempo de respuesta promedio o token promedio por respuesta.
- Si ha habilitado la característica de comentarios, puede ampliar los gráficos para analizar las respuestas mediante comentarios positivos y negativos.
Evaluar respuestas individuales de IA
Su tabla de respuesta de IA organiza datos sobre la interacción entre su usuario final y la aplicación de IA. Puede ver cuándo ocurrió una interacción, el símbolo emparejado con sus respuestas, la finalización y el recuento token , y qué modelo recibió un símbolo.
Puede ajustar las columnas de la tabla haciendo clic en el icono de engranaje en la esquina superior derecha. Esto le permite elegir los tipos de datos que desea analizar.
La tabla de respuestas es un punto de entrada para ver los datos de traza sobre una respuesta individual. Haga clic en una fila de la tabla para abrir la vista de traza de una respuesta particular.
Vista de rastreo de respuesta IA
La vista IA rastreo de respuesta le brinda información valiosa a nivel de traza sobre cómo su aplicación genera respuestas. Es posible que desee consultar la vista de traza para identificar dónde ocurrió un error, o tal vez desee comprender qué provocó comentarios negativos a partir de una respuesta token alta. Desde la vista de traza, puedes:
Elige entre traza o log. Cuando seleccionas log, consulta dentro de log las cadenas de texto o atributos que deseas investigar más a fondo.
Alternar entre detalles de respuesta o metadatos. La columna de detalles de la respuesta muestra el símbolo de usuario y la respuesta de IA para que pueda mantener el contexto de su traza y tramos. metadatos proporciona una vista de lista para entidad GUID, modelo, token y proveedor.
Cuando se produce un error, la vista en cascada resalta su fila en rojo. Seleccione la fila para abrir los datos del intervalo, incluidos los detalles del error del intervalo.
Página de entidad IA
La página de entidad IA organiza todas sus entidades que actualmente informan datos de IA en una tabla. Esta página muestra sus aplicaciones de IA junto con el tiempo de respuesta, el rendimiento y la tasa de errores.
Vea la entidad que reporta datos de IA: Vaya a one.newrelic.com > All Capabilities > AI Monitoring
Al seleccionar una entidad de IA, accederá a la página de resumen de APM para esa aplicación. Desde APM summary page, selecciona AI monitoring en el navegador izquierdo.
Página de respuestas de APM AI
Al seleccionar una entidad de IA, accederá a la página de resumen de APM. Para encontrar sus datos de IA, elija AI responses en el navegador izquierdo. Recomendamos utilizar esta página cuando haya identificado que una entidad de IA en particular ha contribuido a la anomalía.
- La versión APM de las respuestas de IA contiene los mismos mosaicos, gráficos de series temporales y tablas de respuestas recopiladas como la página de respuestas de IA de nivel superior.
- En lugar de mostrar datos agregados, la página de respuestas APM AI muestra datos relacionados con el servicio que seleccionó de entidad de IA.
- Mientras que la página de respuestas de IA de nivel superior le permite filtrar por servicio en todas las entidades de IA, la página de respuestas de APM AI limita la funcionalidad de filtrado al atributo propio de la aplicación.
Para revisar cómo explorar sus datos de IA, puede seguir los mismos patrones explicados en la sección anterior de respuestas de IA.
Página de comparación de modelos
La página de comparación de modelos le brinda la flexibilidad de analizar el rendimiento según el caso de uso que esté probando. Puede:
- Compare el rendimiento de un modelo dentro de una aplicación con el rendimiento promedio de todos los servicios.
- Realice la Prueba A/B cuando pruebe diferentes símbolos durante la ingeniería de símbolos. Por ejemplo, comparar el rendimiento y la precisión de un modelo durante una ventana de tiempo con un conjunto de símbolos con otra ventana de tiempo con un segundo conjunto de símbolos.
- Evalúe el rendimiento de un modelo durante un período de tiempo específico cuando el tráfico de clientes alcanzó su punto máximo.
Tenga en cuenta que esta página limita los datos de comparación de sus modelos a una sola cuenta. Si su organización tiene varias cuentas que poseen varias aplicaciones basadas en IA, no podrá comparar los datos del modelo entre esas cuentas.
Comprender el costo del modelo
La columna de costo del modelo divide el evento de finalización en dos partes: el símbolo dado al modelo y la respuesta final que el modelo entrega al usuario final.
Tokens per completion
: El promedio token para todos los eventos de finalización.
Prompt tokens
: El promedio token para el símbolo. Este token promedio incluye el símbolo creado por el símbolo ingeniero y el usuario final.
Completion tokens
: La cantidad de token consumida por el modelo cuando genera la respuesta entregada al usuario final.
Al analizar esta columna, el valor del token de finalización y del símbolo token debe ser igual al valor en token por finalización.
¿Que sigue?
Ahora que sabe cómo encontrar sus datos, puede explorar otras características que el monitoreo de IA tiene para ofrecer.
- ¿Preocupado por la información confidencial? Aprenda a configurar filtros de caída.
- Si desea reenviar información de comentarios de los usuarios sobre las respuestas de IA de su aplicación a New Relic, siga nuestras instrucciones para actualizar el código de su aplicación y obtener comentarios de los usuarios en la UI.