Analizar datos del modelo

El monitoreo de IA muestra datos sobre su modelo de IA para que pueda analizar el rendimiento del modelo de IA junto con el rendimiento de la aplicación AI. Podrás encontrar datos sobre tu modelo de IA en dos áreas:

• Model inventory

  : Una vista centralizada que muestra datos de rendimiento y finalización de todos los modelos de IA en su cuenta. Aísle el uso token , realice un seguimiento del rendimiento general o profundice en las terminaciones individuales que realizan sus modelos.

• Compare models

  : Realizar análisis comparativos de rendimiento entre dos modelos a lo largo del tiempo. Esta página muestra datos para un análisis agregado del rendimiento de su modelo a lo largo del tiempo.

Página de inventario de modelos

La página model inventory proporciona información valiosa sobre el rendimiento general y el uso de su modelo de IA. Puede analizar los datos de las llamadas realizadas a su modelo, para poder comprender cómo el modelo de IA afecta su aplicación de IA.

Desde la pestaña de descripción general, explore la cantidad de solicitudes realizadas a un modelo en comparación con su tiempo de respuesta o analice gráficos de seriales de tiempo para ver cuándo cambió el comportamiento del modelo. A partir de ahí, investigue las pestañas de errores, rendimiento o costos.

Pestaña de errores

La pestaña de errores emplea tablas y gráficos de seriales temporales para organizar los errores del modelo.

• Response errors

  : Realice un seguimiento de la cantidad de errores totales que provienen de su modelo de IA.

• Response errors by model

  : Determine si un modelo específico produce más errores en promedio o si se produce un error específico en todos sus modelos.

• Response errors by type

  : Vea con qué frecuencia aparecen ciertos errores.

• Errors table

  : Vea el tipo de error y el mensaje en el contexto de la solicitud y la respuesta.

Pestaña de rendimiento

La pestaña de rendimiento agrega respuestas y solicitudes métricas en todos sus modelos. Obtenga una descripción general de los modelos que toman más tiempo para procesar una solicitud o crear una respuesta con los gráficos circulares, o consulte los gráficos de seriales de tiempo para realizar un seguimiento de los aumentos en la solicitud o el tiempo de respuesta. Puede emplear gráficos de rendimiento para localizar el valor atípico en sus modelos.

Pestaña de costos

La pestaña de costos emplea una combinación de gráficos de seriales temporales y gráficos circulares para identificar los factores de costos entre sus modelos. Determine la cantidad de tokens que provienen del símbolo o de las terminaciones, o si ciertos modelos cuestan más en promedio que otros.

• Tokens used and token limit

  : Evalúe la frecuencia con la que sus modelos se acercan a un límite de token determinado.

• Total tokens by models

  : Determine cuál de sus modelos emplea más tokens en promedio.

• Total usage by prompt and completion tokens

  : Comprenda qué proporción de token proviene del símbolo que acepta su modelo frente al token empleado por finalización.

Comprender el costo le permite mejorar la forma en que su aplicación de IA emplea uno o más de sus modelos para que su cadena de herramientas de IA sea más rentable.

Página de comparación de modelos

La página de comparación de modelos organiza sus datos de monitoreo de IA para ayudarlo a realizar análisis comparativos. Esta página limita los datos de comparación de sus modelos a una sola cuenta, brindándole datos agregados sobre el costo y el rendimiento del modelo en una o más aplicaciones. Para generar datos:

1. Elija sus modelos en el menú desplegable.
2. Emplee un servicio para ver el rendimiento en el contexto de una aplicación en individua o mantenga la consulta en Service = All para ver cómo se comporta un modelo en promedio.
3. Elija el parámetro de tiempo. Esta herramienta es flexible: puedes hacer comparaciones entre diferentes periodos de tiempo, lo que te permite ver cómo cambió el rendimiento o el costo antes y luego de un despliegue.

Comparar el rendimiento del modelo

Para comenzar a realizar un análisis comparativo, elija un servicio, modelo y rango de tiempo específicos. Cuando comparas modelos, puedes evaluar diferentes métricas agregadas a lo largo del tiempo, dependiendo de tu propia configuración. A continuación se muestran algunos ejemplos de casos de uso para el análisis comparativo:

• Compare dos modelos en el mismo servicio: el servicio X usa el modelo A durante la primera semana, pero luego usa el modelo B en la segunda semana. Puede comparar el rendimiento eligiendo el servicio X, seleccionando el modelo A y estableciendo las fechas para la primera semana. En el segundo lado, elige el servicio X, selecciona el modelo B y establece las fechas para la segunda semana.
• Compare el rendimiento de un modelo a lo largo del tiempo: seleccione el servicio X, seleccione el modelo A y establezca las fechas para la primera semana. En el segundo lado, elige el servicio X, selecciona el modelo A y establece las fechas para la segunda semana.
• Evalúe el rendimiento del modelo en dos servicios diferentes: Tiene dos aplicaciones diferentes que emplean dos modelos diferentes. Para comparar el token total durante el último mes, elija el parámetro relevante para el servicio específico y los modelos específicos, luego establezca las fechas para el mismo periodo de tiempo.
• Compare dos modelos: tiene una aplicación que usa el modelo A y desea medir el modelo A con el modelo B. Para cada símbolo de usuario, llama al modelo B como proceso en segundo plano. Compare el rendimiento del modelo A en relación con el modelo B en el mismo servicio durante el mismo periodo de tiempo.

Comparar el costo del modelo

La columna de costo del modelo divide el evento de finalización en dos partes: el símbolo dado al modelo y la respuesta final que el modelo entrega al usuario final.

• Tokens per completion

  : El promedio token para todos los eventos de finalización.

• Prompt tokens

  : El promedio token para el símbolo. Este token promedio incluye el símbolo creado por el símbolo ingeniero y el usuario final.

• Completion tokens

  : La cantidad de token consumida por el modelo cuando genera la respuesta entregada al usuario final.

Al analizar esta columna, el valor del token de finalización y del símbolo token debe ser igual al valor en token por finalización.

¿Que sigue?

Ahora que sabe cómo encontrar sus datos, puede explorar otras características que el monitoreo de IA tiene para ofrecer.

• ¿Quiere analizar el rendimiento de su aplicación de IA? Consulte nuestro documento sobre las páginas de respuesta de la aplicación AI.
• ¿Preocupado por la información confidencial? Aprenda a configurar filtros de caída.
• Si desea reenviar información de comentarios de los usuarios sobre las respuestas de IA de su aplicación a New Relic, siga nuestros procedimientos para actualizar el código de su aplicación y obtener comentarios de los usuarios en la UI.