monitoreo de IA es nuestra solución de Monitoreo del rendimiento de aplicaciones (APM)) para IA. Cuando habilita el monitoreo de IA, nuestro agente APM puede brindarle visibilidad de extremo a extremo del rendimiento, el costo y la calidad de los modelos compatibles de proveedores como OpenAI y BedRock. Explore cómo el usuario interactúa con un asistente de IA, profundice en detalles a nivel de traza sobre la respuesta de un modelo a un evento de IA y compare el rendimiento de diferentes modelos en entornos de aplicaciones.
Vaya a one.newrelic.com > AI monitoring > AI responses.
¿Cómo funciona el monitoreo de IA?
Para comenzar con el monitoreo de IA, deberá instrumentar su aplicación impulsada por IA con uno de nuestros agentes APM. Una vez que instrumentó su aplicación, puede habilitar el monitoreo de IA para que el agente pueda capturar datos de observabilidad de LLM.
Cuando su asistente de IA recibe un símbolo y devuelve una respuesta, el agente captura datos de métricas y eventos generados desde LLM externos y almacenes de vectores. Nuestro agente puede:
- Analizar información sobre finalización, símbolo y token de respuesta
- Realice un seguimiento de las solicitudes y respuestas que pasan por cualquiera de nuestros modelos compatibles
- Correlacionar comentarios negativos o positivos sobre una respuesta de su usuario final
Puede acceder a toda esta información y más desde la plataforma New Relic , luego crear alertas y paneles de control para ayudarlo a gestionar eficazmente sus datos de IA y mejorar el rendimiento.
Mejore el rendimiento de la IA con el monitoreo de IA
Para obtener una descripción general del rendimiento de su aplicación impulsada por IA: vaya a one.newrelic.com > AI monitoring > AI responses.
El monitoreo de IA puede ayudarlo a responder preguntas críticas sobre el rendimiento de las aplicaciones de IA: ¿su usuario final está esperando demasiado para recibir una respuesta? ¿Ha habido un aumento reciente en el uso token ? ¿Existen patrones de comentarios negativos de los usuarios sobre ciertos temas? Con el monitoreo de IA, puede ver datos específicos de la capa de IA:
- Identifique errores en símbolos específicos y en la interacción de respuesta de la tabla de respuestas. Si busca realizar mejoras en su modelo de IA, aprenda a analizar su modelo con datos a nivel de traza.
- Si emplea diferentes modelos en distintos entornos de aplicaciones, puede comparar el costo y el rendimiento de sus aplicaciones antes de implementarlas.
- ¿Le preocupa el cumplimiento de los datos? Aprenda a crear filtros de caída para descartar datos confidenciales antes de enviarlos a New Relic.
Comience con el monitoreo de IA
¿Listo para comenzar? Asegúrese de confirmar que puede instrumentar su biblioteca o frameworkde IA. Es posible que necesites actualizar el agente si ya has instrumentado tu aplicación.
Cuando esté listo, utilice nuestro documento para instalar manualmente el monitoreo de IA. Este documento lo dirige a los procedimientos relevantes para instalar un agente APM y luego lo guía en la configuración del agente para el monitoreo de IA.