Cuando la gente habla de inteligencia artificial, puede querer decir cosas diferentes. En New Relic, cuando decimos IA, nos referimos a la capa de su entorno que utiliza un modelo de lenguaje extenso (LLM) para generar una respuesta cuando recibe un símbolo final de usuario. El monitoreo de IA es una solución APM que le brinda visibilidad de extremo a extremo de su aplicación impulsada por IA.
Con monitoreo de IA, puedes medir el rendimiento del motor que impulsa tu aplicación de IA, para asegurar que tu usuario tenga la mejor experiencia posible. Para comenzar, todo lo que necesita es instalar uno de nuestros agentes APM y habilitar el monitoreo de IA.
Vaya a one.newrelic.com > AI monitoring > AI responses y luego seleccione una fila de respuesta.
¿Cómo funciona el monitoreo de IA?
Para comenzar con el monitoreo de IA, instalará uno de nuestros agentes APM para instrumentar su aplicación. La instrumentación significa que su aplicación se puede medir, lo que permite al agente capturar datos sobre el comportamiento de la aplicación. Una vez instrumentado, debe habilitar el monitoreo de IA en el nivel de configuración.
Habilitar el monitoreo de IA permite al agente reconocer los metadatos de IA asociados con el evento de IA. Cuando su IA recibe un símbolo y devuelve una respuesta, el agente puede reconocer los datos generados por LLM externos y almacenes de vectores, y analizar información sobre el uso del token.
Mejore el rendimiento de la IA con el monitoreo de IA
Para obtener una descripción general del rendimiento de su aplicación impulsada por IA: vaya a one.newrelic.com > AI monitoring > AI responses.
El monitoreo de IA puede ayudarlo a responder preguntas críticas sobre el rendimiento de las aplicaciones de IA: ¿su usuario final está esperando demasiado para recibir una respuesta? ¿Ha habido un aumento reciente en el uso token ? ¿Existen patrones de comentarios negativos de los usuarios sobre ciertos temas? Con el monitoreo de IA, puede ver datos específicos de la capa de IA:
- Identifique errores en símbolos específicos y interacción de respuesta de la tabla de respuestas. Si se produce un error, abra la vista en cascada de traza para ver los métodos y las llamadas que realiza su aplicación impulsada por IA al generar una respuesta.
- Si su símbolo ingeniero actualizó el parámetro de símbolo para su IA, puede rastrear si el uso token aumentó o disminuyó después de la actualización. Utilice el monitoreo de IA para ayudarlo a tomar decisiones que mantengan bajos los costos.
- Tal vez esté ajustando su aplicación en desarrollo, pero desea eficiencia en costos y rendimiento antes de pasar a producción. Si utiliza diferentes modelos en diferentes entornos de aplicaciones, puede comparar el costo y el rendimiento de sus aplicaciones antes de implementarlas.
Comience con el monitoreo de IA
¿Listo para comenzar? Asegúrese de confirmar que puede instrumentar su biblioteca o frameworkde IA. Es posible que necesites actualizar el agente si ya has instrumentado tu aplicación.
Cuando esté listo, utilice nuestro documento para instalar manualmente el monitoreo de IA. Este documento lo dirige a los procedimientos relevantes para instalar un agente APM y luego lo guía en la configuración del agente para el monitoreo de IA.