Integración TruEra

TruEra llena un vacío crítico en su pila de IA, explicando y probando la calidad del modelo durante todo el ciclo de vida. Las soluciones de inteligencia artificial de TruEra explican, depuran y monitor los modelos de aprendizaje automático, lo que genera una mayor calidad y confiabilidad, así como un despliegue más rápido. La solución funciona en todo el ciclo de vida del modelo, es independiente de la plataforma de desarrollo del modelo y se integra fácilmente en su pila de IA existente.

TruEra incluye una integración de monitoreo del rendimiento de los modelos con New Relic para ayudar a los equipos de MLOps a correlacionar señales a lo largo del ciclo de vida de ML e ir más allá de la precisión estándar, y monitor la deriva de entrada y salida.

Integre TruEra con New Relic

Agregue un modelo de aprendizaje automático a TruEra

TruEra proporciona una interfaz de línea de comando (CLI) y un cliente Python para incorporar el modelo de aprendizaje automático y otros datos. Los pasos para agregar un modelo usando la CLI incluyen crear un nuevo proyecto, recopilar datos, agregar datos de entrenamiento, empaquetar e ingerir el modelo y agregar datos de producción.

Estos pasos se pueden encontrar en la página de documentación técnica de TruEra.

Transmitir datos desde TruEra a New Relic

Cada vez que se ingiere un nuevo conjunto de datos en el sistema de monitoreo Truera, este calcula la métrica relevante y la almacena. Estos calcular métricas se pueden enviar periódicamente a New Relic utilizando el exportador de datos truera2newrelic . Este exportador necesita clave de API generada por las consolas Truera y New Relic.

Las siguientes instrucciones le mostrarán cómo crear estas claves:

1. Inicie sesión en su cuenta New Relic: vaya a

   one.newrelic.com > All capabilities > + Add more data

   .

2. Haga clic en TruEra: en la barra de búsqueda, escriba

   TruEra

   .

3. Seleccione una ID de cuenta: seleccione la ID de cuenta con la que desea integrar TruEra.

4. Seleccione o cree una clave de API: necesita un

   Active dashboard key

   para la administración del panel y un

   Model metrics data key

   para la ingesta de métricas. Estas claves se refieren al

   clave de licencia

   . Cree una nueva clave o seleccione una existente en las dos secciones de claves.

5. Cree una clave en TruEra: log en la consola TruEra y vaya a la página de usuario. Haga clic en

   Generate Credentials

   para crear un

   Auth token

   .

6. Verifique la ejecución de exportación de datos y configure el exportador por lotes: ahora vaya a los documentos de TruEra para encontrar los pasos sobre cómo verificar la primera ejecución de exportación de datos usando comandos en su terminal. A continuación, configure el exportador de datos por lotes en una máquina virtual.

Vea el panel de New Relic listo para usar usando TruEra

Para visualizar la supervisión métrica del aprendizaje automático, TruEra proporciona un panel de control esqueleto para monitor y profundizar en problemas utilizando temas como el estado del modelo, el desglose de segmentos, los valores característicos, la calidad de los datos, la equidad y más.

Estos dashboardsse pueden configurar mediante la herramienta dashboard truera2newrelic. Para hacerlo, siga estos pasos:

1. Verifica tu modelo métrica: Desde one.newrelic.com, ve al menú de navegación y haz clic en la pestaña dashboard en el menú de navegación principal. Verá una configuración dashboard generada automáticamente para el modelo de ML determinado. Verifique que el modelo métrico exportado recientemente sea visible.

   

2. Configurar alerta de notificación: una vez que haya creado un panel, puede recibir alertas sobre sus datos. Para crear una condición NRQL alertasa partir de un gráfico, haga clic en el widget del gráfico y luego haga clic en Create alert condition. Una vez que haya nombrado y personalizado su condición, puede agregarla a una póliza existente o crear una nueva.

   

3. Recibir notificaciones: una vez que haya creado una condición de alerta, puede elegir cómo desea recibir notificaciones. Consulte nuestros documentos sobre cómo configurar el canal de notificación.

4. Correlacione su incidente: además de la notificación, puede utilizar la inteligencia de incidentes para correlacionar su incidente. Consulte nuestros documentos sobre cómo correlacionar incidentes mediante decisiones.

Ahora ha integrado con éxito New Relic con TruEra. Las alertas recién creadas ahora están correlacionadas con su alerta New Relic y debería poder ver datos sobre las predicciones recientemente informadas.