La solución MLOps de New Relic proporciona una biblioteca Python que facilita el monitor de sus modelos de aprendizaje automático. New Relic Bring Your Own (BYO) Machine Learning Model Monitoring es una oferta del conjunto de productos New Relic que permite al usuario monitor el rendimiento de sus propios modelos de aprendizaje automático, independientemente de la plataforma o framework que estén utilizando. Esto puede ayudar al usuario a identificar problemas con sus modelos y tomar medidas correctivas antes de que esos problemas afecten la precisión o el rendimiento de su aplicación.
En un espacio digital cada vez más complejo, los equipos de datos dependen en gran medida de motores de predicción para tomar decisiones. El monitoreo del modelo de aprendizaje automático de New Relic le permite a su equipo dar un paso atrás y observar el panorama completo. Nuestro monitoreo del rendimiento de los modelos le permite a su equipo examinar sus modelos de ML para identificar problemas de manera eficiente y tomar decisiones aprovechando la característica central de NR, como configurar alertas en cualquier métrica y recibir notificaciones una vez que su rendimiento de ML haya cambiado.
Fácil de integrar
El paquete python ml-rendimiento-monitoreo , basado en newrelic-telemetry-sdk-python, le permite enviar las características y valores de predicción de su modelo, así como métricas personalizadas, simplemente agregando unas pocas líneas a su código.
Utilice el paquete Python para enviar los siguientes tipos de datos a New Relic:
Inference data:
Transmita las características y los valores de predicción de su modelo. Los datos de inferencia se transmiten como un evento personalizado denominado InferenceData.
Data metrics:
En lugar de enviar todos sus datos de inferencia sin procesar, seleccione la opción de estadísticas agregadas sobre las características y predicciones (por ejemplo, mínimo, máximo, promedio o percentil). Se enviarán automáticamente como métrica.
Custom metrics:
Calcule su propia métrica, monitor el rendimiento de su modelo o los datos del modelo y transmítalos a New Relic utilizando la función record_metrics. Se enviarán en medida métrica.
Ver predicciones del modelo
Al monitorear el desempeño de sus modelos de aprendizaje automático, puede identificar cualquier problema que pueda estar afectando su precisión o desempeño. Verá información vital en su dashboard , como las predicciones totales del modelo y su distribución a lo largo del tiempo. Además, puede configurar para realizar un seguimiento de cualquier cambio en las predicciones totales o en las selecciones altas/bajas.
Detectar modelo y desviación de datos
Con el monitoreo en tiempo real, puede identificar rápidamente problemas con sus modelos de aprendizaje automático mediante la detección del modelo y la desviación de datos. El modelo y la desviación de datos son cambios en su entorno del mundo real que pueden afectar el poder predictivo de su modelo. Al obtener datos en tiempo real sobre su modelo y desviación de datos, puede tomar medidas correctivas rápidamente antes de que esos problemas afecten el rendimiento de su aplicación.
Profundice en las características del modelo
Obtenga información valiosa y datos estadísticos sobre su característica y reciba alertas sobre cualquier desviación del comportamiento estándar y esperado.
Cómo comenzar a monitorear el desempeño de su modelo de ML
Primero, utilice la documentación de introducción para comenzar a transmitir los datos de su modelo. Luego, haga clic en Model Performance en la página All Capabilities en la UI de New Relic (no olvide fijarla) y verá la vista de rendimiento de su modelo en función de los datos que envía su modelo.