Empezando a traer tus propios datos

Esta es una guía para comenzar con Trae tus propios datos de New Relic. Aprenderá cómo instalar, ejecutar y experimentar con Bring Your Own Data (BYOD), y comenzar a monitorear el rendimiento de sus modelos de aprendizaje automático.

Inicio rápido

El uso de BYOD facilita la monitor de sus modelos de aprendizaje automático en 3 pasos principales:

# 1: Initialize the monitoring
ml_monitor = MLPerformanceMonitoring(...)

# 2: Add your algorithm
y = my_model.predict(X)

# 3: Record your data
ml_monitor.record_inference_data(X, y)

Utilice este ejemplo en colab y pruebe fácilmente un ejemplo de monitoreo de modelo de un extremo a otro.

Instalacion

La instalación es sencilla y similar a cualquier biblioteca de Python.

pip install git+https://github.com/newrelic-experimental/ml-performance-monitoring.git

Implementación

Esta guía lo llevará paso a paso por todo lo necesario para comenzar a monitorear sus modelos de Machine Learning.

1. Configure su variable de entorno

Obtenga su clave de licencia(también conocida como ingest - license) y configúrela como variable de entorno: NEW_RELIC_INSERT_KEY. Haga clic aquí para obtener más detalles e instrucciones. ¿Está reportando datos a la región de la UE o JP de New Relic? haga clic aquí para obtener más instrucciones.

2. Importar paquete

from ml_performance_monitoring.monitor import MLPerformanceMonitoring

3. Crear monitor de modelo

metadata = {"environment": "notebook"}
model_version = "1.0"
features_columns, labels_columns = (
    ["feature_1", "feature_2", "feature_3", "feature_4"],
    ["target"],
)

ml_monitor = MLPerformanceMonitoring(
    insert_key=None,  # set the environment variable NEW_RELIC_INSERT_KEY or send your insert key here
    model_name="My stunning model",
    metadata=metadata,
    features_columns=features_columns,
    labels_columns=labels_columns,
    label_type="numeric",
    model_version=model_version
)

4. Ejecute su modelo

y = my_model.predict(X)

5. Grabar

ml_performence_monitor_model.record_inference_data(X, y)

6. Monitor y alertar

¡Hecho! Para verificar su aplicación, vaya a one.newrelic.com y vea datos en tiempo real.

Ejemplos

Creamos estos cuadernos en Google colab para que puedas probarlos:

1. Pruebe un modelo XGBoost en el conjunto de datos de precios de la vivienda en California . Abierto en colab.
2. Pruebe cómo simular 24 horas de datos de inferencia de modelos utilizando New Relic MLOps. Abierto en colab

Usuarios de cuentas de la UE y JP

Si está utilizando una cuenta de la UE o JP, envíelo como un parámetro en la llamada MLPerformanceMonitoring si su variable de entorno no está configurada:

• EVENT_CLIENT_HOST y METRIC_CLIENT_HOST

  • Cuenta de la región de EE. UU. (predeterminada):

    • EVENT_CLIENT_HOST: insights-collector.newrelic.com
    • METRIC_CLIENT_HOST: metric-api.newrelic.com

  • Cuenta de la región de la UE:

    • EVENT_CLIENT_HOST: insights-collector.eu01.nr-data.net
    • METRIC_CLIENT_HOST: metric-api.eu.newrelic.com/metric/v1

  • Cuenta de la región de JP:

    • EVENT_CLIENT_HOST: insights-collector.jp.nr-data.net
    • METRIC_CLIENT_HOST: metric-api.jp.nr-data.net/metric/v1

También se puede enviar como parámetro en la llamada MLPerformanceMonitoring .