Integración de Amazon SageMaker

Al integrar la integración de Amazon SageMaker con New Relic, podrá instrumentar, analizar, solucionar problemas y optimizar el rendimiento del aprendizaje automático en todo su sistema. Observe rigurosamente sus capacidades para reaccionar rápidamente ante cambios en la entrada o salida del modelo y la relación entre ambas.

Realice los siguientes pasos para monitor su métrica y objetos de Amazon SageMaker (que se envían a AWS CloudWatch) y verlos como entidad y panel en New Relic.

Para ver nuestra integración de SageMaker en acción, mire este breve vídeo de YouTube (2:57 minutos).

Transmita las métricas de CloudWatch de AWS a New Relic

Comience a beneficiarse del monitoreo del rendimiento de los modelos entidad New Relic en un solo y simple paso (¡y solo unos minutos!):

FROM Metric SELECT * WHERE aws.Namespace = '/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO

Opción manual

Siga nuestros documentos para configurar CloudWatch Metric Streams.

Opción automatizada

Puede automatizar la configuración con el código Terraform:

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix    = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "YOUR_INGEST_LICENSE_KEY"
}

Al llamar al módulo, escriba el newrelic_collector_endpoint correcto:

• URL extremo HTTP: centro de datos de EE. UU.: https://aws-api.newrelic.com/cloudwatch-metrics/v1
• URL extremo HTTP - Centro de datos de la UE: https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

Cuando configura la secuencia métrica, puede elegir transmitir la métrica desde todo el espacio de nombres, o puede especificar el espacio de nombres.

Monitor tus datos y modelo en Amazon SageMaker, y envía la métrica a CloudWatch

SageMaker monitorea automáticamente el rendimiento de su extremo y envía estadísticas métricas a CloudWatch. Para obtener más información, consulte extremos métricos de CloudWatch.

Para obtener más beneficios de la integración de Amazon SageMaker, utilice las herramientas monitor del modelo de Amazon SageMaker. Tendrás que definir trabajos de monitoreo programados para monitor la calidad de tus modelos de aprendizaje automático en producción y enviar métricas a CloudWatch.

El Amazon SageMaker Model Monitor proporciona los siguientes tipos de monitoreo:

• monitor la calidad de los datos: monitor la desviación en la calidad de los datos.

  • Cuaderno de ejemplo: monitor de modelo de Amazon SageMaker
  • Namespace: aws/sagemaker/Endpoints/data-metrics

• monitor la calidad del modelo: monitor la deriva en la calidad métrica del modelo, como la precisión.

  • Cuaderno de ejemplo: monitor de calidad del modelo de Amazon SageMaker
  • Namespace: aws/sagemaker/Endpoints/model-metrics

• monitor la deriva del sesgo para modelos en producción: monitor el sesgo en las predicciones de su modelo.

  • Cuaderno de ejemplo: deriva de sesgo de monitoreo y deriva de atribución de características Amazon SageMaker Clarify
  • Namespace: aws/sagemaker/Endpoints/bias-metrics

• monitor la deriva de atribución de características para modelos en producción: monitor la deriva en la atribución de características.

  • Cuaderno de ejemplo: deriva de sesgo de monitoreo y deriva de atribución de características Amazon SageMaker Clarify
  • Namespace: aws/sagemaker/Endpoints/explainability-metrics

Opciones avanzadas

También puede publicar puntos de datos métricos en Amazon CloudWatch y definir el espacio de nombres y uno de los anteriores utilizando la funciónput_metric_data .

Si utiliza su propio algoritmo para el ajuste de hiperparámetros, asegúrese de que envíe al menos una métrica escribiendo datos de evaluación en stderr o stdout. Lea más sobre cómo definir métrica en el ajuste automático de modelos. Consulte también el cuaderno de ejemplo Desarrollar, entrenar, optimizar y desplegar Scikit-Learn Random Forest.

Explora tu entidad y panel de control

Generamos aws-entities (bajo el dominio de entidad MLOps) para el espacio de nombres detallado. Para estas entidades, puede obtener vistas y dashboardslistos para usar. También puedes crear tu propio dashboard para ver las métricas que no se muestran como parte de las vistas de la entidad.

Vaya a one.newrelic.com > All capabilities > Model performance para ver:

• El dashboard para la métrica del extremo de una de las entidades de Amazon SageMaker

• El dashboard de la entidad de datos del modelo