Integração Amazon SageMaker

Ao integrar a integração do Amazon SageMaker com o New Relic, você poderá instrumentar, analisar, solucionar problemas e otimizar o desempenho do aprendizado de máquina em todo o sistema. Observe rigorosamente suas capacidades para reagir rapidamente às mudanças na entrada ou saída do modelo e no relacionamento entre os dois.

Siga as próximas etapas para monitor suas métricas e objetos do Amazon SageMaker (que são enviados para o AWS CloudWatch) e visualizá-los como entidade e painel no New Relic.

Para ver nossa integração SageMaker em ação, assista a este pequeno vídeo no YouTube (2:57 minutos).

Transmita as métricas da AWS do CloudWatch para a New Relic

Comece a se beneficiar da entidade de monitoramento de desempenho do modelo New Relic em uma única etapa simples (e apenas alguns minutos!):

FROM Metric SELECT * WHERE aws.Namespace = '/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO

Opção manual

Siga nossos documentos para configurar CloudWatch Metric Streams.

Opção automatizada

Você pode automatizar a configuração com o código Terraform:

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix    = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "YOUR_INGEST_LICENSE_KEY"
}

Ao chamar o módulo, escreva o newrelic_collector_endpoint correto:

• URL do endpoint HTTP – datacenter dos EUA: https://aws-api.newrelic.com/cloudwatch-metrics/v1
• URL do endpoint HTTP – datacenter da UE: https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

Ao definir o fluxo de métrica, você pode optar por transmitir a métrica de todo o namespace ou pode especificar o namespace.

Monitor seus dados e modelo no Amazon SageMaker e envie a métrica para o CloudWatch

O SageMaker monitora automaticamente o desempenho do seu endpoint e envia métricas estatísticas para o CloudWatch. Para obter mais informações, consulte métricasendpoint do CloudWatch.

Para obter mais benefícios da integração do Amazon SageMaker, use as ferramentas monitor do modelo do Amazon SageMaker. Você terá que definir jobs de monitoramento agendados para monitor a qualidade dos seus modelos de machine learning em produção e enviar métricas ao CloudWatch.

O Amazon SageMaker Model Monitor fornece os seguintes tipos de monitoramento:

• monitor a qualidade dos dados: monitor o desvio na qualidade dos dados.

  • Bloco de notas de exemplo: monitor de modelo do Amazon SageMaker
  • Namespace: aws/sagemaker/Endpoints/data-metrics

• monitor a qualidade do modelo: monitor o desvio na métrica de qualidade do modelo, como precisão.

  • Bloco de notas de exemplo: monitor de qualidade do modelo Amazon SageMaker
  • Namespace: aws/sagemaker/Endpoints/model-metrics

• monitor o desvio de preconceito para modelos em produção: monitor o preconceito nas previsões de seu modelo.

  • Caderno de exemplo: monitoramento preconceito desvio e desvio de atribuição de recurso Amazon SageMaker Clarify
  • Namespace: aws/sagemaker/Endpoints/bias-metrics

• monitor desvio de atribuição de recurso para modelos em produção: monitor desvio na atribuição de recurso.

  • Caderno de exemplo: monitoramento preconceito desvio e desvio de atribuição de recurso Amazon SageMaker Clarify
  • Namespace: aws/sagemaker/Endpoints/explainability-metrics

Opções avançadas

Você também pode publicar pontos de dados métricos no Amazon CloudWatch e definir o namespace e um dos itens acima usando a funçãoput_metric_data .

Se você usar seu próprio algoritmo para ajuste de hiperparâmetros, certifique-se de que ele envie pelo menos uma métrica gravando dados de avaliação em stderr ou stdout. Leia mais sobre como definir métricas no ajuste automático de modelos. Veja também o bloco de notas de exemplo Desenvolver, treinar, otimizar e implantar Scikit-Learn Random Forest.

Explore sua entidade e painel

Geramos aws-entities (no domínio da entidade MLOps) para o namespace detalhado. Para essas entidades, você pode obter dashboardse visualizações prontas para uso. Você também pode criar seu próprio dashboard para visualizar métricas que não são exibidas nas visualizações da entidade.

Vá para one.newrelic.com > All capabilities > Model performance para visualizar:

• O dashboard para a métrica do endpoint de uma das entidades do Amazon SageMaker

• O dashboard da entidade de dados do modelo