Amazon SageMaker の統合

Amazon SageMakerのNew Relicとの統合により、システム全体でマシンラーニングのパフォーマンスを計測、分析、トラブルシューティング、最適化できるようになります。モデルの入力または出力の変化、およびその2つの間の関係に素早く反応する能力を厳密に観察します。

次のステップで、Amazon SageMakerのメトリクスとオブジェクト（AWS CloudWatchに送信される）を監視し、New Relicで エンティティ と ダッシュボード として表示します。

SageMakerとの連携の様子は、YouTubeのショートムービー（2分57秒）でご覧いただけます。

AWS CloudWatchのメトリクスをNew Relicにストリームする

単一の簡単なステップ (わずか数分!) で、New Relicモデルのパフォーマンス監視エンティティのメリットを開始します。

FROM Metric SELECT * WHERE aws.Namespace = '/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO

マニュアルオプション

CloudWatch Metric Streams をセットアップするには、私たちのドキュメントに従ってください。

自動化オプション

Terraform code を使ってセットアップを自動化することもできます。

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix    = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "YOUR_INGEST_LICENSE_KEY"
}

モジュールを呼び出すときは、正しいnewrelic_collector_endpointを書き込んでください：

• HTTPエンドポイントURL-米国のデータセンター： https://aws-api.newrelic.com/cloudwatch-metrics/v1
• HTTPエンドポイントURL-EUデータセンター： https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

メトリックストリームを設定する際には、すべてのネームスペースからメトリックをストリームするか、ネームスペースを指定するかを選択できます。

Amazon SageMakerでデータやモデルを監視し、メトリクスをCloudWatchに送信することができます。

SageMakerは、エンドポイントのパフォーマンスを自動的に監視し、統計的なメトリクスをCloudWatchに送信します。詳細は、 Endpoint CloudWatch Metrics を参照してください。

Amazon SageMaker 統合からより多くのメリットを得るには、Amazon SageMaker Model Monitor ツールを使用してください。本番環境で機械学習モデルの品質を監視し、メトリクスを CloudWatch に送信するには、スケジュールされた監視ジョブを定義する必要があります。

Amazon SageMaker Model Monitorは次の種類の監視を提供します。

• データ品質の監視: データ品質のドリフトを監視する。

  • ノートブック例： Amazon SageMaker Model Monitor
  • 名前空間： aws/sagemaker/Endpoints/data-metrics

• Monitor Model Quality: 精度などのモデル品質メトリクスのドリフトを監視します。

  • 例のノートブック： Amazon SageMaker Model Quality Monitor
  • 名前空間： aws/sagemaker/Endpoints/model-metrics

• Monitor Bias Drift for Models in Production: モデルの予測値の偏りを監視します。

  • 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
  • 名前空間： aws/sagemaker/Endpoints/bias-metrics

• Monitor Feature Attribution Drift for Models in Production: Monitor drift in feature attribution.

  • 例のノート Monitoring bias drift and feature attribution drift Amazon SageMaker Clarify
  • 名前空間： aws/sagemaker/Endpoints/explainability-metrics

高度なオプション

メトリックスデータポイントをAmazonCloudWatchに公開し、 put_metric_data関数を使用して名前空間と上記のいずれかを定義することもできます。

ハイパーパラメータの調整に独自のアルゴリズムを使用する場合は、評価データをstderrまたはstdoutに書き込んで、少なくとも1つのメトリックを送信するようにしてください。 自動モデルチューニングでメトリックを定義する方法の詳細をご覧ください。ノートブックのサンプルScikit-LearnRandomForestの開発、トレーニング、最適化、およびデプロイも参照してください。

エンティティとダッシュボードを探索する

詳細なネームスペースに対して、 aws-entities (MLOps エンティティ ドメインの下) を生成します。 これらのエンティティについては、すぐに使用できるダッシュボードとビューを取得できます。 独自のダッシュボードを作成して、エンティティのビューの一部として表示されないメトリックを表示することもできます。

表示するにはone.newrelic.com > All capabilities > Model performanceにアクセスしてください:

• Amazon SageMakerのエンティティの1つから、エンドポイントのメトリクスを表示するダッシュボード

• モデルデータエンティティのダッシュボード