• ログイン無料アカウント

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。

英語版と齟齬がある場合、英語版の定めが優先するものとします。より詳しい情報については、本リンクをご参照ください。

問題を作成する

Amazon SageMaker MLOpsとの連携

Amazon SageMakerのNew Relicとの統合により、システム全体でマシンラーニングのパフォーマンスを計測、分析、トラブルシューティング、最適化できるようになります。モデルの入力または出力の変化、およびその2つの間の関係に素早く反応する能力を厳密に観察します。

次のステップで、Amazon SageMakerのメトリクスとオブジェクト(AWS CloudWatchに送信される)を監視し、New Relicで エンティティダッシュボード として表示します。

Sagemaker, Cloudwatch, and New Relic flow

SageMakerとの連携の様子は、YouTubeのショートムービー(2分57秒)でご覧いただけます。

AWS CloudWatchのメトリクスをNew Relicにストリームする

New Relic MLOps エンティティの恩恵を、シンプルなステップで(しかもわずか数分で!)開始できます。

重要

CloudWatch に送信された各メトリックは、名前空間フィルターに従って、NRDB 内の New Relic のメトリックテーブルに自動的に送信されます。これらはいつでもNRQLを使って照会することができます。

FROM Metric SELECT * WHERE aws.Namespace='/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO

マニュアルオプション

CloudWatch Metric Streams をセットアップするには、私たちのドキュメントに従ってください。

自動化オプション

Terraform code を使ってセットアップを自動化することもできます。

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "[your-newrelic-license-key](/docs/apis/intro-apis/new-relic-api-keys/#ingest-license-key)"
}

モジュールを呼び出すときは、正しいnewrelic_collector_endpointを書き込んでください:

  • HTTPエンドポイントURL-米国のデータセンター: https://aws-api.newrelic.com/cloudwatch-metrics/v1
  • HTTPエンドポイントURL-EUデータセンター: https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

メトリックストリームを設定する際には、すべてのネームスペースからメトリックをストリームするか、ネームスペースを指定するかを選択できます。

重要

各エンティティのメトリクスは、メトリクスがNew Relicに届くと自動的に作成されるダッシュボードで確認できます。

Amazon SageMakerでデータやモデルを監視し、メトリクスをCloudWatchに送信することができます。

SageMakerは、エンドポイントのパフォーマンスを自動的に監視し、統計的なメトリクスをCloudWatchに送信します。詳細は、 Endpoint CloudWatch Metrics を参照してください。

Amazon SageMaker MLOpsの統合からより多くの利益を得るには、Amazon SageMaker Model Monitorツールを使用します。運用中の機械学習モデルの品質を監視し、メトリクスをCloudWatchに送信するために、スケジュールされた監視ジョブを定義する必要があります。

Amazon SageMaker Model Monitor では、以下のようなモニタリングが可能です。

高度なオプション

メトリックスデータポイントをAmazonCloudWatchに公開し、 put_metric_data関数を使用して名前空間と上記のいずれかを定義することもできます。

ハイパーパラメータの調整に独自のアルゴリズムを使用する場合は、評価データをstderrまたはstdoutに書き込んで、少なくとも1つのメトリックを送信するようにしてください。 自動モデルチューニングでメトリックを定義する方法の詳細をご覧ください。ノートブックのサンプルScikit-LearnRandomForestの開発、トレーニング、最適化、およびデプロイも参照してください。

MLOpsのエンティティとダッシュボードを見る

詳細な名前空間のaws-entitiesを(MLOpsエンティティドメインの下に)生成します。これらのエンティティについては、すぐに使用できるダッシュボードとビューを取得できます。独自のダッシュボードを作成して、エンティティのビューの一部として表示されていないメトリックを表示することもできます。

NewRelicエンティティ

名前空間

機械学習のエンドポイント

/aws/sagemaker/Endpoints, AWS/SageMaker

機械学習モデルデータ

aws/sagemaker/Endpoints/data-metrics

機械学習モデル

aws/sagemaker/Endpoints/model-metrics, aws/sagemaker/Endpoints/explainability-metrics

one.newrelic.com にアクセスし、 Explorer を選択してご覧ください。

  • あなたのマシン・ラーニング・エンティティ
Sagemaker machine learning entities
  • Amazon SageMakerのエンティティの1つから、エンドポイントのメトリクスを表示するダッシュボード
Dashboard for the machine learning endpoint
  • モデルデータエンティティのダッシュボード
Dashboard for the model data entity
Copyright © 2022 New Relic Inc.