• ログイン今すぐ開始

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。

英語版と齟齬がある場合、英語版の定めが優先するものとします。より詳しい情報については、本リンクをご参照ください。

問題を作成する

Amazon SageMaker の統合

Amazon SageMakerのNew Relicとの統合により、システム全体でマシンラーニングのパフォーマンスを計測、分析、トラブルシューティング、最適化できるようになります。モデルの入力または出力の変化、およびその2つの間の関係に素早く反応する能力を厳密に観察します。

次のステップで、Amazon SageMakerのメトリクスとオブジェクト(AWS CloudWatchに送信される)を監視し、New Relicで エンティティダッシュボード として表示します。

SageMakerとの連携の様子は、YouTubeのショートムービー(2分57秒)でご覧いただけます。

AWS CloudWatchのメトリクスをNew Relicにストリームする

単一の簡単なステップ (わずか数分!) で、New Relicモデルのパフォーマンス監視エンティティのメリットを開始します。

重要

CloudWatch に送信された各メトリックは、名前空間フィルターに従って、NRDB 内の New Relic のメトリックテーブルに自動的に送信されます。これらはいつでもNRQLを使って照会することができます。

FROM Metric SELECT * WHERE aws.Namespace='/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO

マニュアルオプション

CloudWatch Metric Streams をセットアップするには、私たちのドキュメントに従ってください。

自動化オプション

Terraform code を使ってセットアップを自動化することもできます。

module "example_usage" {
source = "modules/nr-cloudwatch-metric-stream"
name_suffix = "suffix" # optional
aws_account_id = "your-aws-account-id"
newrelic_collector_endpoint = "newrelic-endpoint-url"
newrelic_trusted_account_id = "12345678"
newrelic_license_key = "[your-newrelic-license-key](/docs/apis/intro-apis/new-relic-api-keys/#ingest-license-key)"
}

モジュールを呼び出すときは、正しいnewrelic_collector_endpointを書き込んでください:

  • HTTPエンドポイントURL-米国のデータセンター: https://aws-api.newrelic.com/cloudwatch-metrics/v1
  • HTTPエンドポイントURL-EUデータセンター: https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

メトリックストリームを設定する際には、すべてのネームスペースからメトリックをストリームするか、ネームスペースを指定するかを選択できます。

重要

各エンティティのメトリクスは、メトリクスがNew Relicに届くと自動的に作成されるダッシュボードで確認できます。

Amazon SageMakerでデータやモデルを監視し、メトリクスをCloudWatchに送信することができます。

SageMakerは、エンドポイントのパフォーマンスを自動的に監視し、統計的なメトリクスをCloudWatchに送信します。詳細は、 Endpoint CloudWatch Metrics を参照してください。

Amazon SageMaker 統合からより多くのメリットを得るには、Amazon SageMaker Model Monitor ツールを使用してください。本番環境で機械学習モデルの品質を監視し、メトリクスを CloudWatch に送信するには、スケジュールされた監視ジョブを定義する必要があります。

Amazon SageMaker Model Monitor では、以下のようなモニタリングが可能です。

Did this doc help with your installation?

高度なオプション

メトリックスデータポイントをAmazonCloudWatchに公開し、 put_metric_data関数を使用して名前空間と上記のいずれかを定義することもできます。

ハイパーパラメータの調整に独自のアルゴリズムを使用する場合は、評価データをstderrまたはstdoutに書き込んで、少なくとも1つのメトリックを送信するようにしてください。 自動モデルチューニングでメトリックを定義する方法の詳細をご覧ください。ノートブックのサンプルScikit-LearnRandomForestの開発、トレーニング、最適化、およびデプロイも参照してください。

エンティティとダッシュボードを探索する

詳細な名前空間のaws-entitiesを(MLOpsエンティティドメインの下に)生成します。これらのエンティティについては、すぐに使用できるダッシュボードとビューを取得できます。独自のダッシュボードを作成して、エンティティのビューの一部として表示されていないメトリックを表示することもできます。

NewRelicエンティティ

名前空間

機械学習のエンドポイント

/aws/sagemaker/Endpoints, AWS/SageMaker

機械学習モデルデータ

aws/sagemaker/Endpoints/data-metrics

機械学習モデル

aws/sagemaker/Endpoints/model-metrics, aws/sagemaker/Endpoints/explainability-metrics

one.newrelic.com > モデルのパフォーマンスに移動して、以下を表示します。

  • Amazon SageMakerのエンティティの1つから、エンドポイントのメトリクスを表示するダッシュボード
  • モデルデータエンティティのダッシュボード
Copyright © 2023 New Relic Inc.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.