• ログイン今すぐ開始

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。

英語版と齟齬がある場合、英語版の定めが優先するものとします。より詳しい情報については、本リンクをご参照ください。

問題を作成する

AWS Glueモニタリングの統合

重要

AWS CloudWatch Metric Streams integration を有効にすると、カスタムネームスペースを含むAWSサービスからのすべてのCloudWatchメトリクスを監視することができます。個別の統合はもはや推奨されるオプションではありません。

New Relic では、 AWS Glue のデータをレポートするための統合を提供しています。このドキュメントでは、この統合を有効にする方法と、レポート可能なデータについて説明します。

統合を有効にする

このインテグレーションを有効にするには、標準手順に従い、AWSサービスをNew Relicに接続します

設定およびポーリング

設定オプションを使用し、ポーリングの頻度を変更し、データを絞り込むことができます。

デフォルト ポーリング AWS Glueインテグレーションの情報です。

  • New Relicのポーリング間隔:5分
  • Amazon CloudWatchのデータ間隔:1分

データの検索と使用

統合データを探すには、 one.newrelic.com > Infrastructure> AWS にアクセスし、統合を選択します。

次のイベントタイプを使用して、データのクエリと探索を行うことができます。

エンティティ

イベントタイプ

プロバイダー

ジョブ

AwsGlueJobSample

AwsGlueJob

データの利用方法については、 統合データの理解と利用 を参照してください。

メトリックデータ

このインテグレーションは、JobのためにAWS Glueのデータを収集します。

のりものデータ

メトリック

ユニット

説明

glue.driver.aggregate.bytesRead

バイト

すべてのエクゼキュータで実行されている完了したすべてのSparkタスクが、すべてのデータソースから読み込んだバイト数。

glue.driver.aggregate.elapsedTime

ミリ秒

ETLの経過時間をミリ秒単位で表したもの(ジョブの起動時間は含まれない)。

glue.driver.aggregate.numCompletedStages

Count

ジョブ内の完了したステージの数。

glue.driver.aggregate.numCompletedTasks

Count

ジョブ内の完了したタスクの数。

glue.driver.aggregate.numFailedTasks

Count

失敗したタスクの数です。

glue.driver.aggregate.numKilledTasks

Count

殺されたタスクの数です。

glue.driver.aggregate.recordsRead

Count

すべてのエクゼキュータで実行されている完了したすべてのSparkタスクによって、すべてのデータソースから読み込まれたレコードの数。

glue.driver.aggregate.shuffleBytesWritten

バイト

前回のレポート以降、すべてのエクゼキュータがデータを相互にシャッフルするために書き込んだバイト数(AWS Glue Metrics Dashboardでは、前の1分間にこの目的で書き込まれたバイト数として集計されています)。

glue.driver.aggregate.shuffleLocalBytesRead

バイト

前回のレポート以降、すべての実行者がデータを相互にシャッフルするために読み込んだバイト数(AWS Glue Metrics Dashboardでは、前の1分間にこの目的で読み込まれたバイト数として集計されています)。

glue.driver.BlockManager.disk.diskSpaceUsed_MB

バイト

全エクゼキュータで使用されているディスク容量のメガバイト数です。

glue.driver.ExecutorAllocationManager.executors.numberAllExecutors

Count

アクティブに動作しているジョブ実行者の数です。

glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors

Count

現在の負荷を満たすために必要な、最大(アクティブに実行中および保留中)のジョブ実行者の数。

glue.driver.jvm.heap.usage

パーセント

このドライバのJVMヒープが使用するメモリの割合(スケール:0~1) ドライバの場合。

glue.ALL.jvm.heap.usage

パーセント

このドライバのJVMヒープが使用するメモリの割合(スケール:0~1)を、すべてのエクゼキュータに対して示します。

glue.driver.jvm.heap.used

バイト

ドライバのJVMヒープが使用するメモリバイト数。

glue.ALL.jvm.heap.used

バイト

JVMヒープが全エクゼキュータに対して使用するメモリバイト数です。

glue.driver.s3.filesystem.read_bytes

バイト

前回のレポート以降にドライバーがAmazon S3から読み取ったバイト数(AWS Glue Metrics Dashboardでは、前の1分間に読み取られたバイト数として集計されています)。

glue.ALL.s3.filesystem.read_bytes

バイト

前回のレポート以降、ALL executorsによってAmazon S3から読み取られたバイト数(AWS Glue Metrics Dashboardでは、前1分間に読み取られたバイト数として集計されています)。

glue.driver.s3.filesystem.write_bytes

バイト

前回のレポート以降、ドライバーによってAmazon S3に書き込まれたバイト数(AWS Glue Metrics Dashboardでは、前の1分間に書き込まれたバイト数として集計されています)。

glue.ALL.s3.filesystem.write_bytes

バイト

前回のレポート以降、ALL executorsによってAmazon S3に書き込まれたバイト数(AWS Glue Metrics Dashboardでは、前1分間に書き込まれたバイト数として集計されています)。

glue.driver.system.cpuSystemLoad

パーセント

ドライバが使用するCPUシステム負荷の割合(尺度:0~1)。

glue.ALL.system.cpuSystemLoad

パーセント

ALL実行者が使用するCPUシステム負荷の割合(尺度:0-1)。

Copyright © 2022 New Relic株式会社。

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.