• ログイン無料アカウント

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。

英語版と齟齬がある場合、英語版の定めが優先するものとします。より詳しい情報については、本リンクをご参照ください。

問題を作成する

Amazon EMRモニタリング統合

重要

AWS CloudWatch Metric Streams integration を有効にすると、カスタムネームスペースを含むAWSサービスからのすべてのCloudWatchメトリクスを監視することができます。個別の統合はもはや推奨されるオプションではありません。

New Relic インフラストラクチャ インテグレーション には、 Amazon EMR (Elastic MapReduce) のデータを New Relic にレポートするためのインテグレーションがあります。このドキュメントでは、この統合を有効にする方法と、レポート可能なデータについて説明します。

機能

EMR のデータを New Relic から直接監視したり、アラートを出したりすることができ、データの照会やダッシュボードの作成も可能です。

統合を有効にする

このインテグレーションを有効にするには、標準手順に従い、AWSサービスをNew Relicに接続します

設定およびポーリング

設定オプションを使用し、ポーリングの頻度を変更し、データを絞り込むことができます。

デフォルトのポーリング Amazon EMRインテグレーションの情報です。

  • New Relicのポーリング間隔:5分
  • 解像度5分ごとに1データポイント

統合データの検索

統合データを使用するにはone.newrelic.com > Infrastructure> AWS にアクセスし、EMR統合リンクの1つを選択します。

データをクエリして探索することができます ElasticMapReduceClusterSample イベントタイプ, provider 値は ElasticMapReduceCluster です。

メトリックデータ

この New Relic Infrastructure の統合では、以下の Amazon EMR データを収集します。使用例や追加情報については、 Amazon の EMR ドキュメント を参照してください。

名前

説明

isIdle

クラスタが仕事をしなくなったが、まだ生きていて料金が発生していることを示す。タスクが実行されておらず、ジョブも実行されていない場合は1に、それ以外は0に設定されます。

この値は5分間隔でチェックされ、1の値は、チェックされたときにクラスタがアイドル状態であったことだけを示し、5分間ずっとアイドル状態であったことは示しません。 推奨: 誤検出を避けるために、この値が連続した5分間のチェックで2回以上1になったときに警告のしきい値を上げます。たとえば、この値が30分以上にわたって1であった場合に警告を発します。

coreNodesRunning

稼働しているコアノードの数。この指標のデータポイントは、対応するインスタンスグループが存在する場合にのみ報告されます。

coreNodesPending

割り当てられるのを待っているコアノードの数。要求されたすべてのコア・ノードがすぐに利用できるとは限らないため、この指標では保留中の要求が報告されます。このメトリックのデータポイントは、対応するインスタンスグループが存在する場合にのみ報告されます。

liveDataNodesPercentage

Hadoopからの作業を受けているデータノードの割合。

s3WrittenBytes

Amazon S3に書き込まれたバイト数。このメトリックは、MapReduceジョブのみを集約します。EMR上の他のワークロードには適用されません。

s3ReadBytes

Amazon S3から読み込んだバイト数。この指標は、MapReduceジョブのみを集計したもので、EMR上の他のワークロードには適用されません。

hdfsUtilizationPercentage

現在使用されているHDFSストレージの割合です。

hdfsReadBytes

HDFSから読み込んだバイト数です。

hdfsWrittenBytes

HDFSに書き込まれたバイト数です。

MissingBlocks

HDFSにレプリカが存在しないブロックの数です。破損したブロックの可能性があります。

totalLoad

クラスタ内のすべてのDataNodesから報告された、現在のリーダーとライターの合計数。

mostRecentBackupDurationMinutes

前回のバックアップが完了するまでにかかった時間です。この指標は、最後に完了したバックアップが成功したか失敗したかにかかわらず設定されます。

バックアップが進行中の場合、このメトリックはバックアップ開始後の分数を返します。この指標は、HBaseクラスターでのみ報告されます。

timeSinceLastSuccessfulBackupMinutes(最後にバックアップに成功してからの時間)。

クラスターでHBaseのバックアップが最後に成功してからの経過分数。この指標は、HBaseクラスターでのみ報告されます。

サンプルでは、リソースのHadoopバージョンに応じて、以下のメトリクスが表示されます。

Hadoop 1 AMIのメトリクス

名前

説明

ジョブズランニング

クラスタ内で現在実行されているジョブの数です。

jobsFailed

クラスタ内で障害が発生したジョブの数。

mapTasksRunning

各ジョブの実行中のマップタスクの数です。スケジューラーがインストールされていて、複数のジョブが実行されている場合は、複数のグラフが生成されます。

mapTasksRemaining

各ジョブの残りのマップタスクの数です。スケジューラがインストールされていて、複数のジョブが実行されている場合は、複数のグラフが生成されます。残りのマップタスクとは、 RunningKilledCompleted のいずれの状態にもなっていないものを指します。

マップスロットオープン

未使用のマップタスクの容量です。これは、あるクラスターの最大マップタスク数から、そのクラスターで現在実行されているマップタスクの合計数を差し引いたものです。

残りのMapTasksPerSlot

クラスタで利用可能な総マップスロットに対する、残りの総マップタスクの割合です。

reduceTasksRunning

各ジョブの実行中のReduceタスクの数です。スケジューラーがインストールされていて、複数のジョブが実行されている場合は、複数のグラフが生成されます。

reduceTasksRemaining

各ジョブの実行中のReduceタスクの数です。スケジューラーがインストールされていて、複数のジョブが実行されている場合は、複数のグラフが生成されます。

reduceSlotsOpen

未使用のリダクタスク容量。これは、特定のクラスターの最大リダクタスク容量から、そのクラスターで現在実行されているリダクタスクの数を差し引いたものです。

taskNodesRunning

稼働しているタスク・ノードの数。この指標のデータ・ポイントは、対応するインスタンス・グループが存在する場合にのみ報告されます。

taskNodesPending

割り当てられるのを待っているコアノードの数です。要求されたすべてのタスク・ノードがすぐに利用できるとは限らないため、このメトリックは保留中の要求を報告します。このメトリックのデータ・ポイントは、対応するインスタンス・グループが存在する場合にのみ報告されます。

LiveTaskTrackersPercentage

タスクトラッカーが機能している割合。

バックアップ失敗

最後のバックアップが失敗したかどうか。これはデフォルトでは0に設定され、前回のバックアップの試みが失敗した場合は1に更新されます。この指標はHBaseクラスターでのみ報告されます。

Hadoop 2 AMI メトリクス

名前

説明

containerAllocated

ResourceManagerによって割り当てられたリソースコンテナの数です。

containerReserved

ResourceManagerによって割り当てられたリソースコンテナの数です。

containerPending

キューにある、まだ割り当てられていないコンテナの数。

containerPendingRatio

割り当てられたコンテナに対する保留中のコンテナの比率。

appsCompleted

YARNに提出されたアプリケーションのうち、完了したものの数。

アプリの失敗

YARNに提出されたアプリケーションのうち、完了に失敗した数。

アプリキルド

YARNに提出されたアプリケーションのうち、キルされたものの数。

申請中

YARNに送信されたアプリケーションのうち、保留状態にあるものの数。

アプリランニング

YARNに提出されたアプリケーションのうち、実行中のものの数。

アプリ投稿

YARNに提出されたアプリケーションの数。

mrTotalNodes

MapReduceジョブで現在利用可能なノード数。

mrActiveNodes

現在、MapReduceタスクやジョブを実行しているノードの数。

mrLostNodes

MapReduceに割り当てられたノードのうち、LOST状態と判定されたノードの数。

mrUnhealthyNodes

UNHEALTHYの状態でマークされたMapReduceジョブが利用できるノードの数です。

mrDecommissionedNodes

MapReduceアプリケーションに割り当てられたノードのうち、DECOMMISSIONED状態と判定されたノードの数。

mrRebootedNodes

MapReduceが利用できるノードのうち、再起動してREBOOTEDの状態になっているノードの数。

corruptBlock

HDFSが破損していると報告したブロックの数です。

メモリ合計バイト数

クラスタ内のメモリの総量です。

メモリリザーブドバイト(MemoryReservedBytes

確保されたメモリーの量です。

メモリ利用可能バイト

割り当て可能なメモリの量です。

memoryAllocatedBytes

クラスタに割り当てられたメモリの量です。

yarnMemoryAvailablePercentage

YARNが使用できる残りのメモリの割合

underReplicatedBlocks

1回以上の複製が必要なブロックの数です。

dfsPendingReplicationBlocks

ブロックレプリケーションの状態:レプリケートされているブロック、レプリケーション要求の年齢、レプリケーション要求の失敗など。

capacityRemainingBytes

HDFSのディスク容量の残量です。

hbaseBackupFailed

最後のバックアップが失敗したかどうか。これはデフォルトでは0に設定され、前回のバックアップの試みが失敗した場合は1に更新されます。この指標はHBaseクラスターでのみ報告されます。

インベントリデータ

有効期限(EOL)の通知

2022年3月以降は、クラウド統合用のインベントリデータなど、いくつかの機能のサポートを終了します。この移行に向けて簡単に準備できる方法など、詳細については、 Explorers Hubの投稿 をご覧ください。

インベントリデータ は、サービスの状態と構成に関する情報を提供する。EMRの構成オプションはインベントリデータとして報告されます。

ヒント

クラスタ * で示されるデータ、およびすべての インスタンスインスタンスフリート 、および インスタンスグループ メタデータは、 拡張インベントリコレクション がオンの場合にのみ取得されます。

オブジェクト

インベントリデータ

aws/emr/cluster

id

name

ステータス

normalizedInstanceHours

タグ*

アプリケーション*

autoScalingRole*

autoTerminate*

構成*

customAmiId*

ebsRootVolumeSize*

ec2InstanceAttributes*

instanceCollectionType*

logUri*

masterPublicDnsName*.

releaseLabel*

repoUpgradeOnBoot*.

requestedAmiVersion*.

runningAmiVersion*

scaleDownBehavior*.

securityConfiguration*

serviceRole*

終了保護された*

visibleToAllUsers*

aws/emr/instance

id

ec2InstanceId

instanceFleetId

instanceGroupId

インスタンスタイプ

プライベートDnsName

プライベートIpAddress

公開Dns名

publicIpAddress

ステータス

ebs-Volumes

マーケット

aws/emr/instance-fleet

id

name

ステータス

instanceFleetType

instanceTypeSpecifications

launchSpecifications

provisionedOnDemandCapacity

プロビジョンドットキャパシティ

targetOnDemandCapacity

ターゲットスポットの容量

aws/emr/instance-group

id

name

ステータス

インスタンスタイプ

instanceGroupType

autoScalingPolicy

ビッドプライス

構成

ebsBlockDevices

ebオプティマイズ

マーケット

requestedInstanceCount

runningInstanceCount

シュリンクポリシー

Copyright © 2022 New Relic株式会社。