• /
  • ログイン
  • 無料アカウント

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。

英語版と齟齬がある場合、英語版の定めが優先するものとします。より詳しい情報については、本リンクをご参照ください。

問題を作成する

AWS Kinesis Data Analyticsのモニタリング統合

当社の インフラストラクチャ監視統合 には、AWS Kinesis Data Analytics のデータを当社製品に報告するための統合が含まれています。インテグレーションを有効にする方法や、収集するデータについてはこちらをご覧ください。

統合を有効にする

このインテグレーションを有効にするには、標準手順に従い、AWSサービスをInfrastructureに接続します

設定およびポーリング

設定オプションを使用し、ポーリングの頻度を変更し、データを絞り込むことができます。

デフォルト ポーリング AWS Kinesis Data Analyticsインテグレーションの情報です。

  • New Relicのポーリング間隔:5分
  • Amazon CloudWatchのデータ間隔:1分

データの検索と使用

Infrastructureで統合データを見つけるには、 one.newrelic.com > Infrastructure> AWS にアクセスし、統合を選択します。

データは、次の イベントタイプ に添付されています。

エンティティ

イベントタイプ

プロバイダー

アプリケーション

AwsKinesisAnalyticsApplicationSample

AwsKinesisAnalyticsApplication

アプリケーションKpu

AwsKinesisAnalyticsApplicationSample

AwsKinesisAnalyticsApplication

タスク

AwsKinesisAnalyticsTaskSample

AwsKinesisAnalyticsTask(アウズキネシスアナリティクスタスク)

タスクオペレータ

AwSKinessAnalyticsTaskOperatorSample

AwsKinesisAnalyticsTaskOperator(アウスキネシスアナリティクスタスクオペレーター

タスク並列化

AwsKinesisAnalyticsTaskParallelismSample(アウスキネシスアナリティクスタスクパラレリズムサンプル

AwsKinesisAnalyticsTaskParallelism(アウスキネシスアナリティクスタスクパラレリズム

TaskOperatorの並列化

AwsKinesisAnalyticsTaskOperatorParallelismSample(アウス・キネシス・アナリティクス・タスクオペレーター・パラレリズム・サンプル

AawsKinessisAnalliticsTaskOperatorParallelism

データの利用方法については、 統合データの理解と利用 を参照してください。

メトリックデータ

この統合は、Application、ApplicationKpu、Task、TaskOperator、TaskParallelism、TaskOperatorParallelismのAWS Kinesis Data Analyticsデータを収集します。

Kinesis Data Analytics アプリケーションデータ

メトリック

ユニット

説明

bytesConsumedRate

BytesPerSecond

トピックの1秒間に消費される平均バイト数。

コミット失敗

Count

オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。

commitsSucceeded

Count

オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。

cpuUtilization

パーセント

タスクマネージャー全体のCPU使用率の全体的な割合。たとえば、タスク・マネージャーが5つある場合、Kinesis Data Analyticsはレポート間隔ごとにこのメトリックのサンプルを5つ発行します。

カレントインプットウォーターマーク

ミリ秒

このアプリケーション/オペレーター/タスク/スレッドが受け取った最後のウォーターマーク。

カレントアウトプットウォーターマーク

ミリ秒

このアプリケーション/オペレーター/タスク/スレッドが発する最後のウォーターマーク。

ダウンタイム

ミリ秒

現在、故障・復旧中のジョブについては、この停止中に経過した時間。

fullRestarts

Count

このジョブが送信されてから完全に再起動した回数の合計。この指標では、きめ細かな再起動は測定されません。

heapMemoryUtilization

パーセント

タスク・マネージャ全体のヒープ・メモリ使用率。たとえば、タスク・マネージャが5つある場合、Kinesis Data Analyticsはレポート間隔ごとにこのメトリックのサンプルを5つ発行します。

lastCheckpointDuration

ミリ秒

最後のチェックポイントをクリアするのにかかった時間です。

lastCheckpointSize

バイト

最後のチェックポイントの合計サイズです。

numRecordsInPerSecond

CountPerSecond

このオペレーターやタスクが1秒あたりに受信したレコードの総数です。

numRecordsOut

Count

このオペレーターやタスクが放出したレコードの総数です。

numRecordsOutPerSecond

CountPerSecond

このオペレーターやタスクが1秒間に放出したレコードの総数。

失敗したチェックポイントの数

Count

チェックポインティングが失敗した回数。

numRecordsIn

Count

このオペレーターやタスクが受け取ったレコードの総数。

oldGenerationGcCount

Count

すべてのタスクマネージャーで発生した古いガベージコレクション操作の合計数。

oldGenerationGcTime

ミリ秒

古いガベージコレクションの操作にかかった時間の合計。

レコードラグマックス

Count

このウィンドウの任意のパーティションのレコード数での最大ラグ。

スレッド数

Count

アプリケーションが使用しているライブスレッドの総数です。

アップタイム

ミリ秒

ジョブが中断されずに実行されていた時間。

バイト

バイト

読み込んだバイト数(入力ストリームごと)または書き込んだバイト数(出力ストリームごと)です。

入力処理.DroppedRecords

Count

Lambda関数から返されたレコードのうち、Droppedステータスが付けられたレコードの数。

入力処理の所要時間

ミリ秒

Kinesis Data Analyticsが実行した各AWS Lambda関数の呼び出しにかかった時間。

inputProcessing.OkBytes

Count

Lambda関数で返されたレコードのうち、Okステータスとなったレコードのバイト数の合計。

入力処理.OkRecords

Count

Lambda関数で返されたレコードのうち、Okステータスが付けられたレコードの数。

入力処理.処理失敗レコード

Count

Lambda関数から返されたレコードのうち、ProcessingFailedステータスが付けられたレコードの数。

入力処理の成功

Count

Kinesis Data Analyticsが成功したLambdaの起動数です。

lambdaDelivery.DeliveryFailedRecords

Count

Lambda関数で返されたレコードのうち、DeliveryFailedステータスが付けられたレコードの数。

lambdaDelivery.Duration

ミリ秒

Kinesis Data Analyticsが実行した各Lambda関数の呼び出しにかかった時間。

lambdaDelivery.OkRecords

Count

Lambda関数で返されたレコードのうち、Okステータスが付けられたレコードの数。

ミリ秒単位の最新情報

ミリ秒

アプリケーションがストリーミングソースから読み出している時間が、現在の時間からどれだけ遅れているかを示す。

レコード

Count

読み込んだレコード数(入力ストリームごと)または書き込んだレコード数(出力ストリームごと)。

成功

Count

アプリケーション用に構成された宛先への配信が成功するたびに1、失敗するたびに0。この指標の平均値は、成功した配信の回数を示します。

bytesRequestedPerFetch

バイト

getRecordsの1回の呼び出しで要求されたバイト数です。

コミットメントオフセット

その他

各パーティションの、Kafkaへの最後の正常なコミットのオフセット。特定のパーティションのメトリックは、トピック名とパーティションIDで指定できます。

currentOffsets

その他

各パーティションについて、消費者の現在の読み取りオフセット。特定のパーティションのメトリックは、トピック名とパーティションIDで指定できます。

Kinesis Data Analytics ApplicationKpuデータ

メトリック

ユニット

説明

KPU

Count

現在使用されているKinesis Processing Unit (KPU)の数です。

既知の問題: この指標は他の指標に比べてラグが長いため、場合によっては表示されないことがある

Kinesis Data Analytics タスクデータ

メトリック

ユニット

説明

コミット失敗

Count

オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。

commitsSucceeded

Count

オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。

カレントインプットウォーターマーク

ミリ秒

このタスクが最後に受信した電子透かし。

カレントアウトプットウォーターマーク

ミリ秒

現在出力されている電子透かしです。

numLateRecordsDropped

Count

このタスクが、遅れて到着したために落とした記録の数。

numRecordsIn

Count

このタスクが受け取ったレコードの合計数。

numRecordsInPerSecond

CountPerSecond

このタスクが1秒間に受信したレコードの合計数。

numRecordsOut

Count

このタスクが放出したレコードの合計数。

numRecordsOutPerSecond

CountPerSecond

このタスクが1秒あたりに放出したレコードの合計数。

レコードラグマックス

Count

このウィンドウの任意のパーティションのレコード数での最大ラグ。

Kinesis Data Analytics TaskOperatorデータ

メトリック

ユニット

説明

bytesConsumedRate

BytesPerSecond

トピックの1秒間に消費される平均バイト数。

コミット失敗

Count

オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。

commitsSucceeded

Count

オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。

カレントインプットウォーターマーク

ミリ秒

このタスクが最後に受信した電子透かし。

カレントアウトプットウォーターマーク

ミリ秒

このアプリケーション/オペレーター/タスク/スレッドが発する最後のウォーターマーク。

numLateRecordsDropped

Count

このオペレーターやタスクが、遅刻したために落とした記録の数。

numRecordsIn

Count

このタスクが受け取ったレコードの合計数。

numRecordsInPerSecond

CountPerSecond

このタスクが1秒間に受信したレコードの合計数。

numRecordsOut

Count

このタスクが放出したレコードの合計数。

numRecordsOutPerSecond

CountPerSecond

このタスクが1秒あたりに放出したレコードの合計数。

レコードラグマックス

Count

このウィンドウの任意のパーティションのレコード数での最大ラグ。

Kinesis Data Analytics TaskParallelism データ

メトリック

ユニット

説明

カレントインプットウォーターマーク

ミリ秒

このアプリケーション/オペレーター/タスク/スレッドが受け取った最後のウォーターマーク。

numLateRecordsDropped

Count

このタスクが、遅れて到着したために落とした記録の数。

numRecordsIn

Count

このタスクが受け取ったレコードの合計数。

numRecordsInPerSecond

CountPerSecond

このタスクが1秒間に受信したレコードの合計数。

numRecordsOut

Count

このタスクが放出したレコードの合計数。

numRecordsOutPerSecond

CountPerSecond

このタスクが1秒あたりに放出したレコードの合計数。

Kinesis Data Analytics TaskOperatorParallelismデータ

メトリック

ユニット

説明

bytesConsumedRate

BytesPerSecond

トピックの1秒間に消費される平均バイト数。

コミット失敗

Count

オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。

commitsSucceeded

Count

オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。

カレントインプットウォーターマーク

ミリ秒

このアプリケーション/オペレーター/タスク/スレッドが受け取った最後のウォーターマーク。

カレントアウトプットウォーターマーク

ミリ秒

このアプリケーション/オペレーター/タスク/スレッドが発する最後のウォーターマーク。

numRecordsIn

Count

このオペレーターやタスクが受け取ったレコードの総数。

numRecordsInPerSecond

CountPerSecond

このオペレーターやタスクが1秒あたりに受信したレコードの総数です。

numRecordsOut

Count

このオペレーターやタスクが放出したレコードの総数です。

numRecordsOutPerSecond

CountPerSecond

このオペレーターやタスクが1秒間に放出したレコードの総数。

レコードラグマックス

Count

このウィンドウの任意のパーティションのレコード数での最大ラグ。

問題を作成する
Copyright © 2022 New Relic Inc.