AWS Kinesis Data Analyticsのモニタリング統合

重要

AWS CloudWatch Metric Streams統合を有効にして、カスタムネームスペースを含むAWSサービスからのすべてのCloudWatchメトリクスをモニターします。個別の統合は、もはや推奨されるオプションではありません。

当社のインフラ監視統合には、AWS Kinesis Data Analytics のデータを当社製品に報告するための統合があります。この統合を有効にする方法と、どのようなデータを収集するのかについては、こちらをご覧ください。

統合をアクティブ化する

この統合を有効にするには、標準の手順に従ってAWSサービスをNewRelicに接続します。

構成とポーリング

構成オプションを使用して、ポーリング頻度とフィルターデータを変更できます。

デフォルトポーリング AWS Kinesis Data Analyticsインテグレーションの情報です。

New Relicのポーリング間隔：5分
Amazon CloudWatchデータ間隔：1分

データを見つけて使用する

インフラストラクチャUIでインテグレーションデータを検索するには、one.newrelic.com > All capabilities > Infrastructure > AWS に移動してインテグレーションを選択します。

データは、以下のイベントタイプに添付されます。

エンティティ	イベントタイプ	プロバイダー
アプリケーション	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
アプリケーションKpu	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
タスク	`AwsKinesisAnalyticsTaskSample`	`AwsKinesisAnalyticsTask`
タスクオペレータ	`AwsKinesisAnalyticsTaskOperatorSample`	`AwsKinesisAnalyticsTaskOperator`
タスク並列化	`AwsKinesisAnalyticsTaskParallelismSample`	`AwsKinesisAnalyticsTaskParallelism`
TaskOperatorの並列化	`AwsKinesisAnalyticsTaskOperatorParallelismSample`	`AwsKinesisAnalyticsTaskOperatorParallelism`

データの使用方法の詳細については、統合データの理解と使用を参照してください。

メトリックデータ

この統合は、Application、ApplicationKpu、Task、TaskOperator、TaskParallelism、TaskOperatorParallelismのAWS Kinesis Data Analyticsデータを収集します。

Kinesis Data Analytics アプリケーションデータ

メトリック	ユニット	説明
`bytesConsumedRate`	BytesPerSecond	トピックの1秒間に消費される平均バイト数。
`commitsFailed`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`cpuUtilization`	パーセント	タスクマネージャー全体のCPU使用率の全体的な割合。たとえば、タスク・マネージャーが5つある場合、Kinesis Data Analyticsはレポート間隔ごとにこのメトリックのサンプルを5つ発行します。
`currentInputWatermark`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが受け取った最後のウォーターマーク。
`currentOutputWatermark`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが発する最後のウォーターマーク。
`downtime`	ミリ秒	現在、故障・復旧中のジョブについては、この停止中に経過した時間。
`fullRestarts`	Count	このジョブが送信されてから完全に再起動した回数の合計。この指標では、きめ細かな再起動は測定されません。
`heapMemoryUtilization`	パーセント	タスク・マネージャ全体のヒープ・メモリ使用率。たとえば、タスク・マネージャが5つある場合、Kinesis Data Analyticsはレポート間隔ごとにこのメトリックのサンプルを5つ発行します。
`lastCheckpointDuration`	ミリ秒	最後のチェックポイントをクリアするのにかかった時間です。
`lastCheckpointSize`	バイト	最後のチェックポイントの合計サイズです。
`numRecordsInPerSecond`	CountPerSecond	このオペレーターやタスクが1秒あたりに受信したレコードの総数です。
`numRecordsOut`	Count	このオペレーターやタスクが放出したレコードの総数です。
`numRecordsOutPerSecond`	CountPerSecond	このオペレーターやタスクが1秒間に放出したレコードの総数。
`numberOfFailedCheckpoints`	Count	チェックポインティングが失敗した回数。
`numRecordsIn`	Count	このオペレーターやタスクが受け取ったレコードの総数。
`oldGenerationGcCount`	Count	すべてのタスクマネージャーで発生した古いガベージコレクション操作の合計数。
`oldGenerationGcTime`	ミリ秒	古いガベージコレクションの操作にかかった時間の合計。
`recordsLagMax`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。
`threadsCount`	Count	アプリケーションが使用しているライブスレッドの総数です。
`uptime`	ミリ秒	ジョブが中断されずに実行されていた時間。
`bytes`	バイト	読み込んだバイト数（入力ストリームごと）または書き込んだバイト数（出力ストリームごと）です。
`inputProcessing.DroppedRecords`	Count	Lambda関数から返されたレコードのうち、Droppedステータスが付けられたレコードの数。
`inputProcessing.Duration`	ミリ秒	Kinesis Data Analyticsが実行した各AWS Lambda関数の呼び出しにかかった時間。
`inputProcessing.OkBytes`	Count	Lambda関数で返されたレコードのうち、Okステータスとなったレコードのバイト数の合計。
`inputProcessing.OkRecords`	Count	Lambda関数で返されたレコードのうち、Okステータスが付けられたレコードの数。
`inputProcessing.ProcessingFailedRecords`	Count	Lambda関数から返されたレコードのうち、ProcessingFailedステータスが付けられたレコードの数。
`inputProcessing.Success`	Count	Kinesis Data Analyticsが成功したLambdaの起動数です。
`lambdaDelivery.DeliveryFailedRecords`	Count	Lambda関数で返されたレコードのうち、DeliveryFailedステータスが付けられたレコードの数。
`lambdaDelivery.Duration`	ミリ秒	Kinesis Data Analyticsが実行した各Lambda関数の呼び出しにかかった時間。
`lambdaDelivery.OkRecords`	Count	Lambda関数で返されたレコードのうち、Okステータスが付けられたレコードの数。
`millisBehindLatest`	ミリ秒	アプリケーションがストリーミングソースから読み出している時間が、現在の時間からどれだけ遅れているかを示す。
`records`	Count	読み込んだレコード数（入力ストリームごと）または書き込んだレコード数（出力ストリームごと）。
`success`	Count	アプリケーション用に構成された宛先への配信が成功するたびに1、失敗するたびに0。この指標の平均値は、成功した配信の回数を示します。
`bytesRequestedPerFetch`	バイト	getRecordsの1回の呼び出しで要求されたバイト数です。
`committedOffsets`	その他	各パーティションの、Kafkaへの最後の正常なコミットのオフセット。特定のパーティションのメトリックは、トピック名とパーティションIDで指定できます。
`currentOffsets`	その他	各パーティションについて、消費者の現在の読み取りオフセット。特定のパーティションのメトリックは、トピック名とパーティションIDで指定できます。

Kinesis Data Analytics ApplicationKpuデータ

メトリック	ユニット	説明
`KPUs`	Count	現在使用されているKinesis Processing Unit (KPU)の数です。 Known issue: このメトリクスは他のメトリクスよりも遅延が長いため、表示されない場合もあります。

メトリック

ユニット

説明

KPUs

Count

現在使用されているKinesis Processing Unit (KPU)の数です。

Known issue: このメトリクスは他のメトリクスよりも遅延が長いため、表示されない場合もあります。

Kinesis Data Analytics タスクデータ

メトリック	ユニット	説明
`commitsFailed`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`currentInputWatermark`	ミリ秒	このタスクが最後に受信した電子透かし。
`currentOutputWatermark`	ミリ秒	現在出力されている電子透かしです。
`numLateRecordsDropped`	Count	このタスクが、遅れて到着したために落とした記録の数。
`numRecordsIn`	Count	このタスクが受け取ったレコードの合計数。
`numRecordsInPerSecond`	CountPerSecond	このタスクが1秒間に受信したレコードの合計数。
`numRecordsOut`	Count	このタスクが放出したレコードの合計数。
`numRecordsOutPerSecond`	CountPerSecond	このタスクが1秒あたりに放出したレコードの合計数。
`recordsLagMax`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。

Kinesis Data Analytics TaskOperatorデータ

メトリック	ユニット	説明
`bytesConsumedRate`	BytesPerSecond	トピックの1秒間に消費される平均バイト数。
`commitsFailed`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`currentInputWatermark`	ミリ秒	このタスクが最後に受信した電子透かし。
`currentOutputWatermark`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが発する最後のウォーターマーク。
`numLateRecordsDropped`	Count	このオペレーターやタスクが、遅刻したために落とした記録の数。
`numRecordsIn`	Count	このタスクが受け取ったレコードの合計数。
`numRecordsInPerSecond`	CountPerSecond	このタスクが1秒間に受信したレコードの合計数。
`numRecordsOut`	Count	このタスクが放出したレコードの合計数。
`numRecordsOutPerSecond`	CountPerSecond	このタスクが1秒あたりに放出したレコードの合計数。
`recordsLagMax`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。

Kinesis Data Analytics TaskParallelism データ

メトリック	ユニット	説明
`currentInputWatermark`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが受け取った最後のウォーターマーク。
`numLateRecordsDropped`	Count	このタスクが、遅れて到着したために落とした記録の数。
`numRecordsIn`	Count	このタスクが受け取ったレコードの合計数。
`numRecordsInPerSecond`	CountPerSecond	このタスクが1秒間に受信したレコードの合計数。
`numRecordsOut`	Count	このタスクが放出したレコードの合計数。
`numRecordsOutPerSecond`	CountPerSecond	このタスクが1秒あたりに放出したレコードの合計数。

Kinesis Data Analytics TaskOperatorParallelismデータ

メトリック	ユニット	説明
`bytesConsumedRate`	BytesPerSecond	トピックの1秒間に消費される平均バイト数。
`commitsFailed`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`currentInputWatermark`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが受け取った最後のウォーターマーク。
`currentOutputWatermark`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが発する最後のウォーターマーク。
`numRecordsIn`	Count	このオペレーターやタスクが受け取ったレコードの総数。
`numRecordsInPerSecond`	CountPerSecond	このオペレーターやタスクが1秒あたりに受信したレコードの総数です。
`numRecordsOut`	Count	このオペレーターやタスクが放出したレコードの総数です。
`numRecordsOutPerSecond`	CountPerSecond	このオペレーターやタスクが1秒間に放出したレコードの総数。
`recordsLagMax`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。

この機械翻訳は、参考として提供されています。