Integración de monitoreo AWS Kinesis Data Analytics

Importante

Habilite la integraciónAWS CloudWatch Metric Streams para monitor todas las métricas de CloudWatch desde sus servicios de AWS, incluido el espacio de nombres personalizado. La integración individual ya no es nuestra opción recomendada.

Nuestro monitoreo de infraestructura integración incluye una integración para reportar sus datos AWS Kinesis Data Analytics a nuestros productos. Continúe leyendo para obtener más información sobre cómo activar la integración y qué datos recopila.

Activar la integración

Para habilitar esta integración, siga los procedimientos estándar para conectar los servicios de AWS a New Relic.

Configuración y sondeo

Puede cambiar la frecuencia de sondeo y filtrar datos usando las opciones de configuración.

Información de sondeo predeterminada para la integración de AWS Kinesis Data Analytics:

New Relic intervalo de sondeo: 5 minutos
Intervalo de datos de Amazon CloudWatch: 1 minuto

Buscar y utilizar datos

Para encontrar los datos de su integración en nuestra UI de infraestructura, vaya a one.newrelic.com > All capabilities > Infrastructure > AWS y seleccione una integración.

Los datos se adjuntan al siguiente tipo de evento:

Entidad	Tipo de evento	Proveedor
Aplicación	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
AplicaciónKpu	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
Tarea	`AwsKinesisAnalyticsTaskSample`	`AwsKinesisAnalyticsTask`
Operador de tareas	`AwsKinesisAnalyticsTaskOperatorSample`	`AwsKinesisAnalyticsTaskOperator`
TareaParalelismo	`AwsKinesisAnalyticsTaskParallelismSample`	`AwsKinesisAnalyticsTaskParallelism`
TaskOperatorParalelismo	`AwsKinesisAnalyticsTaskOperatorParallelismSample`	`AwsKinesisAnalyticsTaskOperatorParallelism`

Para obtener más información sobre cómo utilizar sus datos, consulte Comprender y utilizar los datos de integración.

Datos métricos

Esta integración recopila datos de AWS Kinesis Data Analytics para aplicación, ApplicationKpu, Task, TaskOperator, TaskParallelism y TaskOperatorParallelism.

Datos de la aplicación Kinesis Data Analytics

Métrica	Unidad	Descripción
`bytesConsumedRate`	Bytes por segundo	El número promedio de bytes consumidos por segundo para un tema.
`commitsFailed`	Contar	El número total de errores de confirmación de compensación en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`commitsSucceeded`	Contar	El número total de confirmaciones de compensación exitosas en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`cpuUtilization`	Por ciento	Porcentaje general de utilización de CPU en todos los administradores de tareas. Por ejemplo, si hay cinco administradores de tareas, Kinesis Data Analytics publica cinco muestras de esta métrica por intervalo de informes.
`currentInputWatermark`	Milisegundos	La última marca de agua que recibió esta aplicación/operador/tarea/hilo.
`currentOutputWatermark`	Milisegundos	La última marca de agua que ha emitido esta aplicación/operador/tarea/hilo.
`downtime`	Milisegundos	Para trabajos actualmente en situación de falla/recuperación, el tiempo transcurrido durante esta interrupción.
`fullRestarts`	Contar	El número total de veces que este trabajo se ha reiniciado por completo desde que se envió. Esta métrica no mide los reinicios detallados.
`heapMemoryUtilization`	Por ciento	Utilización general de la memoria dinámica en todos los administradores de tareas. Por ejemplo, si hay cinco administradores de tareas, Kinesis Data Analytics publica cinco muestras de esta métrica por intervalo de informes.
`lastCheckpointDuration`	Milisegundos	El tiempo que llevó completar el último punto de control.
`lastCheckpointSize`	Bytes	El tamaño total del último punto de control.
`numRecordsInPerSecond`	ContarPorSegundo	El número total de registros que este operador o tarea ha recibido por segundo.
`numRecordsOut`	Contar	El número total de registros que este operador o tarea ha emitido.
`numRecordsOutPerSecond`	ContarPorSegundo	El número total de registros que este operador o tarea ha emitido por segundo.
`numberOfFailedCheckpoints`	Contar	El número de veces que han fallado los puntos de control.
`numRecordsIn`	Contar	El número total de registros que ha recibido este operador o tarea.
`oldGenerationGcCount`	Contar	El número total de operaciones antiguas de recolección de basura que se han producido en todos los administradores de tareas.
`oldGenerationGcTime`	Milisegundos	El tiempo total dedicado a realizar operaciones antiguas de recolección de basura.
`recordsLagMax`	Contar	El retraso máximo en términos de número de registros para cualquier partición en esta ventana.
`threadsCount`	Contar	El número total de subprocesos activos utilizados por la aplicación.
`uptime`	Milisegundos	El tiempo que el trabajo ha estado ejecutándose sin interrupción.
`bytes`	Bytes	El número de bytes leídos (por flujo de entrada) o escritos (por flujo de salida).
`inputProcessing.DroppedRecords`	Contar	La cantidad de registros devueltos por una función Lambda que se marcaron con el estado Eliminado.
`inputProcessing.Duration`	Milisegundos	El tiempo necesario para cada invocación de función Lambda AWS realizada por Kinesis Data Analytics.
`inputProcessing.OkBytes`	Contar	La suma de bytes de los registros devueltos por una función Lambda que se marcaron con el estado Ok.
`inputProcessing.OkRecords`	Contar	La cantidad de registros devueltos por una función Lambda que se marcaron con el estado Ok.
`inputProcessing.ProcessingFailedRecords`	Contar	La cantidad de registros devueltos por una función Lambda que se marcaron con el estado ProcessingFailed.
`inputProcessing.Success`	Contar	El número de invocaciones Lambda exitosas por parte de Kinesis Data Analytics.
`lambdaDelivery.DeliveryFailedRecords`	Contar	La cantidad de registros devueltos por una función Lambda que se marcaron con el estado DeliveryFailed.
`lambdaDelivery.Duration`	Milisegundos	El tiempo necesario para cada invocación de función Lambda realizada por Kinesis Data Analytics.
`lambdaDelivery.OkRecords`	Contar	La cantidad de registros devueltos por una función Lambda que se marcaron con el estado Ok.
`millisBehindLatest`	Milisegundos	Indica qué tan lejos de la hora actual está leyendo una aplicación desde la fuente de transmisión.
`records`	Contar	El número de registros leídos (por flujo de entrada) o escritos (por flujo de salida).
`success`	Contar	1 por cada intento de entrega exitoso al destino configurado para su aplicación; 0 por cada intento fallido de entrega. El valor promedio de esta métrica indica cuántas entregas exitosas se realizan.
`bytesRequestedPerFetch`	Bytes	Los bytes solicitados en una sola llamada a getRecords.
`committedOffsets`	Otro	Las últimas compensaciones confirmadas con éxito en Kafka, para cada partición. La métrica de una partición particular se puede especificar por el nombre del tema y la identificación de la partición.
`currentOffsets`	Otro	El desplazamiento de lectura actual del consumidor, para cada partición. La métrica de una partición particular se puede especificar por el nombre del tema y la identificación de la partición.

Aplicación Kinesis Data AnalyticsDatos Kpu

Métrica	Unidad	Descripción
`KPUs`	Contar	La cantidad de unidades de procesamiento de Kinesis (KPU) actualmente en uso. Known issue: como esta métrica tiene un retraso mayor que el resto, en algunos casos no se muestra

Métrica

Unidad

Descripción

KPUs

Contar

La cantidad de unidades de procesamiento de Kinesis (KPU) actualmente en uso.

Known issue: como esta métrica tiene un retraso mayor que el resto, en algunos casos no se muestra

Datos de tareas de Kinesis Data Analytics

Métrica	Unidad	Descripción
`commitsFailed`	Contar	El número total de errores de confirmación de compensación en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`commitsSucceeded`	Contar	El número total de confirmaciones de compensación exitosas en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`currentInputWatermark`	Milisegundos	La última marca de agua que ha recibido esta tarea.
`currentOutputWatermark`	Milisegundos	La marca de agua de salida actual.
`numLateRecordsDropped`	Contar	La cantidad de registros de esta tarea ha disminuido debido a que llegó tarde.
`numRecordsIn`	Contar	El número total de registros que ha recibido esta tarea.
`numRecordsInPerSecond`	ContarPorSegundo	El número total de registros que esta tarea ha recibido por segundo.
`numRecordsOut`	Contar	El número total de registros que ha emitido esta tarea.
`numRecordsOutPerSecond`	ContarPorSegundo	El número total de registros que esta tarea ha emitido por segundo.
`recordsLagMax`	Contar	El retraso máximo en términos de número de registros para cualquier partición en esta ventana.

Datos del operador de tareas de Kinesis Data Analytics

Métrica	Unidad	Descripción
`bytesConsumedRate`	Bytes por segundo	El número promedio de bytes consumidos por segundo para un tema.
`commitsFailed`	Contar	El número total de errores de confirmación de compensación en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`commitsSucceeded`	Contar	El número total de confirmaciones de compensación exitosas en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`currentInputWatermark`	Milisegundos	La última marca de agua que ha recibido esta tarea.
`currentOutputWatermark`	Milisegundos	La última marca de agua que ha emitido esta aplicación/operador/tarea/hilo.
`numLateRecordsDropped`	Contar	La cantidad de registros que este operador o tarea ha disminuido debido a que llegó tarde.
`numRecordsIn`	Contar	El número total de registros que ha recibido esta tarea.
`numRecordsInPerSecond`	ContarPorSegundo	El número total de registros que esta tarea ha recibido por segundo.
`numRecordsOut`	Contar	El número total de registros que ha emitido esta tarea.
`numRecordsOutPerSecond`	ContarPorSegundo	El número total de registros que esta tarea ha emitido por segundo.
`recordsLagMax`	Contar	El retraso máximo en términos de número de registros para cualquier partición en esta ventana.

Tarea de Kinesis Data AnalyticsDatos de paralelismo

Métrica	Unidad	Descripción
`currentInputWatermark`	Milisegundos	La última marca de agua que recibió esta aplicación/operador/tarea/hilo.
`numLateRecordsDropped`	Contar	La cantidad de registros de esta tarea ha disminuido debido a que llegó tarde.
`numRecordsIn`	Contar	El número total de registros que ha recibido esta tarea.
`numRecordsInPerSecond`	ContarPorSegundo	El número total de registros que esta tarea ha recibido por segundo.
`numRecordsOut`	Contar	El número total de registros que ha emitido esta tarea.
`numRecordsOutPerSecond`	ContarPorSegundo	El número total de registros que esta tarea ha emitido por segundo.

Kinesis Data Analytics TaskOperatorDatos de paralelismo

Métrica	Unidad	Descripción
`bytesConsumedRate`	Bytes por segundo	El número promedio de bytes consumidos por segundo para un tema.
`commitsFailed`	Contar	El número total de errores de confirmación de compensación en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`commitsSucceeded`	Contar	El número total de confirmaciones de compensación exitosas en Kafka, si la confirmación de compensación y los puntos de control están habilitados.
`currentInputWatermark`	Milisegundos	La última marca de agua que recibió esta aplicación/operador/tarea/hilo.
`currentOutputWatermark`	Milisegundos	La última marca de agua que ha emitido esta aplicación/operador/tarea/hilo.
`numRecordsIn`	Contar	El número total de registros que ha recibido este operador o tarea.
`numRecordsInPerSecond`	ContarPorSegundo	El número total de registros que este operador o tarea ha recibido por segundo.
`numRecordsOut`	Contar	El número total de registros que este operador o tarea ha emitido.
`numRecordsOutPerSecond`	ContarPorSegundo	El número total de registros que este operador o tarea ha emitido por segundo.
`recordsLagMax`	Contar	El retraso máximo en términos de número de registros para cualquier partición en esta ventana.

Te ofrecemos esta traducción automática para facilitar la lectura.