AWS Kinesis Data Analytics monitoramento de integração

Importante

Habilite a integração do AWS CloudWatch Metric Streams para monitor todas as métricas do CloudWatch de seus serviços da AWS, incluindo namespace personalizado. A integração individual não é mais nossa opção recomendada.

Nosso monitoramento de integração de infraestrutura inclui uma integração para relatar seus dados AWS Kinesis Data Analytics para nossos produtos. Continue lendo para saber mais sobre como ativar a integração e quais dados ela coleta.

Ativar integração

Para habilitar essa integração, siga os procedimentos padrão para conectar os serviços da AWS ao New Relic.

Configuração e polling

Você pode alterar a frequência de pesquisa e filtrar dados usando opções de configuração.

Informações de pesquisa padrão para a integração do AWS Kinesis Data Analytics:

Intervalo de sondagem New Relic : 5 minutos
Intervalo de dados do Amazon CloudWatch: 1 minuto

Encontre e use dados

Para encontrar seus dados de integração em nossa interface de infraestrutura, acesse one.newrelic.com > All capabilities > Infrastructure > AWS e selecione uma integração.

Os dados são anexados ao seguinte tipo de evento:

Entidade	Tipo de evento	Fornecedor
Aplicativo	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
ApplicationKpu	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
Tarefa	`AwsKinesisAnalyticsTaskSample`	`AwsKinesisAnalyticsTask`
Operador de tarefas	`AwsKinesisAnalyticsTaskOperatorSample`	`AwsKinesisAnalyticsTaskOperator`
Paralelismo de Tarefas	`AwsKinesisAnalyticsTaskParallelismSample`	`AwsKinesisAnalyticsTaskParallelism`
TaskOperatorParalelismo	`AwsKinesisAnalyticsTaskOperatorParallelismSample`	`AwsKinesisAnalyticsTaskOperatorParallelism`

Para saber mais sobre como usar seus dados, consulte Compreender e usar dados de integração.

Dados métricos

Esta integração coleta dados AWS Kinesis Data Analytics para aplicativo, ApplicationKpu, Task, TaskOperator, TaskParallelism e TaskOperatorParallelism.

Dados do aplicativo Kinesis Data Analytics

Métrica	Unidade	Descrição
`bytesConsumedRate`	BytesPorSegundo	O número médio de bytes consumidos por segundo para um tópico.
`commitsFailed`	Contar	O número total de falhas de confirmação de deslocamento para Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`commitsSucceeded`	Contar	O número total de confirmações de deslocamento bem-sucedidas no Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`cpuUtilization`	Por cento	Porcentagem geral de utilização da CPU entre gerenciadores de tarefas. Por exemplo, se houver cinco gerenciadores de tarefas, o Kinesis Data Analytics publicará cinco amostras dessa métrica por intervalo de relatório.
`currentInputWatermark`	Milissegundos	A última marca d'água que este aplicativo/operador/tarefa/thread recebeu.
`currentOutputWatermark`	Milissegundos	A última marca d'água que este aplicativo/operador/tarefa/thread emitiu.
`downtime`	Milissegundos	Para trabalhos atualmente em situação de falha/recuperação, o tempo decorrido durante esta interrupção.
`fullRestarts`	Contar	O número total de vezes que este trabalho foi totalmente reiniciado desde que foi enviado. Esta métrica não mede reinicializações detalhadas.
`heapMemoryUtilization`	Por cento	Utilização geral da memória heap em gerenciadores de tarefas. Por exemplo, se houver cinco gerenciadores de tarefas, o Kinesis Data Analytics publicará cinco amostras dessa métrica por intervalo de relatório.
`lastCheckpointDuration`	Milissegundos	O tempo que levou para completar o último ponto de verificação.
`lastCheckpointSize`	Bytes	O tamanho total do último ponto de verificação.
`numRecordsInPerSecond`	Contagem por segundo	O número total de registros que este operador ou tarefa recebeu por segundo.
`numRecordsOut`	Contar	O número total de registros que este operador ou tarefa emitiu.
`numRecordsOutPerSecond`	Contagem por segundo	O número total de registros que este operador ou tarefa emitiu por segundo.
`numberOfFailedCheckpoints`	Contar	O número de vezes que o ponto de verificação falhou.
`numRecordsIn`	Contar	O número total de registros que este operador ou tarefa recebeu.
`oldGenerationGcCount`	Contar	O número total de operações antigas de coleta de lixo que ocorreram em todos os gerenciadores de tarefas.
`oldGenerationGcTime`	Milissegundos	O tempo total gasto na execução de operações antigas de coleta de lixo.
`recordsLagMax`	Contar	O atraso máximo em termos de número de registros para qualquer partição nesta janela.
`threadsCount`	Contar	O número total de threads ativos usados pelo aplicativo.
`uptime`	Milissegundos	O tempo em que o trabalho esteve em execução sem interrupção.
`bytes`	Bytes	O número de bytes lidos (por fluxo de entrada) ou gravados (por fluxo de saída).
`inputProcessing.DroppedRecords`	Contar	O número de registros retornados por uma função do Lambda que foram marcados com o status Dropped.
`inputProcessing.Duration`	Milissegundos	O tempo gasto para cada invocação de função do Lambda da AWS realizada pelo Kinesis Data Analytics.
`inputProcessing.OkBytes`	Contar	A soma dos bytes dos registros retornados por uma função do Lambda que foram marcados com o status Ok.
`inputProcessing.OkRecords`	Contar	O número de registros retornados por uma função do Lambda que foram marcados com o status Ok.
`inputProcessing.ProcessingFailedRecords`	Contar	O número de registros retornados por uma função do Lambda que foram marcados com o status ProcessingFailed.
`inputProcessing.Success`	Contar	O número de invocações do Lambda bem-sucedidas pelo Kinesis Data Analytics.
`lambdaDelivery.DeliveryFailedRecords`	Contar	O número de registros retornados por uma função do Lambda que foram marcados com o status DeliveryFailed.
`lambdaDelivery.Duration`	Milissegundos	O tempo necessário para cada invocação de função do Lambda realizada pelo Kinesis Data Analytics.
`lambdaDelivery.OkRecords`	Contar	O número de registros retornados por uma função do Lambda que foram marcados com o status Ok.
`millisBehindLatest`	Milissegundos	Indica o quanto está atrasado em relação ao horário atual que um aplicativo está lendo da fonte de streaming.
`records`	Contar	O número de registros lidos (por fluxo de entrada) ou gravados (por fluxo de saída).
`success`	Contar	1 para cada tentativa de entrega bem-sucedida no destino configurado para seu aplicativo; 0 para cada tentativa de entrega com falha. O valor médio desta métrica indica quantas entregas bem-sucedidas são realizadas.
`bytesRequestedPerFetch`	Bytes	Os bytes solicitados em uma única chamada para getRecords.
`committedOffsets`	Outro	As últimas compensações confirmadas com êxito no Kafka, para cada partição. A métrica de uma partição específica pode ser especificada pelo nome do tópico e pelo ID da partição.
`currentOffsets`	Outro	O deslocamento de leitura atual do consumidor, para cada partição. A métrica de uma partição específica pode ser especificada pelo nome do tópico e pelo ID da partição.

Dados Kinesis Data Analytics ApplicationKpu

Métrica	Unidade	Descrição
`KPUs`	Contar	O número de unidades de processamento Kinesis (KPUs) atualmente em uso. Known issue: como esta métrica tem um atraso maior que as demais, em alguns casos ela não é mostrada

Métrica

Unidade

Descrição

KPUs

Contar

O número de unidades de processamento Kinesis (KPUs) atualmente em uso.

Known issue: como esta métrica tem um atraso maior que as demais, em alguns casos ela não é mostrada

Dados da tarefa do Kinesis Data Analytics

Métrica	Unidade	Descrição
`commitsFailed`	Contar	O número total de falhas de confirmação de deslocamento para Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`commitsSucceeded`	Contar	O número total de confirmações de deslocamento bem-sucedidas no Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`currentInputWatermark`	Milissegundos	A última marca d'água que esta tarefa recebeu.
`currentOutputWatermark`	Milissegundos	A marca d’água atualmente produzida.
`numLateRecordsDropped`	Contar	O número de registros que esta tarefa caiu devido ao atraso.
`numRecordsIn`	Contar	O número total de registros que esta tarefa recebeu.
`numRecordsInPerSecond`	Contagem por segundo	O número total de registros que esta tarefa recebeu por segundo.
`numRecordsOut`	Contar	O número total de registros que esta tarefa emitiu.
`numRecordsOutPerSecond`	Contagem por segundo	O número total de registros que esta tarefa emitiu por segundo.
`recordsLagMax`	Contar	O atraso máximo em termos de número de registros para qualquer partição nesta janela.

Dados do TaskOperator do Kinesis Data Analytics

Métrica	Unidade	Descrição
`bytesConsumedRate`	BytesPorSegundo	O número médio de bytes consumidos por segundo para um tópico.
`commitsFailed`	Contar	O número total de falhas de confirmação de deslocamento para Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`commitsSucceeded`	Contar	O número total de confirmações de deslocamento bem-sucedidas no Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`currentInputWatermark`	Milissegundos	A última marca d'água que esta tarefa recebeu.
`currentOutputWatermark`	Milissegundos	A última marca d'água que este aplicativo/operador/tarefa/thread emitiu.
`numLateRecordsDropped`	Contar	O número de registros que este operador ou tarefa caiu devido ao atraso.
`numRecordsIn`	Contar	O número total de registros que esta tarefa recebeu.
`numRecordsInPerSecond`	Contagem por segundo	O número total de registros que esta tarefa recebeu por segundo.
`numRecordsOut`	Contar	O número total de registros que esta tarefa emitiu.
`numRecordsOutPerSecond`	Contagem por segundo	O número total de registros que esta tarefa emitiu por segundo.
`recordsLagMax`	Contar	O atraso máximo em termos de número de registros para qualquer partição nesta janela.

Dados do Kinesis Data Analytics TaskParallelism

Métrica	Unidade	Descrição
`currentInputWatermark`	Milissegundos	A última marca d'água que este aplicativo/operador/tarefa/thread recebeu.
`numLateRecordsDropped`	Contar	O número de registros que esta tarefa caiu devido ao atraso.
`numRecordsIn`	Contar	O número total de registros que esta tarefa recebeu.
`numRecordsInPerSecond`	Contagem por segundo	O número total de registros que esta tarefa recebeu por segundo.
`numRecordsOut`	Contar	O número total de registros que esta tarefa emitiu.
`numRecordsOutPerSecond`	Contagem por segundo	O número total de registros que esta tarefa emitiu por segundo.

Dados do Kinesis Data Analytics TaskOperatorParallelism

Métrica	Unidade	Descrição
`bytesConsumedRate`	BytesPorSegundo	O número médio de bytes consumidos por segundo para um tópico.
`commitsFailed`	Contar	O número total de falhas de confirmação de deslocamento para Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`commitsSucceeded`	Contar	O número total de confirmações de deslocamento bem-sucedidas no Kafka, se a confirmação de deslocamento e o ponto de verificação estiverem habilitados.
`currentInputWatermark`	Milissegundos	A última marca d'água que este aplicativo/operador/tarefa/thread recebeu.
`currentOutputWatermark`	Milissegundos	A última marca d'água que este aplicativo/operador/tarefa/thread emitiu.
`numRecordsIn`	Contar	O número total de registros que este operador ou tarefa recebeu.
`numRecordsInPerSecond`	Contagem por segundo	O número total de registros que este operador ou tarefa recebeu por segundo.
`numRecordsOut`	Contar	O número total de registros que este operador ou tarefa emitiu.
`numRecordsOutPerSecond`	Contagem por segundo	O número total de registros que este operador ou tarefa emitiu por segundo.
`recordsLagMax`	Contar	O atraso máximo em termos de número de registros para qualquer partição nesta janela.

Esta tradução de máquina é fornecida para sua comodidade.