Integración de monitoreo AWS Glue

Importante

Habilite la integraciónAWS CloudWatch Metric Streams para monitor todas las métricas de CloudWatch desde sus servicios de AWS, incluido el espacio de nombres personalizado. La integración individual ya no es nuestra opción recomendada.

New Relic ofrece una integración para informar sus datos de AWS Glue . Este documento explica cómo activar esta integración y describe los datos que se pueden reportar.

Activar la integración

Para habilitar esta integración, siga los procedimientos estándar para conectar los servicios de AWS a New Relic.

Configuración y sondeo

Puede cambiar la frecuencia de sondeo y filtrar datos usando las opciones de configuración.

Información de sondeo predeterminada para la integración de AWS Glue:

New Relic intervalo de sondeo: 5 minutos
Intervalo de datos de Amazon CloudWatch: 1 minuto

Buscar y utilizar datos

Para encontrar sus datos de integración, vaya a one.newrelic.com > All capabilities > Infrastructure > AWS y seleccione una integración.

Puedes consultar y explorar tus datos utilizando el siguiente tipo de evento:

Entidad	Tipo de evento	Proveedor
Trabajo	`AwsGlueJobSample`	`AwsGlueJob`

Para obtener más información sobre cómo utilizar sus datos, consulte Comprender y utilizar los datos de integración.

Datos métricos

Esta integración recopila datos de AWS Glue para Job.

Pegamento Datos del trabajo

Métrica	Unidad	Descripción
`glue.driver.aggregate.bytesRead`	Bytes	La cantidad de bytes leídos de todas las fuentes de datos por todas las tareas de Spark completadas que se ejecutan en todos los ejecutores.
`glue.driver.aggregate.elapsedTime`	Milisegundos	El tiempo transcurrido de ETL en milisegundos (no incluye los tiempos de arranque del trabajo).
`glue.driver.aggregate.numCompletedStages`	Contar	El número de etapas completadas en el trabajo.
`glue.driver.aggregate.numCompletedTasks`	Contar	El número de tareas completadas en el trabajo.
`glue.driver.aggregate.numFailedTasks`	Contar	El número de tareas fallidas.
`glue.driver.aggregate.numKilledTasks`	Contar	El número de tareas eliminadas.
`glue.driver.aggregate.recordsRead`	Contar	La cantidad de registros leídos de todas las fuentes de datos por todas las tareas de Spark completadas que se ejecutan en todos los ejecutores.
`glue.driver.aggregate.shuffleBytesWritten`	Bytes	La cantidad de bytes escritos por todos los ejecutores para mezclar datos entre ellos desde el informe anterior (agregados por el AWS métrico Glue dashboard como la cantidad de bytes escritos para este propósito durante el minuto anterior).
`glue.driver.aggregate.shuffleLocalBytesRead`	Bytes	La cantidad de bytes leídos por todos los ejecutores para mezclar datos entre ellos desde el informe anterior (agregados por el AWS métrico Glue dashboard como la cantidad de bytes leídos para este propósito durante el minuto anterior).
`glue.driver.BlockManager.disk.diskSpaceUsed_MB`	Bytes	La cantidad de megabytes de espacio en disco utilizados en todos los ejecutores.
`glue.driver.ExecutorAllocationManager.executors.numberAllExecutors`	Contar	El número de ejecutores de trabajos en ejecución activa.
`glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors`	Contar	El número máximo de ejecutores de trabajos (en ejecución activa y pendientes) necesarios para satisfacer la carga actual.
`glue.driver.jvm.heap.usage`	Por ciento	La fracción de memoria utilizada por el montón de JVM para este controlador (escala: 0-1) para el controlador.
`glue.ALL.jvm.heap.usage`	Por ciento	La fracción de memoria utilizada por el montón de JVM para este controlador (escala: 0-1) para TODOS los ejecutores.
`glue.driver.jvm.heap.used`	Bytes	El número de bytes de memoria utilizados por el montón de JVM para el controlador.
`glue.ALL.jvm.heap.used`	Bytes	El número de bytes de memoria utilizados por el montón de JVM para TODOS los ejecutores.
`glue.driver.s3.filesystem.read_bytes`	Bytes	La cantidad de bytes leídos de Amazon S3 por el controlador desde el informe anterior (agregados por el AWS métrico Glue dashboard como la cantidad de bytes leídos durante el minuto anterior).
`glue.ALL.s3.filesystem.read_bytes`	Bytes	La cantidad de bytes leídos de Amazon S3 por TODOS los ejecutores desde el informe anterior (agregados por el AWS métrico Glue dashboard como la cantidad de bytes leídos durante el minuto anterior).
`glue.driver.s3.filesystem.write_bytes`	Bytes	La cantidad de bytes escritos en Amazon S3 por el controlador desde el informe anterior (agregados por el AWS métrico Glue dashboard como la cantidad de bytes escritos durante el minuto anterior).
`glue.ALL.s3.filesystem.write_bytes`	Bytes	La cantidad de bytes escritos en Amazon S3 por TODOS los ejecutores desde el informe anterior (agregados por el AWS métrico Glue dashboard como la cantidad de bytes escritos durante el minuto anterior).
`glue.driver.system.cpuSystemLoad`	Por ciento	La fracción de carga del sistema de CPU utilizada (escala: 0-1) por el controlador.
`glue.ALL.system.cpuSystemLoad`	Por ciento	La fracción de carga del sistema de CPU utilizada (escala: 0-1) por TODOS los ejecutores.