Configurar la integración de Amazon CloudWatch Metric Streams

Con la integración AWS Metric Streams , solo necesita un single service, AWS CloudWatch, para recopilar todas las métricas y espacios de nombres personalizados AWS y enviarlos a New Relic.

Para transmitir métricas de CloudWatch a New Relic:

1. Consulte los permisos mínimos y las instrucciones de mapeo.
2. Cree Kinesis Data Firehose y apúntelo a New Relic.
3. A continuación, cree CloudWatch Metric Streams para enviar métricas a ese Firehose que acaba de crear.
4. Siga las instrucciones de configuración guiadas o manuales .
5. Validar la recepción de datos.

Si corresponde, lea nuestra documentación sobre la migración desde la integración de sondeo AWS .

Permisos mínimos e instrucciones de mapeo.

Para enriquecer las métricas de CloudWatch con metadatos de servicio adicionales y etiquetas personalizadas, cualquier rol AWS configurado en New Relic debe tener concedidos los siguientes permisos mínimos:

config:BatchGetResourceConfig
config:ListDiscoveredResources
elasticache:DescribeCacheClusters
tag:GetResources

Actualmente, la recomienda la New Relic UI ReadOnlyAccess política sobre estos elementos individuales para que New Relic tenga los permisos adecuados para recopilar datos de servicio que no están disponibles en AWS CloudWatch Metric Streams.

Mapeo de cuentas y regiones New Relic y AWS

• Si administra varias cuentas de AWS, cada cuenta debe estar conectada a New Relic.
• Si administra varias regiones dentro de esas cuentas, cada región debe configurarse con un Kinesis Data Firehose diferente que apunte a New Relic.
• Normalmente asignará una o varias cuentas de AWS a una única cuenta de New Relic.

Configuración guiada mediante CloudFormation

Primero, debe vincular cada una de sus cuentas de AWS con su cuenta de New Relic. Para hacerlo, utilice cualquiera de estas opciones:

• Vaya a

  one.newrelic.com > All capabilities > Infrastructure > AWS

  , haga clic en

  Add an AWS account

  , luego en

  Use metric streams

  y siga los pasos.

• Automatiza este paso con NerdGraph.

A continuación, configure el flujo métrico utilizando la plantilla de CloudFormation que proporcionamos en el último paso de nuestra UI. Esta plantilla se proporciona como base para configurar la integración en una sola región. Puede personalizarlo y ampliarlo para satisfacer sus necesidades.

Parámetro de plantilla de CloudFormation

Esta tabla describe los distintos parámetros necesarios para la plantilla de CloudFormation. Dado que la plantilla creará nuevos recursos en su cuenta de AWS, aquí no proporcionamos nombres de recursos de AWS existentes.

Configuración manual mediante la consola, API o llamadas de AWS

1. Cree un Kinesis Data Firehose Delivery Stream y configure el siguiente parámetro de destino:

   • Fuente: PUT directo u otras fuentes

   • Transformación de datos: deshabilitada

   • Conversión de formato de registro: deshabilitada

   • Destino: New Relic

   • Asegúrese de que estén definidas las siguientes configuraciones:

     • New Relic (Configuración de destino)

       • URL extremo HTTP - Centro de datos de EE. UU.: https://aws-api.newrelic.com/cloudwatch-metrics/v1

       • URL extremo HTTP - Centro de datos de la UE: https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

       • Clave de API: Introduce tu

         clave de licencia

       • Codificación de contenido: GZIP

       • Duración del reintento: 60

     • Modo de copia de seguridad S3: solo datos fallidos

     • Depósito S3: seleccione un depósito o cree uno nuevo para almacenar métricas que no se pudieron enviar.

     • New Relic

       • Tamaño del búfer: 1 MB
       • Intervalo de buffer: 60 (seconds)

     • Permisos Rol de IAM:

       • Crear o actualizar el rol de IAM

2. Crea la corriente métrica.

   • Vaya a CloudWatch service en su consola de AWS y seleccione la opción Streams en el menú Metrics .

   • Haga clic en Create metric stream.

   • Determine la configuración correcta según sus casos de uso:

     • Utilice filtros de inclusión y exclusión para seleccionar qué servicios deben impulsar métrica a New Relic.
     • Seleccione su Kinesis Data Firehose.
     • Defina un nombre significativo para la transmisión (por ejemplo, newrelic-metric-stream).

   • Cambie el formato de salida predeterminado a Open Telemetry 0.7. (JSON no es compatible).

   • Confirmar la creación del flujo métrico.

     Alternativamente, puede encontrar instrucciones en la documentación AWS para crear flujos de métricas de CloudWatch utilizando una plantilla, API o CLI de CloudFormation.

3. Agregue la nueva AWS cuenta en el Metric streams modo en la New Relic UI. Vaya a one.newrelic.com > All capabilities > Infrastructure > AWS, haga clic en Add an AWS account, luego en Use metric streams y siga los pasos.

Valida que tus datos se reciban correctamente

Para confirmar que estás recibiendo datos de métrica Streams, sigue estos pasos:

1. Vaya a one.newrelic.com > All capabilities > Infrastructure > AWS y busque las cuentas Stream .

2. Verifique lo siguiente:

   • Dashboard de estado de la cuenta. Útil para confirmar que New Relic recibe los datos métricos (errores, número de namespace/métrica ingeridos, etc.)
   • Explora tus datos. Utilice métrica y evento para encontrar un conjunto específico de métricas, acceder a todas las dimensiones disponibles para una métrica determinada y más.

Pueden pasar algunos minutos hasta que se detecten y sinteticen nuevos recursos como entidad. Consulte los límites del sistema de integraciones en la nube para obtener más información.

Consulta, almacenamiento métrica y mapeo

Las métricas provenientes de AWS CloudWatch se almacenan como métricas dimensionales de tipo summary. Puedes consultar usando NRQL.

Hemos mapeado métrica de la actual integración en la nube al nuevo mapeo que vendrá de AWS Metric Streams. Puede continuar usando el nombre métrico actual y consulta continuará trabajando y seleccionando datos de AWS Metric Streams y la integración actual en la nube.

Consulte nuestra documentación sobre cómo la integración actual en la nube métrica se asigna a la nueva denominación métrica.

Todas las métricas provenientes del flujo métrico tienen estos atributos:

• aws.MetricStreamArn
• collector.name = 'cloudwatch-metric-streams'.

Entidad del espacio de nombres AWS en la lista de entidades

Generamos New Relic entidad para muchos AWS espacios de nombres . Cuando generamos entidad New Relic para un namespace , puedes esperar:

• Explore esas entidades en nuestro explorador de entidades.
• Acceda a un dashboard de entidades creado automáticamente para esas entidades.
• Obtenga métrica y entidad de ese namespace decorado con la etiqueta AWS . La recopilación de etiquetas AWS requiere que le haya otorgado a New Relic el permiso tag:GetResources, que es parte del proceso de configuración en la UI. La etiqueta AWS se muestra en métrica como tag.AWSTagName; por ejemplo, si ha configurado una etiqueta AWS Team en el recurso, se mostrará como tag.Team.
• Aprovecha todas las características incluidas en el explorador de entidades.

Establecer condición de alerta

Puede crear una condición de alerta NRQL en métrica a partir de un flujo métrico. Asegúrese de que su filtro limite los datos a métricas de CloudWatch Metric Streams únicamente. Para hacer eso, construye tu consulta así:

SELECT sum(aws.s3.5xxErrors) FROM Metric WHERE collector.name = 'cloudwatch-metric-streams' FACET aws.accountId, aws.s3.BucketName

Luego, para asegurarse de que alertasprocese los datos correctamente, configure los ajustes de señal avanzados. Estas configuraciones son necesarias porque AWS CloudWatch recibe métricas de los servicios con cierto retraso. (Por ejemplo, Amazon garantiza que el 90% de las métricas EC2 están disponibles en CloudWatch dentro de los 7 minutos posteriores a su generación). Además, la transmisión métrica de AWS a New Relic agrega hasta 1 minuto de retraso adicional, principalmente debido al almacenamiento en búfer de datos en Firehose.

Para configurar los ajustes de la señal, en Condition Settings, haga clic en Advanced Signal Settings e ingrese los siguientes valores:

1. Aggregation window

   . Recomendamos configurarlo en 1 minuto. Si tiene problemas con las alertas de oscilaciones o las alertas no se activan, considere aumentarlo a 2 minutos.

2. Offset evaluation by

   . Dependiendo del servicio, CloudWatch puede enviar métricas con cierto retraso. El valor se establece en Windows. Con una ventana de agregación de 1 minuto, establecer el desplazamiento en 8 garantiza que la mayoría de las métricas se evalúen correctamente. Es posible que pueda utilizar una compensación menor si el retraso introducido por AWS y Firehose es menor.

3. Fill data gaps with

   . Deje este vacío o utilice el último valor conocido si las lagunas en los datos provenientes de AWS generan falsos positivos o negativos.

Consulte nuestra documentación sobre cómo crear alertas NRQL para obtener más detalles.

Colección de etiquetas

New Relic proporciona dimensiones mejoradas de métrica provenientes de AWS CloudWatch Metric Streams. Los recursos y las etiquetas personalizadas se extraen automáticamente de la mayoría de los servicios y se utilizan para decorar métricas con dimensiones adicionales. Utilice métrica y evento para ver qué etiquetas están disponibles en cada métrica AWS .

La siguiente consulta muestra un ejemplo de etiqueta recogida y consulta como dimensiones en métrica:

SELECT average(`aws.rds.CPUUtilization`) FROM Metric FACET `tags.mycustomtag` SINCE 30 MINUTES AGO TIMESERIES

No todas las métricas tienen su etiqueta personalizada como dimensiones. Sólo las métricas vinculadas a la entidad listada en el explorador de entidades tienen su etiqueta personalizada asociada. Las secuencias de métricas de AWS CloudWatch no incluyen una etiqueta como parte del mensaje de la secuencia; por lo tanto, se requiere procesamiento adicional en el lado New Relic .

Recopilación de metadatos

Al igual que con la etiqueta personalizada, New Relic también extrae información de metadatos de los servicios de AWS relevantes para decorar las métricas de AWS de CloudWatch con metadatos enriquecidos recopilados de los servicios de API de AWS. Estos metadatos están accesibles en New Relic como dimensiones adicionales en la métrica proporcionada por AWS CloudWatch.

La solución se basa en AWS Config, lo que podría generar costos adicionales en su cuenta de AWS. AWS Config proporciona controles granulares para determinar qué servicios y recursos se registran. New Relic solo absorberá metadatos de los recursos disponibles en su cuenta de AWS.

Se admiten los siguientes servicios y espacios de nombres:

• ALB/NLB
• API Gateway (excluyendo API v1)
• DinamoDB
• EBS
• EC2
• ECS
• ELB
• Lambda
• RDS
• T3

Agente de infraestructura métrica y decoración de metadatos EC2

Al igual que con la integración de sondeo API de EC2, cuando el agente de infraestructura está instalado en un host y el namespace EC2 está activo a través de la integración AWS CloudWatch Metric Streams, todos los eventos y métricas del agente de infraestructura están decorados con metadatos adicionales.

El siguiente atributo decorará las muestras de infraestructura. Es posible que algunos de estos no sean aplicables en todos los entornos: awsAvailabilityZone, ec2InstanceId, ec2PublicDnsName, ec2State, ec2EbsOptimized, ec2PublicIpAddress, ec2PrivateIpAddress, ec2VpcId, ec2AmiId, ec2PrivateDnsName, ec2KeyName, ec2SubnetId, ec2InstanceType, ec2Hypervisor, ec2Architecture, ec2RootDeviceType, ec2RootDeviceName, ec2VirtualizationType, ec2PlacementGroupName, ec2PlacementGroupTenancy.

Métrica personalizada y percentil

La integración CloudWatch Metric Streams ingiere automáticamente nuevas métricas configuradas en el flujo, incluidas métricas personalizadas y percentil.

Métrica personalizada

Para ingerir CloudWatch métrica personalizada, asegúrese de que su namespace personalizado esté visible en la configuración de CloudWatch Metric Streams y que no esté filtrado por reglas de inclusión o exclusión.

Percentil

AWS CloudWatch le permite definir estadísticas adicionales, incluido el percentil.

Siga estos pasos para agregar percentil a cualquier métrica disponible en la transmisión de CloudWatch:

1. En AWS, actualice la configuración de transmisión de CloudWatch (a través de API, CLI o consola AWS ) con el percentil requerido en la configuración StatisticConfiguration. Por ejemplo, puede agregar los percentiles p90, p95 y p99 al ELB latency metric (aws.elb.Latency).

2. Después de unos minutos, la nueva estadística debería estar disponible en la transmisión y ser absorbida por New Relic. percentil se puede consultar utilizando esta convención de nomenclatura:

   From Metric select max(aws.elb.Latency.p99) where collector.name = 'cloudwatch-metric-streams' timeseries

   Copia

Aunque AWS admite otras estadísticas en la transmisión más allá del percentil, estas no están disponibles en el formato de exportación de telemetría abierta (solo JSON) y actualmente New Relic no las admite.

Obtenga más información sobre precios, limitaciones y configuración avanzada en la documentación AWS .

Gestiona tus datos

La New Relic UI proporciona un conjunto de herramientas para realizar un seguimiento de los datos que se incorporan en su cuenta. Vaya a Manage your data en el menú de configuración para ver todos los detalles. Las métricas ingeridas de la integración AWS Metric Streams se consideran en el depósito Metric.

Si necesita una vista más granular de los datos, utilice la funciónbytecountestimate() en Metric para estimar los datos que se ingieren. Por ejemplo, la siguiente consulta representa los datos ingeridos de todas las métricas procesadas a través de la integración AWS Metric Streams en los últimos 30 días (en bytes):

FROM Metric SELECT bytecountestimate()/10e8 as 'GB Estimate' WHERE collector.name='cloudwatch-metric-streams' SINCE 30 day ago

Para ver datos ingeridos por servicios de AWS/namespace:

FROM Metric SELECT bytecountestimate()/10e8 as 'GB Estimate' WHERE collector.name='cloudwatch-metric-streams' FACET aws.Namespace

Para ver el número de actualizaciones métricas sin procesar procesadas por servicios de AWS/namespace:

FROM Metric SELECT dataPointCount() WHERE collector.name='cloudwatch-metric-streams' FACET aws.Namespace

Recomendamos las siguientes acciones para controlar los datos que se ingieren:

• Asegúrese de que los flujos métricos estén habilitados solo en las cuentas y regiones AWS que desea monitor con New Relic.

• Use the inclusion and exclusion filters

  en CloudWatch Metric Streams para seleccionar qué servicios o espacios de nombres están siendo monitoreados por New Relic.

• Considere la posibilidad de utilizar reglas de eliminación de datos para descartar métricas basadas en filtros personalizados. (Por ejemplo, coloque métrica por namespace y etiqueta, valor de etiqueta o cualquier otro criterio NRQL válido).