Configurar el monitoreo del registro de flujo de Amazon VPC

El registro de Amazon Virtual Private Cloud Flow (VPC) a través de Amazon Kinesis Data Firehose le ayuda a reducir la fricción al enviar registros a New Relic. Con el registro de flujo de VPC de todos sus activos AWS , puede comprender rápidamente información clave y valiosa para el análisis de rendimiento y la resolución de problemas de conectividad de red.

Amazon Virtual Private Cloud (VPC) le permite lanzar recursos AWS en una red virtual aislada y segura con los beneficios de utilizar una infraestructura AWS escalable.

Requisitos previos

Requisitos previos New Relic

• Una cuenta New Relic . ¿No tienes uno? ¡Registrate gratis! No se requiere tarjeta de crédito.

Requisitos previos de AWS

• Ambiente:

  • AWS CLI (v 1.9.15+) instalado.
  • Una lista de regiones AWS donde recopila el registro de flujo de Amazon VPC.
  • ID de VPC que se configurarán para enviar el registro de flujo de VPC. Si desea un control más granular, especifique los ID de subred en lugar de los ID de VPC.

• Permisos:

  • Un usuario AWS con permisos para crear registros de flujo de VPC.
  • Permisos de registro de archivo de Amazon S3 para lectura y escritura para el propietario de la entrega log .
  • Permitir que Kinesis Data Firehose asuma una función de IAM.

• Nombres de recursos de Amazon (ARN):

  • ARN de un depósito S3 con permisos para almacenar mensajes de registro de flujo no entregado.

  • Si desea habilitar el muestreo, necesitará el ARN para la función IAM de Lambda.

  • ARN para Kinesis Data Firehose con acceso al depósito S3.

    Sugerencia

    Le recomendamos crear una nueva manguera de datos con nuestra instalación guiada la primera vez que configure el registro de flujo de VPC para una región específica. Para VPC y subredes posteriores en la misma región, puede reutilizar la manguera de datos existente.

Funciones de IAM

Si configura la integración del registro de flujo mediante la CLI AWS , debe proporcionar uno o dos roles de IAM para diferentes componentes de infraestructura. Si utiliza CloudFormation, puede proporcionar sus propios roles o dejar que la plantilla defina nuevos roles.

Los roles necesarios deben tener al menos los siguientes permisos:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:GetBucketLocation",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>",
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>/*"
      ]
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": ["lambda:InvokeFunction", "lambda:GetFunctionConfiguration"],
      "Resource": [
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda",
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda:*"
      ]
    }
  ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "logs:CreateLogGroup",
      "Resource": "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:*",
      "Effect": "Allow"
    },
    {
      "Action": ["logs:CreateLogStream", "logs:PutLogEvents"],
      "Resource": [
        "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:log-group:/aws/lambda/NewRelic-Flow-Sampling-Lambda:*"
      ],
      "Effect": "Allow"
    }
  ]
}

Formateando su inicio de sesión en New Relic

Para utilizar la exploración log flujo seleccionado y el enlace de entidades, debe seguir este formato para el registro de flujo de VPC:

$
${version} ${account-id} ${region} ${az-id} ${sublocation-type} ${vpc-id} ${subnet-id} ${instance-id} ${interface-id} ${srcaddr} ${pkt-srcaddr} ${pkt-src-aws-service} ${dstaddr} ${pkt-dstaddr} ${pkt-dst-aws-service} ${srcport} ${dstport} ${protocol} ${packets} ${bytes} ${flow-direction} ${traffic-path} ${start} ${end} ${action} ${log-status}

Debe utilizar una partición log para el registro de flujo de VPC denominada Log_VPC_Flows_AWS. Si utiliza la instalación guiada, esto se maneja automáticamente.

Configurar el monitoreo del registro de flujo de Amazon VPC en New Relic

Siga el asistente guiado para instalar el registro de flujo de Amazon VPC:

1. Inicie el

   guided install process

   .

2. En el

   Select an account

   desplegable, elija la cuenta New Relic a la que desea enviar el registro de flujo de Amazon VPC y haga clic en

   Continue

   .

3. En la sección

   Select your data

   , elija

   Amazon VPC Flow Logs

   y haga clic en

   Continue

   .

4. En la sección

   Select your install method

   , continúe con

   CLI

   y haga clic en

   Continue

   .

Después de estos pasos, aparece un nuevo asistente para ayudarlo a configurar el envío del registro de flujo de Amazon VPC a New Relic a través del servicio AWS Kinesis Firehose.

1. En la sección Choose Setup Options :

   • Verifique que su método de configuración sea correcto.

   • Seleccione la región AWS que enviará el registro de flujo de VPC a New Relic.

   • Opcionalmente, si está reutilizando Kinesis Data Firehose, seleccione la casilla de verificación

     I already have a Kinesis Firehose to New Relic

     y continúe con la sección

     Define flow logs

     .

   • Haga clic en

     Continue

     .

2. En la sección Define Kinesis Firehose :

   • En el campo

     Kinesis Firehose Name

     , asegúrese de que el nombre generado sea correcto.

   • En el campo

     Firehose Backup Bucket

     , ingrese el ARN del depósito de S3 que se utilizará para almacenar los mensajes que no se entregan. El ARN debe seguir este formato: arn:my_string.

   • En el campo

     Firehose IAM Role

     , ingrese el ARN de la función de IAM que utilizará Kinesis Data Firehose. El ARN debe seguir este formato: arn:my_string.

   • Haga clic en

     Continue

     .

   • Opcionalmente, si desea obtener una muestra del registro de flujo de VPC, seleccione la casilla de verificación

     Use Sampling

     y:

   Utilice Lambda de muestreo

   • Primero, en la sección Define Sampling Lambda , haga lo siguiente:

     • En el campo

       Lambda Name

       , asegúrese de que el nombre generado para la función Lambda sea correcto. Si tiene estándares de nomenclatura Lambda específicos, edite el nombre.

     • En el campo

       Sample Rate

       , especifique la frecuencia de muestreo que se aplicará. De forma predeterminada está configurado en 1:10.

   • Luego, en la sección Create Sampling Lambda , haga clic en Generate CLI Command y:

     • Copie el contenido del bloque de código para

       Create your sampling Lambda

       y ejecútelo en la AWS CLI.

     • Para comprobar si se creó su Lambda, ejecute el comando del segundo paso en la CLI de AWS.

     • Copie el ARN devuelto para la función Lambda y péguelo en el campo

       Sampling Lambda ARN

       en el formato arn:my_string. Luego, haga clic en

       Continue

       .

     Sugerencia

     El muestreo es una función de conteo simple pero reducirá el volumen del registro de flujo enviado a New Relic. Los datos muestreados mediante esta función Lambda pueden perder una conversación específica en New Relic. Esté atento a las leyendas que indican datos de muestra en la UI del Monitoreo de red de New Relic.

3. En la sección Generate Kinesis Firehose , haga clic en Generate CLI Command y:

   Sugerencia

   Generamos automáticamente un nuevo clave de licenciaque se utilizará para esta ingesta de datos. Para regenerar una clave, haga clic en Generate and use a new key.

   Si desea reutilizar una clave existente, actualice el valor AccessKey en el primer paso.

   • Copie el contenido del bloque de código para

     Create your Kinesis Data Firehose

     y péguelo, ejecútelo en la CLI de AWS.

   • Para comprobar si se ha creado Kinesis Firehose, ejecute el comando del segundo paso en la CLI de AWS. Si no se devuelve ningún ARN, espere 30 segundos y vuelva a intentarlo.

   • Copie el ARN devuelto para Kinesis Firehose y péguelo en el campo

     Kinesis Data Firehose ARN

     en el formato arn:my_string. Luego, haga clic en

     Continue

     .

   

4. En la sección Define Flow Logs , haga lo siguiente:

   • Desde el

     Traffic Type

     desplegable, seleccione si desea enviar solo las entradas aceptadas, solo rechazadas o todas las entradas log flujo.

   • En el campo

     Flow Source ID

     , ingrese el ID de VPC (vpc-MY_STRING) o el ID de subred (subnet-MY_STRING) para el cual se debe crear el registro de flujo de Amazon VPC.

   • El campo

     Flow Source Type

     se completará automáticamente, así que haga clic en

     Continue

     .

5. En la sección Create Flow Logs , haga clic en Generate CLI Command y copie el contenido del bloque de sintaxis. Luego, ejecútelo en la AWS CLI para comenzar a generar registros de flujo para los recursos especificados.

6. Haga clic en Continue para comenzar a explorar el registro de flujo de Amazon VPC en la sección Monitoreo de red de New Relic.

7. Visualice los datos de rendimiento de su red en New Relic.