Configurar monitoramento de log de fluxo do Amazon VPC

O log do Amazon Virtual Private Cloud Flow (VPC) por meio do Amazon Kinesis Data Firehose ajuda a reduzir o atrito do envio de log para New Relic. Com o log de fluxo de VPC de todas as suas propriedades AWS , você pode compreender rapidamente os principais insights para análise de desempenho e resolução de problemas de conectividade de rede.

O Amazon Virtual Private Cloud (VPC) permite lançar recursos AWS em uma rede virtual isolada e segura com os benefícios do uso da infraestrutura escalonável AWS .

Pré-requisitos

Pré-requisitos New Relic

• Uma conta New Relic . Não tem um? Cadastre-se gratuitamente! Não é necessário cartão de crédito.

Pré-requisitos da AWS

• Ambiente:

  • AWS CLI (v 1.9.15+) instalada.
  • Uma lista de regiões AWS onde você coleta o log do Amazon VPC Flow.
  • IDs de VPC que serão configurados para enviar o log de fluxo de VPC. Se desejar um controle mais granular, especifique os IDs de sub-rede em vez dos IDs de VPC.

• Permissões:

  • Um usuário AWS com permissões para criar log de fluxo de VPC.
  • Permissões do arquivo de log do Amazon S3 para leitura e gravação para o proprietário da entrega de log.
  • Permitir que o Kinesis Data Firehose assuma uma função do IAM.

• Nomes de recursos da Amazon (ARNs):

  • ARN de um bucket S3 com permissões para armazenar mensagem do log de fluxo não entregue.

  • Se desejar habilitar a amostragem, você precisará do ARN para a função IAM do Lambda.

  • ARN para o Kinesis Data Firehose com acesso ao bucket S3.

    Dica

    Recomendamos que você crie um novo firehose de dados com nossa instalação guiada na primeira vez que configurar o log de fluxo de VPC para uma região específica. Para VPCs e sub-redes subsequentes na mesma região, você pode reutilizar o firehose de dados existente.

Funções do IAM

Se você configurar a integração do log de fluxo usando a AWS CLI, deverá fornecer uma ou duas funções do IAM para diferentes componentes de infraestrutura. Se você usar o CloudFormation, poderá fornecer suas próprias funções ou deixar que o modelo defina novas funções.

As funções necessárias devem ter pelo menos as seguintes permissões:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:GetBucketLocation",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>",
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>/*"
      ]
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": ["lambda:InvokeFunction", "lambda:GetFunctionConfiguration"],
      "Resource": [
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda",
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda:*"
      ]
    }
  ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "logs:CreateLogGroup",
      "Resource": "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:*",
      "Effect": "Allow"
    },
    {
      "Action": ["logs:CreateLogStream", "logs:PutLogEvents"],
      "Resource": [
        "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:log-group:/aws/lambda/NewRelic-Flow-Sampling-Lambda:*"
      ],
      "Effect": "Allow"
    }
  ]
}

Formatando seu log no New Relic

Para usar a exploração log de fluxo selecionado e a vinculação de entidade, você deve seguir este formato para o log de fluxo da VPC:

$
${version} ${account-id} ${region} ${az-id} ${sublocation-type} ${vpc-id} ${subnet-id} ${instance-id} ${interface-id} ${srcaddr} ${pkt-srcaddr} ${pkt-src-aws-service} ${dstaddr} ${pkt-dstaddr} ${pkt-dst-aws-service} ${srcport} ${dstport} ${protocol} ${packets} ${bytes} ${flow-direction} ${traffic-path} ${start} ${end} ${action} ${log-status}

Você deve usar uma partição log para log de fluxo de VPC chamada Log_VPC_Flows_AWS. Se você usar a instalação guiada, isso será feito automaticamente.

Configurar monitoramento de log de fluxo do Amazon VPC no New Relic

Siga o assistente guiado para instalar o log do Amazon VPC Flow:

1. Inicie o

   guided install process

   .

2. No dropdown

   Select an account

   , escolha a conta New Relic para a qual você deseja enviar o log do Amazon VPC Flow e clique em

   Continue

   .

3. Na seção

   Select your data

   , escolha

   Amazon VPC Flow Logs

   e clique em

   Continue

   .

4. Na seção

   Select your install method

   , continue com

   CLI

   e clique em

   Continue

   .

Após essas etapas, um novo assistente aparecerá para ajudá-lo a configurar o envio do log do Amazon VPC Flow para New Relic por meio do serviço AWS Kinesis Firehose.

1. Na seção Choose Setup Options :

   • Verifique se o seu método de configuração está correto.

   • Selecione a região AWS que enviará o log de fluxo da VPC para New Relic.

   • Opcionalmente, se você estiver reutilizando um Kinesis Data Firehose, marque a caixa de seleção

     I already have a Kinesis Firehose to New Relic

     e prossiga para a seção

     Define flow logs

     .

   • Clique em

     Continue

     .

2. Na seção Define Kinesis Firehose :

   • No campo

     Kinesis Firehose Name

     , certifique-se de que o nome gerado esteja correto.

   • No campo

     Firehose Backup Bucket

     , insira o ARN do bucket S3 a ser usado para armazenar mensagens que falham na entrega. O ARN deve seguir este formato: arn:my_string.

   • No campo

     Firehose IAM Role

     , insira o ARN da função do IAM a ser usada pelo Kinesis Data Firehose. O ARN deve seguir este formato: arn:my_string.

   • Clique em

     Continue

     .

   • Opcionalmente, se você quiser obter uma amostra do log de fluxo de VPC, marque a caixa de seleção

     Use Sampling

     e:

   Usar amostragem Lambda

   • Primeiro, na seção Define Sampling Lambda , faça o seguinte:

     • No campo

       Lambda Name

       verifique se o nome gerado para a função do Lambda está correto. Se você tiver padrões de nomenclatura específicos do Lambda, edite o nome.

     • No campo

       Sample Rate

       , especifique a taxa de amostragem a ser aplicada. Por padrão, está definido como 1:10.

   • Em seguida, na seção Create Sampling Lambda , clique em Generate CLI Command e:

     • Copie o conteúdo do bloco de código para

       Create your sampling Lambda

       e execute-o na AWS CLI.

     • Para verificar se o seu Lambda foi criado, execute o comando da segunda etapa na AWS CLI.

     • Copie o ARN retornado para a função do Lambda e cole no campo

       Sampling Lambda ARN

       no formato arn:my_string. Em seguida, clique em

       Continue

       .

     Dica

     A amostragem é uma função de contagem simples, mas reduzirá o volume de log de fluxo enviado para a New Relic. Os dados amostrados usando esta função do Lambda podem perder uma conversa específica no New Relic. Fique atento aos textos explicativos que indicam dados de amostra na interface de Monitoramento de rede do New Relic.

3. Na seção Generate Kinesis Firehose , clique em Generate CLI Command e:

   Dica

   Geramos automaticamente um novo chave de licençapara ser usado nesta ingestão de dados. Para regenerar uma chave, clique em Generate and use a new key.

   Se quiser reutilizar uma chave existente, atualize o valor AccessKey na primeira etapa.

   • Copie o conteúdo do bloco de código para

     Create your Kinesis Data Firehose

     e cole-o na AWS CLI.

   • Para verificar se o Kinesis Firehose foi criado, execute o comando da segunda etapa na AWS CLI. Se nenhum ARN for retornado, aguarde 30 segundos e tente novamente.

   • Copie o ARN retornado para o Kinesis Firehose e cole-o no campo

     Kinesis Data Firehose ARN

     no formato arn:my_string. Em seguida, clique em

     Continue

     .

   

4. Na seção Define Flow Logs , faça o seguinte:

   • No dropdown

     Traffic Type

     , selecione se deseja enviar somente entradas aceitas, somente rejeitadas ou todas as entradas log de fluxo.

   • No campo

     Flow Source ID

     , insira o ID da VPC (vpc-MY_STRING) ou o ID da sub-rede (subnet-MY_STRING) para o qual o log do Amazon VPC Flow deve ser criado.

   • O campo

     Flow Source Type

     será preenchido automaticamente, então clique em

     Continue

     .

5. Na seção Create Flow Logs , clique em Generate CLI Command e copie o conteúdo do bloco de sintaxe. Em seguida, execute-o na AWS CLI para começar a gerar o log de fluxo para os recursos especificados.

6. Clique em Continue para começar a explorar o log do Amazon VPC Flow na seção Monitoramento de rede do New Relic.

7. Visualize os dados de desempenho da sua rede no New Relic.