Plug-in AWS FireLens para encaminhamento de logs

Se seus dados log já estão sendo monitorados pelo AWS FireLens, você pode usar nossa integração FireLens para encaminhar e enriquecer seus dados log no New Relic. Essa integração é baseada em nosso plug-in de saída Fluent Bit.

Encaminhar seu registro do FireLens para New Relic proporcionará gerenciamento de logsrecursos aprimorados para coletar, processar, explorar, consultar e alertar sobre seus dados log .

Processo básico

Para ativar recursos de gerenciamento de logs:

1. Assegure-se de ter:

   • A

     chave de licença

   • Amazon EC2 serviço de contêiner (ECS) cluster

2. Configure o contêiner do roteador de log FireLens para ser executado como arquivo secundário. (Um sidecar é uma forma de mover parte da responsabilidade principal de um serviço para um módulo em contêiner que é implantado junto com o aplicativo principal.)

3. Configure o contêiner do aplicativo.

4. Gere algum tráfego e aguarde alguns minutos e, em seguida, verifique os dados da sua conta .

Configurar o contêiner do roteador de log FireLens

New Relic usa uma imagem Fluent Bit para configurar o contêiner do roteador de log FireLens. Este contêiner trata de todo o roteamento log do plug-in do aplicativo.

Para encaminhar seu log do FireLens para o New Relic:

1. Adicione um contêiner secundário à definição de tarefa ECS pré-existente que atuará como o roteador de log Firelens. Para obter ajuda para configurar o roteamento de log do ECS, consulte a documentação do Amazon ECS para roteamento de log personalizado.

2. Substitua as imagens recomendadas pela imagem do plug-in de saída New Relic Fluent Bit para sua região AWS.

3. Defina o atributomemoryReservation para este contêiner.

   Região AWS	Nome completo da imagem
   ap-northeast-1	533243300146.dkr.ecr.ap-northeast-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-northeast-2	533243300146.dkr.ecr.ap-northeast-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-northeast-3	533243300146.dkr.ecr.ap-northeast-3.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-south-1	533243300146.dkr.ecr.ap-south-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-southeast-1	533243300146.dkr.ecr.ap-southeast-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-southeast-2	533243300146.dkr.ecr.ap-southeast-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   ca-central-1	533243300146.dkr.ecr.ca-central-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   eu-central-1	533243300146.dkr.ecr.eu-central-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   eu-north-1	533243300146.dkr.ecr.eu-north-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   eu-west-1	533243300146.dkr.ecr.eu-west-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   eu-west-2	533243300146.dkr.ecr.eu-west-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   eu-west-3	533243300146.dkr.ecr.eu-west-3.amazonaws.com/newrelic/logging-firelens-fluentbit
   sa-east-1	533243300146.dkr.ecr.sa-east-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   us-east-1	533243300146.dkr.ecr.us-east-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   us-east-2	533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   us-west-1	533243300146.dkr.ecr.us-west-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   us-west-2	533243300146.dkr.ecr.us-west-2.amazonaws.com/newrelic/logging-firelens-fluentbit

$
aws ecr describe-images --registry-id 533243300146 --repository-name newrelic/logging-firelens-fluentbit --filter '{"tagStatus": "TAGGED"}' --query 'reverse(sort_by(imageDetails, & imagePushedAt))[*].imageTags' --region us-east-1 --output text

O exemplo abaixo irá fixar a versão 1.17.1 para que a definição da tarefa seja sempre implantada com essa versão da imagem:

{
  "essential": true,
  // Image below is New Relic's Fluent Bit output plugin available on ECR
  "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit:1.17.1",
  "name": "log_router",
  "firelensConfiguration": {
    "type": "fluentbit",
    "options": {
      "enable-ecs-log-metadata": "true"
    }
  }
}

Configurar o contêiner do aplicativo

AWS Secrets Manager (recomendado)

Para evitar a exposição da sua New Relic chave de licençana definição da tarefa, recomendamos fortemente o uso do serviço AWS Secrets Manager .

Ao adicionar o segredo, use a guia Plaintext . Depois de adicionar o segredo ao Secrets Manager, você poderá referenciá-lo usando o bloco logConfiguration , substituindo SECRET_NAME pelo nome do segredo da AWS. Por exemplo:

"logConfiguration": {
  "logDriver":"awsfirelens",
  "options": {
    "Name": "newrelic"
  },
  "secretOptions": [{
    "name": "apiKey",
    "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:SECRET_NAME"
  }]
}

Configuração de chave de texto simples

Use o bloco logConfiguration, substituindo INSERT_API_KEY pela sua New Relic chave de licença. Para obter detalhes de configuração, consulte as definições de tarefas do FireLens no GitHub.

"logConfiguration": {
  "logDriver":"awsfirelens",
  "options": {
    "Name": "newrelic",
    "apiKey": "NEW_RELIC_LICENSE_KEY"
  }

Exemplo de configuração

{
  "family": "newrelic-firelens",
  "networkMode": "awsvpc",
  "requiresCompatibilities": ["FARGATE"],
  "containerDefinitions": [
    // FireLens log router container
    {
      "essential": true,
      // Image below is New Relic's Fluent Bit output plugin available on ECR
      "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit",
      "name": "log_router",
      "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "enable-ecs-log-metadata": "true"
        }
      }
    },
    // Application container
    {
      "essential": true,
      "name": "webserver",
      // Application image goes here
      "image": "nginx",
      "cpu": 512,
      "memoryReservation": 1024,
      "portMappings": [
        {
          "containerPort": 5000
        }
      ],
      "environment": [
        {
          "name": "VERSION",
          "value": "V1"
        }
      ],
      // New Relic Fluent Bit output configuration
      "logConfiguration": {
        "logDriver": "awsfirelens",
        "options": {
          "Name": "newrelic"
        },
        "secretOptions": [
          {
            "name": "apiKey",
            "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:secret_name-AbCdEf"
          }
        ]
      }
    }
  ],
  // Use your own role here
  "executionRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "taskRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "cpu": "1 vcpu",
  "memory": "2 gb"
}

{
  "family": "newrelic-firelens",
  "networkMode": "bridge",
  "requiresCompatibilities": ["EC2"],
  "containerDefinitions": [
    // FireLens log router container
    {
      "essential": true,
      // Image below is New Relic's Fluent Bit output plugin available on ECR
      "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit",
      "name": "log_router",
      "memoryReservation": 50,
      "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "enable-ecs-log-metadata": "true"
        }
      }
    },
    // Application container
    {
      "essential": true,
      "name": "webserver",
      // Application image goes here
      "image": "nginx",
      "cpu": 512,
      "memoryReservation": 1024,
      "portMappings": [
        {
          "containerPort": 5000
        }
      ],
      "environment": [
        {
          "name": "VERSION",
          "value": "V1"
        }
      ],
      // New Relic Fluent Bit output configuration
      "logConfiguration": {
        "logDriver": "awsfirelens",
        "options": {
          "Name": "newrelic"
        },
        "secretOptions": [
          {
            "name": "apiKey",
            "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:secret_name-AbCdEf"
          }
        ]
      }
    }
  ],
  // Use your own role here
  "executionRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "taskRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "cpu": "1 vcpu",
  "memory": "2 gb"
}

Encaminhar registro para conta New Relic EU

Para encaminhar o log do Firelens para uma conta New Relic EU, adicione uma propriedade adicional ao campo options do objeto logConfiguration em seu aplicativo contêiner.

"endpoint": "https://log-api.eu.newrelic.com/log/v1"

Ver dados log

Se tudo estiver configurado corretamente e seus dados estiverem sendo coletados, você deverá ver os dados de log em ambos os locais:

• Nossa interface de registros
• Nossas ferramentas para executar a consulta NRQL. Por exemplo, você pode executar uma consulta como esta:

SELECT * FROM Log

Se nenhum dado aparecer após você ativar nossos recursos de gerenciamento de logs, siga nossos procedimentos padrão de resolução de problemas de log.

Qual é o próximo?

Explore os dados de registro em sua plataforma com nossa interface de registros.

• Obtenha visibilidade mais profunda dos dados de desempenho do seu aplicativo e da sua plataforma encaminhando seu log com nossos recursos logs contextualizados .
• Configure o alerta.
• consulte seus dados e crie dashboard.

Desativar encaminhamento de logs

Para desativar os recursos de encaminhamento de logs, siga os procedimentos padrão na documentação AWS Firelens. Você não precisa fazer mais nada no New Relic.