Log de streaming usando o Kinesis Data Firehose

Se seus dados log já estiverem sendo monitorados pelo log do Amazon CloudWatch, você poderá usar nossa integração do Kinesis Data Firehose para encaminhar e enriquecer seus dados log no New Relic. O Kinesis Data Firehose é um serviço que pode transmitir dados em tempo real para vários destinos, incluindo nossa plataforma.

Encaminhar seu log do CloudWatch ou outro log compatível com um stream do Kinesis para New Relic proporcionará recursos gerenciamento de logsmelhorados para coletar, processar, explorar, consultar e alertar sobre seus dados log .

Crie o fluxo de entrega para New Relic

Para encaminhar seu log do Kinesis Data Firehose para o New Relic:

1. Certifique-se de ter um chave de licença.

2. Siga os procedimentos para criar um fluxo de entrega do Amazon Kinesis Data Firehose e selecione New Relic como destino: No AWS Management Console, vá para Amazon Kinesis.

3. Selecione Kinesis Data Firehose e clique em Create delivery stream.

4. Insira um nome para o stream e selecione sua fonte de dados.

5. Ao selecionar o destino, clique em Third-party partner e depois New Relic.

6. Em HTTP endpoint URL, selecione New Relic logs - US. Este é o endpoint dos EUA (https://aws-api.newrelic.com/firehose/v1). Para usar o endpoint da UE, conclua as etapas restantes deste procedimento e vá para configuração da conta da UE.

7. Cole seu chave de licençano campo API key .

8. Certifique-se de que Content encoding esteja definido como GZIP.

9. Defina um buffer size de 1 MiB em Buffer hints/Buffer size. (Observe que a seção Buffer hints é dobrada por padrão. Para obter mais informações, consulte a seção de configurações de buffer.

10. Configure e revise as configurações restantes de metadados.

Quaisquer pares de valor principal opcionais que você adicionar no AWS Management Console resultarão em pares atributo/valor que você pode usar no New Relic. O Kinesis Data Firehose inclui esses pares de valores principais em cada chamada HTTP. Esses parâmetros do Kinesis Firehose podem ajudá-lo a identificar e organizar seus destinos.

Configurar tamanho e intervalo do buffer

Ao selecionar nossa integração Kinesis Firehose para login na AWS, o assistente oculta uma pequena seção chamada Buffer hints na parte inferior da tela. Esta seção contém duas opções de configuração muito importantes: Buffer size e Buffer interval.

Os valores padrão são 5 MiB para Buffer size e 60 segundos para Buffer interval. Isso significa que o Firehose acumula log até que contenham 5 MiB de dados ou até que 60 segundos tenham se passado desde a última vez que foram liberados para New Relic.

Por que recomendamos isso? New Relic aceita no máximo carga de 1 MB (1.000.000 bytes) para uma solicitação HTTP POST individual para sua API de log. Se o tamanho do log acumulado exceder 1 MB durante qualquer período de acumulação de 60 segundos, rejeitaremos esses logs com um erro HTTP 413 .

O fluxo de entrega permite configurar, no mínimo, um tamanho de buffer de 1 MiB (1.048.576 bytes). Mesmo que esse valor seja um pouco maior que o 1MB permitido pela New Relic de log da API, você pode usar a compactação GZIP para que a carga resultante fique menor que o limite de 1MB.

Configure seu stream para enviar log para contas da UE

Se você tiver uma conta New Relic em nosso data center da UE:

1. Siga os procedimentos padrão para criar seu fluxo de entrega.

2. Depois que seu stream for criado, navegue até o console do Amazon Kinesis e clique em Delivery streams.

3. Clique no nome do fluxo de entrega recém-criado e selecione a guia Configuration .

4. Ao lado da seção Destination settings , clique em Edit.

5. Atualize o valor de HTTP endpoint URL para nosso endpoint Firehose para contas da UE:

   https://aws-api.eu.newrelic.com/firehose/v1

   Copiar

6. Clique em Save changes para garantir que seu stream esteja atualizado.

Ver dados log

Se tudo estiver configurado corretamente e seus dados estiverem sendo coletados, você deverá ver os dados de log em ambos os locais:

• Nossa interface de registros
• Nossas ferramentas para executar a consulta NRQL. Por exemplo, você pode executar uma consulta como esta:

SELECT * FROM Log

Se nenhum dado aparecer após você ativar nossos recursos de gerenciamento de logs, siga nossos procedimentos padrão de resolução de problemas de log.

Qual é o próximo?

Explore os dados de registro em sua plataforma com nossa interface de registros.

• Obtenha visibilidade mais profunda dos dados de desempenho do seu aplicativo e da sua plataforma encaminhando seu log com nossos recursos logs contextualizados .
• Configure o alerta.
• consulte seus dados e crie dashboard.

Desativar encaminhamento de logs

Para desativar os recursos de encaminhamento de logs, siga os procedimentos padrão na documentação do Kinesis Data Firehose. Você não precisa fazer mais nada no New Relic.