AWS Lambda para envio de log do S3

Você pode enviar seus buckets do Amazon S3 para New Relic usando nossa função do Lambda AWS , NewRelic-log-ingestion-s3. Isso pode ser facilmente implantado no AWS Serverless Application Repository.

O encaminhamento de registros do bucket do S3 para New Relic proporcionará recursos gerenciamento de logsmelhorados para coletar, processar, explorar, consultar e alertar sobre seus dados log .

Instale a função do Lambda

Para instalar a função do Lambda para encaminhar seu log S3 para New Relic:

1. Certifique-se de ter um

   chave de licença

   .

2. Abra o AWS Serverless Application Repository em seu Browser.

3. Certifique-se de que o Lambda esteja instalado na mesma região que o bucket S3.

   

4. Procure por newrelic e marque

   Show apps that create custom IAM roles or resource policies

   para encontrar NewRelic-log-ingestion-s3.

5. Clique nos detalhes NewRelic-log-ingestion-s3 e clique em

   Deploy

   .

6. Role até

   Application settings

   e insira sua New Relic

   chave de licença

   .

7. Aproveite os recursos de análise de log do New Relic especificando logtype como uma variável de ambiente para a função do Lambda. Para obter mais informações, consulte Conjuntos de regras de análise integrados.

8. Confirme se o aplicativo cria funções personalizadas do IAM e clique em

   Deploy.

9. Uma vez implantada a função, crie um trigger Lambda.

Instalação manual usando framework Serverless

Você pode instalar e configurar manualmente o Lambda a partir do terminal usando a Serverless framework. Se você não estiver no Linux, instale primeiro o Docker e mantenha-o funcionando.

$
# Clone the repository
$
git clone https://github.com/newrelic/aws_s3_log_ingestion_lambda.git
$
# Install serverless package and the repo dependencies
$
npm install -g serverless
$
npm install
$
# Set the New Relic License Key env variable
$
export LICENSE_KEY=YOUR_NEWRELIC_LICENSE_KEY
$
# Set the logtype (optional)
$
export LOG_TYPE=YOUR_LOGTYPE
$
# Set the S3 bucket name
$
export S3_BUCKET_NAME=YOUR_S3_BUCKET_NAME
$
# The S3 subdirectory (optional)
$
export S3_PREFIX=YOUR_S3_SUBDIRECTORY
$
# Choose a name for your new Serverless Framework service
$
export SERVICE_NAME=YOUR_SERVICE_NAME
$
# Install the serverless-python-requirements plugin
$
serverless plugin install -n serverless-python-requirements
$
# Package the application files and dependencies into a deployment-ready file for deployment
$
serverless package
$
# Deploy the function, specifying the same region as your S3 bucket listed above
$
serverless deploy --region YOUR_AWS_REGION

Crie um gatilho Lambda na AWS

Para fazer o streaming do seu log para o New Relic, anexe um gatilho ao Lambda:

1. No menu do lado esquerdo, clique em

   Functions

   .

2. Encontre e selecione a função NewRelic-s3-log-ingestion criada anteriormente.

3. Em

   Designer

   , clique em

   Add Triggers

   e selecione

   S3

   no dropdown.

4. Selecione o bucket S3 que contém o log que você deseja enviar para o New Relic.

5. Opcionalmente, configure um prefixo e um sufixo. Isto é útil se o seu log estiver em um subdiretório.

6. Marque a caixa de seleção

   Enable trigger

   e depois

   Add

   o acionador.

Para testar a função do Lambda, faça upload de um novo arquivo de log para o bucket S3 que você configurou nas configurações da função e depois visualize seus dados log .

Limitações

• O tamanho máximo do arquivo de log suportado é 35 MB descompactado.
• O tamanho máximo suportado da linha de log individual é 0,25 MB.
• Arquivos de log criptografados não são suportados.

Ver dados log

Se tudo estiver configurado corretamente e seus dados estiverem sendo coletados, você deverá ver os dados de log em ambos os locais:

• Nossa interface de registros
• Nossas ferramentas para executar a consultaNRQL .

Por exemplo, você pode executar uma consulta como esta:

SELECT * FROM Log

Resolução de problemas

Se você encontrar problemas ao configurar seu direcionador de logs, tente estas dicas de resolução de problemas.

An error occurred when creating the trigger: Configurations overlap. Configurations on the same bucket cannot share a common event type.

Error: docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

Qual é o próximo?

Explore os dados de registro em sua plataforma.

• Obtenha visibilidade mais profunda dos dados de desempenho do seu aplicativo e da sua plataforma encaminhando seu log com nossos recursos logs contextualizados .
• Configure o alerta.
• consulte seus dados e crie dashboard.

Desativar encaminhamento de logs

Para desabilitar os recursos de encaminhamento de logs, siga os procedimentos padrão na documentação do Amazon S3. Você não precisa fazer mais nada no New Relic.