AWS Lambda para enviar logs desde S3

Puede enviar sus depósitos de Amazon S3 a New Relic utilizando nuestra función Lambda AWS , NewRelic-log-ingestion-s3. Esto se puede implementar fácilmente desde el AWS Serverless Application Repository.

Reenviar registros desde su depósito de S3 a New Relic le brindará administración de logscapacidades mejoradas para recopilar, procesar, explorar, consultar y alertar sobre sus datos log .

Instalar la función Lambda

Para instalar la función Lambda para reenviar su registro S3 a New Relic:

1. Asegúrate de tener un

   clave de licencia

   .

2. Abra el AWS Serverless Application Repository en su browser.

3. Asegúrese de que Lambda esté instalado en la misma región que el depósito S3.

   

4. Busque newrelic y marque

   Show apps that create custom IAM roles or resource policies

   para encontrar NewRelic-log-ingestion-s3.

5. Haga clic en los detalles NewRelic-log-ingestion-s3 y haga clic en

   Deploy

   .

6. Desplázate hasta

   Application settings

   e ingresa tu New Relic

   clave de licencia

   .

7. Aproveche las capacidades de análisis de registros de New Relic especificando logtype como variable de entorno para la función Lambda. Para obtener más información, consulte Conjuntos de reglas de análisis integrados.

8. Confirme que la aplicación crea roles de IAM personalizados y luego haga clic en

   Deploy.

9. Una vez que la función esté implementada, cree un disparador Lambda.

Instalación manual utilizando framework Serverless

Puede instalar y configurar Lambda manualmente desde la terminal utilizando el Serverless framework. Si no utiliza Linux, primero instale Docker y manténgalo funcionando.

$
# Clone the repository
$
git clone https://github.com/newrelic/aws_s3_log_ingestion_lambda.git
$
# Install serverless package and the repo dependencies
$
npm install -g serverless
$
npm install
$
# Set the New Relic License Key env variable
$
export LICENSE_KEY=YOUR_NEWRELIC_LICENSE_KEY
$
# Set the logtype (optional)
$
export LOG_TYPE=YOUR_LOGTYPE
$
# Set the S3 bucket name
$
export S3_BUCKET_NAME=YOUR_S3_BUCKET_NAME
$
# The S3 subdirectory (optional)
$
export S3_PREFIX=YOUR_S3_SUBDIRECTORY
$
# Choose a name for your new Serverless Framework service
$
export SERVICE_NAME=YOUR_SERVICE_NAME
$
# Install the serverless-python-requirements plugin
$
serverless plugin install -n serverless-python-requirements
$
# Package the application files and dependencies into a deployment-ready file for deployment
$
serverless package
$
# Deploy the function, specifying the same region as your S3 bucket listed above
$
serverless deploy --region YOUR_AWS_REGION

Cree un disparador Lambda en AWS

Para que su registro se transmita a New Relic, adjunte un activador a Lambda:

1. En el menú del lado izquierdo, haga clic en

   Functions

   .

2. Busque y seleccione la función NewRelic-s3-log-ingestion creada anteriormente.

3. En

   Designer

   , haga clic en

   Add Triggers

   y seleccione

   S3

   en el menú desplegable.

4. Seleccione el depósito de S3 que contiene el log que desea enviar a New Relic.

5. Opcionalmente configure un prefijo y un sufijo. Esto es útil si su registro está en un subdirectorio.

6. Marque la casilla de verificación

   Enable trigger

   y luego

   Add

   el activador.

Para probar la función Lambda, cargue un nuevo archivo de registro en el depósito S3 que configuró en la configuración de la función y luego vea los datos de su log .

Limitaciones

• El tamaño máximo de archivo de registro admitido es 35 MB sin comprimir.
• El tamaño máximo de línea log individual admitido es 0,25 MB.
• No se admiten archivos de registro cifrados.

Ver datos log

Si todo está configurado correctamente y se están recopilando sus datos, debería ver los datos log en ambos lugares:

• Nuestra UI de logs
• Nuestras herramientas para ejecutar NRQL consulta.

Por ejemplo, puedes ejecutar una consulta como esta:

SELECT * FROM Log

Resolución de problemas

Si tiene problemas al configurar su reenviador de logs, pruebe estos consejos de resolución de problemas.

An error occurred when creating the trigger: Configurations overlap. Configurations on the same bucket cannot share a common event type.

Error: docker: Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

¿Que sigue?

Explore los datos de registro en su plataforma.

• Obtenga una visibilidad más profunda de los datos de rendimiento de su aplicación y de su plataforma reenviando su log con nuestras capacidades de logs en el contexto .
• Configurar alerta.
• Consulta tus datos y crea un panel.

Desactivar reenvío de logs

Para deshabilitar las capacidades de reenvío de registros, siga los procedimientos estándar en la documentación de Amazon S3. No necesitas hacer nada más en New Relic.