Registro de transmisión mediante Kinesis Data Firehose

Si sus datos log ya están siendo monitoreados por el registro de Amazon CloudWatch, puede utilizar nuestra integración Kinesis Data Firehose para reenviar y enriquecer sus datos log en New Relic. Kinesis Data Firehose es un servicio que puede transmitir datos en tiempo real a una variedad de destinos, incluida nuestra plataforma.

Reenviar su registro de CloudWatch u otro registro compatible con una transmisión de Kinesis a New Relic le brindará administración de logscapacidades mejoradas para recopilar, procesar, explorar, consultar y alertar sobre sus datos log .

Crear el flujo de entrega para New Relic

Para reenviar su registro desde Kinesis Data Firehose a New Relic:

1. Asegúrate de tener un clave de licencia.
2. Siga los procedimientos para crear un flujo de entrega de Amazon Kinesis Data Firehose y seleccione New Relic como destino: en la Consola de administración de AWS, vaya a Amazon Kinesis.
3. Seleccione Kinesis Data Firehose y haga clic en Create delivery stream.
4. Ingrese un nombre para la transmisión y seleccione su fuente de datos.
5. Al seleccionar el destino, haga clic en Third-party partner y luego New Relic.
6. En HTTP endpoint URL, seleccione New Relic logs - US. Este es el extremo de EE. UU. (https://aws-api.newrelic.com/firehose/v1). Para utilizar el extremo UE, complete los pasos restantes de este procedimiento y luego vaya a la configuración de la cuenta UE.
7. Pega tu clave de licenciaen el campo API key .
8. Asegúrese de que Content encoding esté configurado en GZIP.
9. Establezca un buffer size de 1 MiB en Buffer hints/Buffer size. (Tenga en cuenta que la sección Buffer hints está plegada de forma predeterminada. Para obtener más información, consulte la sección de configuración del búfer.
10. Configure y revise las configuraciones de metadatos restantes.

Cualquier par de valor principal opcional que agregue en la Consola de administración AWS dará como resultado pares de atributo/valor que puede usar en New Relic. Kinesis Data Firehose incluye estos pares principales de valores en cada llamada HTTP. Estos parámetros de Kinesis Firehose pueden ayudarle a identificar y organizar sus destinos.

Configurar el tamaño y el intervalo del búfer

Al seleccionar nuestra integración Kinesis Firehose para iniciar sesión en AWS, el asistente oculta una pequeña sección llamada Buffer hints en la parte inferior de la pantalla. Esta sección contiene dos opciones de configuración muy importantes: Buffer size y Buffer interval.

Los valores predeterminados son 5 MiB para Buffer size y 60 segundos para Buffer interval. Esto significa que Firehose acumula registros hasta que contienen 5 MiB de datos o hasta que hayan pasado 60 segundos desde la última vez que se enviaron a New Relic.

¿Por qué recomendamos esto? New Relic acepta como máximo una carga de 1 MB (1.000.000 bytes) para una solicitud HTTP POST individual a su API de registro. Si el tamaño del registro acumulado excede 1 MB durante cualquier período de acumulación de 60 segundos, rechazaremos esos registros con un error HTTP 413 .

El flujo de entrega permite configurar, como mínimo, un tamaño de buffer de 1 MiB (1.048.576 bytes). Aunque este valor es ligeramente mayor que el 1 MB permitido por New Relic de registro de API, puedes usar la compresión GZIP para que la carga resultante sea menor que el límite de 1 MB.

Configure su transmisión para enviar registros a cuentas de la UE

Si tiene una cuenta New Relic en nuestro centro de datos de la UE:

1. Siga los procedimientos estándar para crear su flujo de entrega.

2. Una vez que se haya creado su transmisión, navegue hasta Amazon Kinesis Console y haga clic en Delivery streams.

3. Haga clic en el nombre de su flujo de entrega recién creado y seleccione la pestaña Configuration .

4. Junto a la sección Destination settings , haga clic en Edit.

5. Actualice el valor de HTTP endpoint URL a nuestro extremo Firehose para cuentas de la UE:

   https://aws-api.eu.newrelic.com/firehose/v1

   Copia

6. Haga clic en Save changes para asegurarse de que su transmisión esté actualizada.

Ver datos log

Si todo está configurado correctamente y se están recopilando sus datos, debería ver los datos log en ambos lugares:

• Nuestra UIusuario de registros
• Nuestras herramientas para ejecutar NRQL consulta. Por ejemplo, puedes ejecutar una consulta como esta:

SELECT * FROM Log

Si no aparecen datos después de habilitar nuestras capacidades de administración de registros, siga nuestros procedimientos estándar de resolución de problemas de registros.

¿Que sigue?

Explore los datos de registro en su plataforma con nuestra UIde registros.

• Obtenga una visibilidad más profunda de los datos de rendimiento de su aplicación y de su plataforma reenviando su registro con nuestras capacidades de logs en el contexto .
• Configurar alerta.
• Consulta tus datos y crea un panel.

Desactivar reenvío de registros

Para deshabilitar las capacidades de reenvío de registros, siga los procedimientos estándar en la documentación de Kinesis Data Firehose. No necesitas hacer nada más en New Relic.