Registro de reenvío desde Google Cloud Platform

Admitimos dos métodos diferentes para reenviar su registro desde un tema Pub/Sub Google Cloud Platform a New Relic.

Seleccione una opción

Lo siguiente puede ayudarle a decidir qué opción es mejor para las necesidades de su negocio.

Opciones de reenvío de registros de GCP	Consideraciones
API sin encabezado	Es más adecuado para volúmenes log bajos, ya que realiza una llamada API para cada log que envía. No genera ningún costo adicional a tu suscripción a GCP. Si su volumen log aumenta, esta solución podría alcanzar los límites de cuota de su cuenta New Relic .
Trabajo de flujo de datos	Es más adecuado para volúmenes log más grandes, ya que agrupa log en lotes antes de enviarlos a New Relic. Reduce la cantidad de llamadas API y le permite reducir el uso de su cuota. Puede generar costos adicionales en tu suscripción a GCP, debido a la ejecución de un trabajo de Dataflow en tus instalaciones.

Utilice API sin encabezado

Para enviar su registro de GCP a New Relic utilizando nuestra API sin encabezado:

Comience creando una URL de ingesta para su tema de GCP Pub/Sub:

Vaya a la UIAdd data , haga clic en Logging y haga clic en Google Cloud Platform.
Seleccione la cuenta New Relic a la que desea reenviar el registro y haga clic en Continue.
Opcional: configure metadatos (pares attribute-value) para que se incluyan en cada registro de eventos enviado a la URL de ingesta que generará en el siguiente paso.
Haga clic en Generate URL.
Copie su ingest URL recién generado y guárdelo en un lugar seguro.
Utilizará su nueva URL de ingesta para configurar un tema de Pub/Sub que envíe el registro a New Relic.

Una vez que hayas creado tu tema de Pub/Sub, crea una suscripción para él.

Regrese a la consola de GCP Pub/Sub.
Haga clic en el tema de Pub/Sub que creó anteriormente.
Desplácese hacia abajo y seleccione la pestaña Subscriptions , luego haga clic en Create Subscription y seleccione Create a simple subscription.
Introduzca un Subscription ID. Luego, en Delivery Type, seleccione Push.
En el campo Endpoint URL , pegue la URL de ingesta que generó anteriormente.
Configure las opciones restantes según sea necesario y haga clic en Create.

Para finalizar la configuración, cree un receptor de enrutamiento para su tema de GCP Pub/Sub que reenviará su registro a New Relic.

Navegue hasta la consola del enrutador del registro de GCP.
Haga clic en
Create Sink
.
Introduzca un
Sink name
y
Sink description
, luego haga clic en
Next
.
En
Select sink service
, seleccione
Cloud Pub/Sub topic
y seleccione el tema de Pub/Sub que creó anteriormente.
Configure los filtros restantes según sea necesario y luego haga clic en
Create sink
para completar la configuración.

Usar trabajo de flujo de datos

Para enviar su registro de GCP a New Relic mediante un trabajo de Dataflow, utilizará nuestra plantilla de Dataflow. Antes de comenzar, asegúrese de tener las siguientes herramientas en su computadora local:

Una terminal Unix para Linux o macOS
Git
JavaJDK 8
Apache Maven 3.2 o superior. Hemos visto versiones anteriores fallar durante el proceso de compilación.
El SDKGoogle Cloud , que incluye herramientas de línea de comando gcloud y gsutil

Ejecute el siguiente comando y siga el símbolo para log en GCP y seleccionar su proyecto en la nube:

gcloud init

Con el asistente, seleccionará un proyecto en la nube para usar y, opcionalmente, podrá seleccionar una región y zona de cálculo predeterminadas para los recursos que cree usando gcloud o gsutil. No asumiremos un proyecto, ubicación o región predeterminados para los siguientes comandos.

Clona el repositorio GitHub de DataflowTemplates usando el siguiente comando:
```
git clone https://github.com/newrelic-forks/DataflowTemplates.git
```
Ingrese al directorio que acaba de crear:
```
cd DataflowTemplates
```
Luego continúe con la siguiente sección para ejecutar comandos adicionales.

Para establecer la configuración requerida para compilar y ejecutar el reenviador de Dataflow, ejecute los siguientes comandos en su directorio DataflowTemplates . Los únicos valores requeridos son:

PROJECT_ID
BUCKET_NAME
NR_LICENSE_KEY
INPUT_SUBSCRIPTION_NAME
Puede dejar los demás valores predeterminados como están.
bash
```
$# The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
$PROJECT_ID=<your_project_id>
$# Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
$BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
$# New Relic license key
$NR_LICENSE_KEY=<your_newrelic_license_key>
$# Input PubSub subscription to read logs from
$INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
$
$# Region where the created resources will be placed
$REGION=us-west1
$# Service account used to execute the Dataflow template
$SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
$# File name where the service account credentials will be stored
$SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
$# The name your Dataflow log forwarder job will have
$JOB_NAME=nr-log-forwarder
```

Ejecute los siguientes comandos:

Cree la cuenta de servicio:

bash

$gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

Otorgar permisos a la cuenta de servicio:

bash

$gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

Genere el archivo de clave de cuenta de servicio:

bash

$gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Haga referencia al archivo de clave de su cuenta de servicio utilizando la variable de entorno GOOGLE_APPLICATION_CREDENTIALS , ya que la utilizarán los comandos posteriores:
bash
```
$export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}
```

Ejecute el siguiente comando:

bash

$mvn compile exec:java \
>    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>    -Dexec.cleanupDaemonThreads=false \
>    -Dexec.args=" \
>        --project=${PROJECT_ID} \
>        --region=${REGION} \
>        --enableStreamingEngine \
>        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>        --runner=DataflowRunner \
>    "

Ejecute el siguiente comando para comenzar a enviar el registro usando un trabajo de Dataflow que lee desde su tema de Pub/Sub:

bash

$gcloud dataflow jobs run ${JOB_NAME} \
>    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>    --region=${REGION} \
>    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

Este comando solo requiere estos dos valores:

La entrada PubSub suscripción utilizada para leer el mensaje de registro
La New Relic
usada para enviar tu registro

Las cuentas europeas también deben agregar el parámetro logsApiUrl con https://log-api.eu.newrelic.com/log/v1 como valor.

bash

$gcloud dataflow jobs run ${JOB_NAME} \
>    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>    --region=${REGION} \
>    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

Sugerencia

Para otros valores, el comando utiliza ajustes de configuración predeterminados que puede personalizar aún más según sea necesario.

A continuación se incluye una referencia de las opciones disponibles que puede utilizar para optimizar aún más la ejecución de su trabajo de reenviador de registros de Dataflow.

Parámetro de configuración	Descripción
`licenseKey` Required.	New Relic .
`inputSubscription` Required.	La suscripción de Cloud Pub/Sub utilizada para consumir el registro. Utilice este formato: `projects/<project-id>/subscriptions/<subscription-name>`
`logsApiUrl`	New RelicURL de para la log API. Esto se enruta desde la VPC donde se ejecuta la pipeline de Dataflow. Por defecto: `https://log-api.newrelic.com/log/v1` Región de Europa: `https://log-api.eu.newrelic.com/log/v1`
`batchCount`	Número máximo de log para agregar en un lote antes de enviarlos a New Relic en una única solicitud HTTP POST. Por defecto: `100`
`flushDelay`	Número de segundos para esperar un registro adicional (hasta `batchCount`) desde la recepción del último log en un lote no completo, antes de enviarlos a New Relic. Por defecto: `2`
`parallelism`	Número máximo de solicitudes paralelas. Por defecto: `1`
`disableCertificateValidation`	Deshabilite la validación del certificado SSL. Por defecto: `false`
`useCompression`	Comprime (en GZIP) la carga enviada a New Relic de registro de API. Por defecto: `true`
`tokenKMSEncryptionKey`	Clave de cifrado KMS para el token. Utilice este formato: `projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}` Por defecto: `null`

¿Te ha ayudado este documento con la instalación?

¿Que sigue?

Explore los datos de registro en su plataforma con nuestra UIde registros.

Obtenga una visibilidad más profunda de los datos de rendimiento de su aplicación y de su plataforma reenviando su registro con nuestras capacidades de logs en el contexto .
Configurar alerta.
Consulta tus datos y crea un panel.

Desactivar reenvío de registros

Para desactivar las capacidades de reenvío de registros, siga los procedimientos estándar en la documentación Google Cloud Platform . No necesitas hacer nada más en New Relic.

Te ofrecemos esta traducción automática para facilitar la lectura.

Registro de reenvío desde Google Cloud Platform

Seleccione una opción

Utilice API sin encabezado

1. Genere una URL de ingesta de GCP Pub/Sub.

2. Cree un tema de publicación/subscripción de GCP.

3. Prepare el tema de publicación/subscripción de GCP para reenviar el registro a New Relic.

4. Cree un receptor de enrutamiento para reenviar el registro a New Relic.

Usar trabajo de flujo de datos

2. Clonar el repositorio GitHub de DataflowTemplates.

3. Compile y ejecute el reenviador de flujo de datos.

4. Cree un depósito de GCP para la plantilla de flujo de datos.

5. Cree una cuenta de servicio.

6. Compile y publique la plantilla PubsubToNewRelic.

7. Ejecute la plantilla como un trabajo de Dataflow.

Cuentas de la región europea

Sugerencia

8. Opcional: ajuste su trabajo de reenviador de registros de Dataflow.

¿Te ha ayudado este documento con la instalación?

¿Que sigue?

Desactivar reenvío de registros

Te ofrecemos esta traducción automática para facilitar la lectura.

Registro de reenvío desde Google Cloud Platform

Seleccione una opción .css-21sua1{background:none;border:none;width:0;padding:0;}

Utilice API sin encabezado

2. Cree un tema de publicación/subscripción de GCP.

3. Prepare el tema de publicación/subscripción de GCP para reenviar el registro a New Relic.

4. Cree un receptor de enrutamiento para reenviar el registro a New Relic.

Usar trabajo de flujo de datos

1. log en su cuenta Google Cloud Platform .

2. Clonar el repositorio GitHub de DataflowTemplates.

3. Compile y ejecute el reenviador de flujo de datos.

4. Cree un depósito de GCP para la plantilla de flujo de datos.

5. Cree una cuenta de servicio.

6. Compile y publique la plantilla PubsubToNewRelic.

7. Ejecute la plantilla como un trabajo de Dataflow.

8. Opcional: ajuste su trabajo de reenviador de registros de Dataflow.

¿Te ha ayudado este documento con la instalación?

¿Que sigue?

Desactivar reenvío de registros

Seleccione una opción