Registro de reenvío desde Google Cloud Platform

Comience creando una URL de ingesta para su tema de GCP Pub/Sub:

1. Vaya a la UIIntegrations & Agents , haga clic en Logging y haga clic en Google Cloud Platform.

2. Seleccione la cuenta New Relic a la que desea reenviar el registro y haga clic en Continue.

3. Opcional: configure metadatos (pares attribute-value) para que se incluyan en cada registro de eventos enviado a la URL de ingesta que generará en el siguiente paso.

4. Haga clic en Generate URL.

5. Copie su ingest URL recién generado y guárdelo en un lugar seguro.

   Utilizará su nueva URL de ingesta para configurar un tema de Pub/Sub que envíe el registro a New Relic.

A continuación, creará el tema de GCP Pub/Sub que utilizará su URL de ingesta.

1. Navegue hasta la consola GCP Pub/Sub.

2. Haga clic en

   Create Topic

   .

3. Ingrese un

   Topic ID

   significativo y luego configure otras opciones según sea necesario.

4. Haga clic en

   Create Topic

   .

Una vez que hayas creado tu tema de Pub/Sub, crea una suscripción para él.

1. Regrese a la consola de GCP Pub/Sub.

2. Haga clic en el tema de Pub/Sub que creó anteriormente.

3. Desplácese hacia abajo y seleccione la pestaña Subscriptions , luego haga clic en Create Subscription y seleccione Create a simple subscription.

   

4. Introduzca un Subscription ID. Luego, en Delivery Type, seleccione Push.

5. En el campo Endpoint URL , pegue la URL de ingesta que generó anteriormente.

6. Configure las opciones restantes según sea necesario y haga clic en Create.

Para finalizar la configuración, cree un receptor de enrutamiento para su tema de GCP Pub/Sub que reenviará su registro a New Relic.

1. Navegue hasta la consola del enrutador del registro de GCP.

2. Haga clic en

   Create Sink

   .

3. Introduzca un

   Sink name

   y

   Sink description

   , luego haga clic en

   Next

   .

4. En

   Select sink service

   , seleccione

   Cloud Pub/Sub topic

   y seleccione el tema de Pub/Sub que creó anteriormente.

5. Configure los filtros restantes según sea necesario y luego haga clic en

   Create sink

   para completar la configuración.

Ejecute el siguiente comando y siga el símbolo para log en GCP y seleccionar su proyecto en la nube:

$
gcloud init

Con el asistente, seleccionará un proyecto en la nube para usar y, opcionalmente, podrá seleccionar una región y zona de cálculo predeterminadas para los recursos que cree usando gcloud o gsutil. No asumiremos un proyecto, ubicación o región predeterminados para los siguientes comandos.

1. Clona el repositorio GitHub de DataflowTemplates usando el siguiente comando:

   bash

   Copia

   $
   git clone https://github.com/newrelic-forks/DataflowTemplates.git

2. Ingrese al directorio que acaba de crear:

   bash

   Copia

   $
   cd DataflowTemplates

   Luego continúe con la siguiente sección para ejecutar comandos adicionales.

Para establecer la configuración requerida para compilar y ejecutar el reenviador de Dataflow, ejecute los siguientes comandos en su directorio DataflowTemplates . Los únicos valores requeridos son:

• PROJECT_ID

• BUCKET_NAME

• NR_LICENSE_KEY

• INPUT_SUBSCRIPTION_NAME

  Puede dejar los demás valores predeterminados como están.

  # The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
  PROJECT_ID=<your_project_id>
  # Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
  BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
  # New Relic license key
  NR_LICENSE_KEY=<your_newrelic_license_key>
  # Input PubSub subscription to read logs from
  INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
  
  # Region where the created resources will be placed
  REGION=us-west1
  # Service account used to execute the Dataflow template
  SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
  # File name where the service account credentials will be stored
  SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
  # The name your Dataflow log forwarder job will have
  JOB_NAME=nr-log-forwarder

  Copia

Cree un depósito en GCP para contener la plantilla de flujo de datos generada ejecutando el siguiente comando:

$
gsutil mb -p ${PROJECT_ID} -l ${REGION} gs://${BUCKET_NAME}

Ejecute los siguientes comandos:

1. Cree la cuenta de servicio:

   bash

   Copia

   $
   gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

2. Otorgar permisos a la cuenta de servicio:

   bash

   Copia

   $
   gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

3. Genere el archivo de clave de cuenta de servicio:

   bash

   Copia

   $
   gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

4. Haga referencia al archivo de clave de su cuenta de servicio utilizando la variable de entorno GOOGLE_APPLICATION_CREDENTIALS , ya que la utilizarán los comandos posteriores:

   bash

   Copia

   $
   export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}

Ejecute el siguiente comando:

$
mvn compile exec:java \
>
    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>
    -Dexec.cleanupDaemonThreads=false \
>
    -Dexec.args=" \
>
        --project=${PROJECT_ID} \
>
        --region=${REGION} \
>
        --enableStreamingEngine \
>
        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>
        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>
        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
        --runner=DataflowRunner \
>
    "

Ejecute el siguiente comando para comenzar a enviar el registro usando un trabajo de Dataflow que lee desde su tema de Pub/Sub:

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

Este comando solo requiere estos dos valores:

• La entrada PubSub suscripción utilizada para leer el mensaje de registro

• La New Relic

  clave de licencia

  usada para enviar tu registro

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

A continuación se incluye una referencia de las opciones disponibles que puede utilizar para optimizar aún más la ejecución de su trabajo de reenviador de registros de Dataflow.

projects/<project-id>/subscriptions/<subscription-name>

https://log-api.newrelic.com/log/v1

https://log-api.eu.newrelic.com/log/v1

projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}