Encaminhar registro do Google Cloud Platform

Comece criando um URL de ingestão para seu tópico Pub/Sub do GCP:

1. Vá para a interfaceIntegrations & Agents , clique em Logging e clique em Google Cloud Platform.

2. Selecione a conta New Relic para a qual deseja encaminhar o registro e clique em Continue.

3. Opcional: Configure metadados (pares de attribute-value) a serem incluídos em cada evento de log enviado para a URL de ingestão que você gerará na próxima etapa.

4. Clique em Generate URL.

5. Copie o ingest URL recém-gerado e guarde-o em um local seguro.

   Você usará seu novo URL de ingestão para configurar um tópico do Pub/Sub que envia log para New Relic.

Em seguida, você criará o tópico Pub/Sub do GCP que seu URL de ingestão usará.

1. Navegue até o console Pub/Sub do GCP.

2. Clique em

   Create Topic

   .

3. Insira um

   Topic ID

   significativo e configure outras opções conforme necessário.

4. Clique em

   Create Topic

   .

Depois de criar seu tópico do Pub/Sub, crie uma assinatura para ele.

1. Retorne ao console do Pub/Sub do GCP.

2. Clique no tópico do Pub/Sub que você criou anteriormente.

3. Role para baixo e selecione a guia Subscriptions , clique em Create Subscription e selecione Create a simple subscription.

   

4. Insira um Subscription ID. Em seguida, em Delivery Type, selecione Push.

5. No campo Endpoint URL , cole o URL de ingestão gerado anteriormente.

6. Defina as configurações restantes conforme necessário e clique em Create.

Para concluir a configuração, crie um coletor de roteamento para seu tópico Pub/Sub do GCP que encaminhará seu log para o New Relic.

1. Navegue até o console do roteador de log do GCP.

2. Clique em

   Create Sink

   .

3. Insira

   Sink name

   e

   Sink description

   e clique em

   Next

   .

4. Em

   Select sink service

   , selecione

   Cloud Pub/Sub topic

   e selecione o tópico do Pub/Sub que você criou anteriormente.

5. Configure os filtros restantes conforme necessário e clique em

   Create sink

   para concluir a configuração.

Execute o seguinte comando e siga o prompt para log no GCP e selecionar seu projeto de nuvem:

$
gcloud init

Usando o assistente, você selecionará um projeto de nuvem para usar e poderá, opcionalmente, selecionar uma região e zona de computador padrão para os recursos criados usando gcloud ou gsutil. Não presumiremos um projeto, local ou região padrão para os comandos a seguir.

1. Clone o repositório DataflowTemplates GitHub usando o seguinte comando:

   bash

   Copiar

   $
   git clone https://github.com/newrelic-forks/DataflowTemplates.git

2. Digite o diretório que você acabou de criar:

   bash

   Copiar

   $
   cd DataflowTemplates

   Em seguida, continue com a próxima seção para executar comandos adicionais.

Para definir a configuração necessária para compilar e executar o encaminhador do Dataflow, execute os comandos a seguir no diretório DataflowTemplates . Os únicos valores obrigatórios são:

• PROJECT_ID

• BUCKET_NAME

• NR_LICENSE_KEY

• INPUT_SUBSCRIPTION_NAME

  Você pode deixar os outros valores padrão como estão.

  # The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
  PROJECT_ID=<your_project_id>
  # Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
  BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
  # New Relic license key
  NR_LICENSE_KEY=<your_newrelic_license_key>
  # Input PubSub subscription to read logs from
  INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
  
  # Region where the created resources will be placed
  REGION=us-west1
  # Service account used to execute the Dataflow template
  SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
  # File name where the service account credentials will be stored
  SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
  # The name your Dataflow log forwarder job will have
  JOB_NAME=nr-log-forwarder

  Copiar

Crie um bucket no GCP para armazenar o modelo do Dataflow gerado executando o seguinte comando:

$
gsutil mb -p ${PROJECT_ID} -l ${REGION} gs://${BUCKET_NAME}

Execute os seguintes comandos:

1. Crie a conta de serviço:

   bash

   Copiar

   $
   gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

2. Conceda permissões à conta de serviço:

   bash

   Copiar

   $
   gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

3. Gere o arquivo de chave da conta de serviço:

   bash

   Copiar

   $
   gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

4. Faça referência ao arquivo de chave da sua conta de serviço usando a variável de ambiente GOOGLE_APPLICATION_CREDENTIALS , pois ela será usada pelos comandos subsequentes:

   bash

   Copiar

   $
   export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}

Execute o seguinte comando:

$
mvn compile exec:java \
>
    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>
    -Dexec.cleanupDaemonThreads=false \
>
    -Dexec.args=" \
>
        --project=${PROJECT_ID} \
>
        --region=${REGION} \
>
        --enableStreamingEngine \
>
        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>
        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>
        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
        --runner=DataflowRunner \
>
    "

Execute o seguinte comando para iniciar o envio do log usando um job do Dataflow que lê seu tópico do Pub/Sub:

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

Este comando requer apenas estes dois valores:

• A entrada PubSub assinatura usada para ler a mensagem do log

• A New Relic

  chave de licença

  usada para enviar seu registro

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

Aqui está uma referência das opções disponíveis que você pode usar para ajustar ainda mais a execução do job de direcionamento de logs do Dataflow.

projects/<project-id>/subscriptions/<subscription-name>

https://log-api.newrelic.com/log/v1

https://log-api.eu.newrelic.com/log/v1

projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}