Encaminhar registro do Google Cloud Platform

Oferecemos suporte a dois métodos diferentes para encaminhar seu registro de um tópico Google Cloud Platform Pub/Sub para New Relic.

Selecione uma opção

O seguinte pode ajudá-lo a decidir qual opção é melhor para suas necessidades de negócios.

Opções de encaminhamento de logs do GCP	Considerações
API sem cabeçalho	Mais adequado para volumes de log baixos, pois executa uma chamada de API para cada registro de log enviado. Não acarreta nenhum custo extra para sua assinatura do GCP. Se o volume de log aumentar, esta solução poderá atingir os limites de cota da sua conta New Relic.
Trabalho de fluxo de dados	Mais adequado para volumes de log maiores, pois agrupa registros de log em lotes antes de enviá-los para o New Relic. Reduz o número de chamadas de API e permite reduzir o uso da sua cota. Pode haver custos extras na sua assinatura do GCP devido à execução de um job do Dataflow em suas instalações.

Use API sem cabeçalho

Para enviar seu log do GCP para New Relic usando nossa API sem cabeçalho:

Comece criando um URL de ingestão para seu tópico Pub/Sub do GCP:

Vá para a interfaceAdd data , clique em Logging e clique em Google Cloud Platform.
Selecione a conta New Relic para a qual deseja encaminhar o registro e clique em Continue.
Opcional: Configure metadados (pares de attribute-value) a serem incluídos em cada evento de log enviado para a URL de ingestão que você gerará na próxima etapa.
Clique em Generate URL.
Copie o ingest URL recém-gerado e guarde-o em um local seguro.
Você usará seu novo URL de ingestão para configurar um tópico do Pub/Sub que envia log para New Relic.

Depois de criar seu tópico do Pub/Sub, crie uma assinatura para ele.

Retorne ao console do Pub/Sub do GCP.
Clique no tópico do Pub/Sub que você criou anteriormente.
Role para baixo e selecione a guia Subscriptions , clique em Create Subscription e selecione Create a simple subscription.
Insira um Subscription ID. Em seguida, em Delivery Type, selecione Push.
No campo Endpoint URL , cole o URL de ingestão gerado anteriormente.
Defina as configurações restantes conforme necessário e clique em Create.

Para concluir a configuração, crie um coletor de roteamento para seu tópico Pub/Sub do GCP que encaminhará seu log para o New Relic.

Navegue até o console do roteador de log do GCP.
Clique em
Create Sink
.
Insira
Sink name
e
Sink description
e clique em
Next
.
Em
Select sink service
, selecione
Cloud Pub/Sub topic
e selecione o tópico do Pub/Sub que você criou anteriormente.
Configure os filtros restantes conforme necessário e clique em
Create sink
para concluir a configuração.

Usar o job do Dataflow

Para enviar seu log do GCP para o New Relic usando um job do Dataflow, você usará nosso modelo do Dataflow. Antes de começar, certifique-se de ter as seguintes ferramentas em seu computador local:

Um terminal Unix para Linux ou macOS
Git
JavaJDK8
Apache Maven 3.2 ou superior. Vimos versões anteriores falharem durante o processo de compilação.
O SDK do Google Cloud, que inclui ferramentas de linha de comando gcloud e gsutil

Execute o seguinte comando e siga o prompt para log no GCP e selecionar seu projeto de nuvem:

gcloud init

Usando o assistente, você selecionará um projeto de nuvem para usar e poderá, opcionalmente, selecionar uma região e zona de computador padrão para os recursos criados usando gcloud ou gsutil. Não presumiremos um projeto, local ou região padrão para os comandos a seguir.

Clone o repositório DataflowTemplates GitHub usando o seguinte comando:
```
git clone https://github.com/newrelic-forks/DataflowTemplates.git
```
Digite o diretório que você acabou de criar:
```
cd DataflowTemplates
```
Em seguida, continue com a próxima seção para executar comandos adicionais.

Para definir a configuração necessária para compilar e executar o encaminhador do Dataflow, execute os comandos a seguir no diretório DataflowTemplates . Os únicos valores obrigatórios são:

PROJECT_ID
BUCKET_NAME
NR_LICENSE_KEY
INPUT_SUBSCRIPTION_NAME
Você pode deixar os outros valores padrão como estão.
bash
```
$# The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
$PROJECT_ID=<your_project_id>
$# Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
$BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
$# New Relic license key
$NR_LICENSE_KEY=<your_newrelic_license_key>
$# Input PubSub subscription to read logs from
$INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
$
$# Region where the created resources will be placed
$REGION=us-west1
$# Service account used to execute the Dataflow template
$SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
$# File name where the service account credentials will be stored
$SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
$# The name your Dataflow log forwarder job will have
$JOB_NAME=nr-log-forwarder
```

Execute os seguintes comandos:

Crie a conta de serviço:

bash

$gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

Conceda permissões à conta de serviço:

bash

$gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

Gere o arquivo de chave da conta de serviço:

bash

$gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

Faça referência ao arquivo de chave da sua conta de serviço usando a variável de ambiente GOOGLE_APPLICATION_CREDENTIALS , pois ela será usada pelos comandos subsequentes:
bash
```
$export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}
```

Execute o seguinte comando:

bash

$mvn compile exec:java \
>    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>    -Dexec.cleanupDaemonThreads=false \
>    -Dexec.args=" \
>        --project=${PROJECT_ID} \
>        --region=${REGION} \
>        --enableStreamingEngine \
>        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>        --runner=DataflowRunner \
>    "

Execute o seguinte comando para iniciar o envio do log usando um job do Dataflow que lê seu tópico do Pub/Sub:

bash

$gcloud dataflow jobs run ${JOB_NAME} \
>    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>    --region=${REGION} \
>    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

Este comando requer apenas estes dois valores:

A entrada PubSub assinatura usada para ler a mensagem do log
A New Relic
usada para enviar seu registro

As contas europeias também devem adicionar o parâmetro logsApiUrl com https://log-api.eu.newrelic.com/log/v1 como valor.

bash

$gcloud dataflow jobs run ${JOB_NAME} \
>    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>    --region=${REGION} \
>    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

Dica

Para outros valores, o comando usa definições de configuração padrão que você pode personalizar ainda mais conforme necessário.

Aqui está uma referência das opções disponíveis que você pode usar para ajustar ainda mais a execução do job de direcionamento de logs do Dataflow.

Parâmetro de configuração	Descrição
`licenseKey` Required.	New Relic .
`inputSubscription` Required.	A assinatura do Cloud Pub/Sub usada para consumir o log. Use este formato: `projects/<project-id>/subscriptions/<subscription-name>`
`logsApiUrl`	New RelicURL da para a log API. Isso roteia a partir da VPC onde o pipeline do Dataflow é executado. Padrão: `https://log-api.newrelic.com/log/v1` Região da Europa: `https://log-api.eu.newrelic.com/log/v1`
`batchCount`	Número máximo de registros de log a serem agregados em um lote antes de enviá-los para a New Relic em uma única solicitação HTTP POST. Padrão: `100`
`flushDelay`	Número de segundos para aguardar por log adicional (até `batchCount`) desde o recebimento do último registro log em lote não completo, antes de liberá-los para o New Relic. Padrão: `2`
`parallelism`	Número máximo de solicitações paralelas. Padrão: `1`
`disableCertificateValidation`	Desative a validação do certificado SSL. Padrão: `false`
`useCompression`	Comprimir (em GZIP) a carga enviada para New Relic de log do API. Padrão: `true`
`tokenKMSEncryptionKey`	Chave de criptografia KMS para o token. Use este formato: `projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}` Padrão: `null`

Este documento ajudou você na instalação?

Qual é o próximo?

Explore os dados de registro em sua plataforma com nossa interface de registros.

Obtenha visibilidade mais profunda dos dados de desempenho do seu aplicativo e da sua plataforma encaminhando seu log com nossos recursos logs contextualizados .
Configure o alerta.
consulte seus dados e crie dashboard.

Desativar encaminhamento de logs

Para desativar os recursos de encaminhamento de logs, siga os procedimentos padrão na documentação Google Cloud Platform . Você não precisa fazer mais nada no New Relic.

Esta tradução de máquina é fornecida para sua comodidade.

Encaminhar registro do Google Cloud Platform

Selecione uma opção

Use API sem cabeçalho

1. Gere um URL de ingestão do GCP Pub/Sub.

2. Crie um tópico Pub/Sub do GCP.

3. Prepare o tópico Pub/Sub do GCP para encaminhar o log para New Relic.

4. Crie um coletor de roteamento para encaminhar o log para New Relic.

Usar o job do Dataflow

2. Clone o repositório DataflowTemplates GitHub.

3. Compile e execute o encaminhador do Dataflow.

4. Crie um bucket do GCP para o modelo do Dataflow.

5. Crie uma conta de serviço.

6. Compile e publique o modelo PubsubToNewRelic.

7. Execute o modelo como um job do Dataflow.

Contas da Região Europeia

Dica

8. Opcional: ajuste seu trabalho de direcionamento de logs do Dataflow.

Este documento ajudou você na instalação?

Qual é o próximo?

Desativar encaminhamento de logs

Esta tradução de máquina é fornecida para sua comodidade.

Encaminhar registro do Google Cloud Platform

Selecione uma opção .css-21sua1{background:none;border:none;width:0;padding:0;}

Use API sem cabeçalho

2. Crie um tópico Pub/Sub do GCP.

3. Prepare o tópico Pub/Sub do GCP para encaminhar o log para New Relic.

4. Crie um coletor de roteamento para encaminhar o log para New Relic.

Usar o job do Dataflow

1. log em sua conta Google Cloud Platform .

2. Clone o repositório DataflowTemplates GitHub.

3. Compile e execute o encaminhador do Dataflow.

4. Crie um bucket do GCP para o modelo do Dataflow.

5. Crie uma conta de serviço.

6. Compile e publique o modelo PubsubToNewRelic.

7. Execute o modelo como um job do Dataflow.

8. Opcional: ajuste seu trabalho de direcionamento de logs do Dataflow.

Este documento ajudou você na instalação?

Qual é o próximo?

Desativar encaminhamento de logs

Selecione uma opção