Google Cloud Platformからのログ転送

まず、GCP Pub/Sub トピックの取り込み URL を作成します。

1. Integrations & Agents UIに移動し、 Loggingをクリックして、 Google Cloud Platformをクリックします。

2. ログを転送する New Relic アカウントを選択し、 Continueをクリックします。

3. オプションです。次のステップで生成されるインジェストURLに送信されるすべてのログイベントに含まれるメタデータ（属性と値のペア）を設定します。

4. Generate URLをクリックします。

5. 新しく生成されたingest URLをコピーして安全な場所に保管してください。

   新しいインジェストURLを使って、New Relicにログを送信するPub/Subトピックを設定します。

次に、インジェストURLが使用するGCP Pub/Subトピックを作成します。

1. Navigate to GCP Pub/Sub Console.

2. Create Topic

   をクリックします。

3. 意味のある

   Topic ID

   を入力し、必要に応じて他のオプションを構成します。

4. Create Topic

   をクリックします。

Pub/Subトピックを作成したら、そのトピックのサブスクリプションを作成します。

1. GCP Pub/Sub Consoleに戻る.

2. 以前作成した Pub/Sub トピック をクリックします。

3. 下にスクロールしてSubscriptionsタブを選択し、 Create SubscriptionをクリックしてCreate a simple subscriptionを選択します。

   

4. Subscription ID入力してください。 次に、 Delivery Typeの下でPushを選択します。

5. Endpoint URLフィールドに、以前に生成した取り込み URLを貼り付けます。

6. 必要に応じて残りの設定を構成し、 Createをクリックします。

セットアップを終えるために、GCPのPub/Subトピックに、ログをNew Relicに転送するためのルーティングシンクを作成します。

1. Navigate to GCP Logs Router Console.

2. Create Sink

   をクリックします。

3. Sink name

   と

   Sink description

   を入力し、

   Next

   をクリックします。

4. Select sink service

   の下で

   Cloud Pub/Sub topic

   を選択し、以前に作成したPub/Sub トピックを選択します。

5. 必要に応じて残りのフィルターを設定し、

   Create sink

   をクリックしてセットアップを完了します。

以下のコマンドを実行し、画面の指示に従ってGCPにログインし、クラウドプロジェクトを選択します。

$
gcloud init

ウィザードを使用して、使用するクラウドプロジェクトを選択し、オプションで、 gcloudまたはgsutilを使用して作成するリソースのデフォルトの計算領域とゾーンを選択できます。以下のコマンドでは、デフォルトのプロジェクト、場所、または地域を想定していません。

1. 以下のコマンドでDataflowTemplatesのGitHubリポジトリをクローンします。

   bash

   コピー

   $
   git clone https://github.com/newrelic-forks/DataflowTemplates.git

2. 先ほど作成したディレクトリを入力します。

   bash

   コピー

   $
   cd DataflowTemplates

   その後、次のセクションに進み、追加のコマンドを実行します。

Dataflowフォワーダーをコンパイルして実行するために必要な構成を設定するには、 DataflowTemplatesディレクトリで次のコマンドを実行します。必要な値は次のとおりです。

• PROJECT_ID

• BUCKET_NAME

• NR_LICENSE_KEY

• INPUT_SUBSCRIPTION_NAME

  その他のデフォルト値はそのままで構いません。

  # The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
  PROJECT_ID=<your_project_id>
  # Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
  BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
  # New Relic license key
  NR_LICENSE_KEY=<your_newrelic_license_key>
  # Input PubSub subscription to read logs from
  INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
  
  # Region where the created resources will be placed
  REGION=us-west1
  # Service account used to execute the Dataflow template
  SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
  # File name where the service account credentials will be stored
  SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
  # The name your Dataflow log forwarder job will have
  JOB_NAME=nr-log-forwarder

  コピー

以下のコマンドを実行して、生成されたDataflowテンプレートを格納するバケットをGCPに作成します。

$
gsutil mb -p ${PROJECT_ID} -l ${REGION} gs://${BUCKET_NAME}

以下のコマンドを実行します。

1. サービスアカウントを作成します。

   bash

   コピー

   $
   gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

2. サービスアカウントに権限を付与します。

   bash

   コピー

   $
   gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

3. サービスアカウントキーファイルの生成

   bash

   コピー

   $
   gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

4. GOOGLE_APPLICATION_CREDENTIALS環境変数を使用して、サービスアカウントキーファイルを参照します。これは、後続のコマンドで使用されるためです。

   bash

   コピー

   $
   export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}

次のコマンドを実行します。

$
mvn compile exec:java \
>
    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>
    -Dexec.cleanupDaemonThreads=false \
>
    -Dexec.args=" \
>
        --project=${PROJECT_ID} \
>
        --region=${REGION} \
>
        --enableStreamingEngine \
>
        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>
        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>
        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
        --runner=DataflowRunner \
>
    "

次のコマンドを実行すると、Pub/Subトピックから読み取るDataflowジョブを使用してログの出荷が開始されます。

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

このコマンドでは、この2つの値だけが必要です。

• ログメッセージの読み取りに使用される入力PubSubサブスクリプション

• ログの送信に使用された New Relic

  ライセンスキー

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

ここでは、Dataflowログフォワーダージョブの実行をさらに調整するために使用できるオプションのリファレンスを示します。

projects/<project-id>/subscriptions/<subscription-name>

https://log-api.newrelic.com/log/v1

https://log-api.eu.newrelic.com/log/v1

projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}