Google Cloud Platformからのログ転送

まず、GCP Pub/Sub トピックの取り込み URL を作成します。

1. Add data UIに移動し、 Loggingをクリックして、 Google Cloud Platformをクリックします。

2. ログを転送する New Relic アカウントを選択し、 Continueをクリックします。

3. オプションです。次のステップで生成されるインジェストURLに送信されるすべてのログイベントに含まれるメタデータ（属性と値のペア）を設定します。

4. Generate URL をクリックします。

5. 新しく生成された インジェストURL をコピーして、安全な場所に保管してください。

   新しいインジェストURLを使って、New Relicにログを送信するPub/Subトピックを設定します。

次に、インジェストURLが使用するGCP Pub/Subトピックを作成します。

1. Navigate to GCP Pub/Sub Console.
2. トピックの作成 をクリックします。
3. 意味のある トピックID を入力し、必要に応じてその他のオプションを設定します。
4. トピックの作成 をクリックします。

Pub/Subトピックを作成したら、そのトピックのサブスクリプションを作成します。

1. GCP Pub/Sub Consoleに戻る.

2. 以前作成した Pub/Sub トピック をクリックします。

3. スクロールダウンして Subscriptions タブを選択し、 Create Subscription をクリックし、 Create a simple subscription を選択します。

   

4. Subscription ID を入力します。次に、 Delivery Type で、 Push を選択します。

5. Endpoint URL フィールドに、先に生成した ingest URL を貼り付けます。

6. 必要に応じて残りの設定を行い、「 Create 」をクリックします。

セットアップを終えるために、GCPのPub/Subトピックに、ログをNew Relicに転送するためのルーティングシンクを作成します。

1. Navigate to GCP Logs Router Console.
2. Create Sink をクリックします。
3. シンクの名前 と シンクの説明 を入力し、 Next をクリックします。
4. Select sink service の下で、 Cloud Pub/Sub topic を選択し、以前作成した Pub/Sub topic を選択します。
5. 必要に応じて残りのフィルターを設定し、 Create sink をクリックして設定を完了します。

以下のコマンドを実行し、画面の指示に従ってGCPにログインし、クラウドプロジェクトを選択します。

gcloud init

ウィザードを使用して、使用するクラウドプロジェクトを選択し、オプションで、 gcloudまたはgsutilを使用して作成するリソースのデフォルトの計算領域とゾーンを選択できます。以下のコマンドでは、デフォルトのプロジェクト、場所、または地域を想定していません。

1. 以下のコマンドでDataflowTemplatesのGitHubリポジトリをクローンします。

   git clone https://github.com/newrelic-forks/DataflowTemplates.git

   コピー

2. 先ほど作成したディレクトリを入力します。

   cd DataflowTemplates

   コピー

   その後、次のセクションに進み、追加のコマンドを実行します。

Dataflowフォワーダーをコンパイルして実行するために必要な構成を設定するには、 DataflowTemplatesディレクトリで次のコマンドを実行します。必要な値は次のとおりです。

• PROJECT_ID

• BUCKET_NAME

• NR_LICENSE_KEY

• INPUT_SUBSCRIPTION_NAME

  その他のデフォルト値はそのままで構いません。

  bash

  コピー

  $
  # The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
  $
  PROJECT_ID=<your_project_id>
  $
  # Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
  $
  BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
  $
  # New Relic license key
  $
  NR_LICENSE_KEY=<your_newrelic_license_key>
  $
  # Input PubSub subscription to read logs from
  $
  INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
  $
  
  $
  # Region where the created resources will be placed
  $
  REGION=us-west1
  $
  # Service account used to execute the Dataflow template
  $
  SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
  $
  # File name where the service account credentials will be stored
  $
  SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
  $
  # The name your Dataflow log forwarder job will have
  $
  JOB_NAME=nr-log-forwarder

以下のコマンドを実行して、生成されたDataflowテンプレートを格納するバケットをGCPに作成します。

$
gsutil mb -p ${PROJECT_ID} -l ${REGION} gs://${BUCKET_NAME}

以下のコマンドを実行します。

1. サービスアカウントを作成します。

   bash

   コピー

   $
   gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

2. サービスアカウントに権限を付与します。

   bash

   コピー

   $
   gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

3. サービスアカウントキーファイルの生成

   bash

   コピー

   $
   gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

4. GOOGLE_APPLICATION_CREDENTIALS環境変数を使用して、サービスアカウントキーファイルを参照します。これは、後続のコマンドで使用されるためです。

   bash

   コピー

   $
   export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}

次のコマンドを実行します。

$
mvn compile exec:java \
>
    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>
    -Dexec.cleanupDaemonThreads=false \
>
    -Dexec.args=" \
>
        --project=${PROJECT_ID} \
>
        --region=${REGION} \
>
        --enableStreamingEngine \
>
        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>
        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>
        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
        --runner=DataflowRunner \
>
    "

次のコマンドを実行すると、Pub/Subトピックから読み取るDataflowジョブを使用してログの出荷が開始されます。

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

このコマンドでは、この2つの値だけが必要です。

• ログメッセージの読み取りに使用される入力PubSubサブスクリプション

• ニューレリック

  ライセンスキー

  ログの送信に使用

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

ここでは、Dataflowログフォワーダージョブの実行をさらに調整するために使用できるオプションのリファレンスを示します。

projects/<project-id>/subscriptions/<subscription-name>

https://log-api.newrelic.com/log/v1

https://log-api.eu.newrelic.com/log/v1

projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}