Google Cloud Platform에서 로그 전달

GCP Pub/Sub 주제에 대한 수집 URL을 생성하여 시작합니다.

1. 데이터 추가 UI 로 이동하여 로깅 을 클릭하고 Google Cloud Platform 을 클릭합니다.

2. 로그를 전달할 New Relic 계정을 선택하고 계속 을 클릭합니다.

3. 선택 사항: 다음 단계에서 생성할 수집 URL로 전송되는 모든 로그 이벤트에 포함할 메타데이터(속성-값 쌍)를 구성합니다.

4. URL 생성 을 클릭합니다.

5. 새로 생성된 수집 URL 을 복사하여 안전한 장소에 보관하십시오.

   새 수집 URL을 사용하여 New Relic에 로그를 보내는 Pub/Sub 주제를 구성합니다.

다음으로 수집 URL이 사용할 GCP Pub/Sub 주제를 생성합니다.

1. GCP Pub/Sub 콘솔 로 이동합니다.
2. 주제 만들기 를 클릭합니다.
3. 의미 있는 주제 ID 를 입력한 다음 필요에 따라 다른 옵션을 구성합니다.
4. 주제 만들기 를 클릭합니다.

Pub/Sub 주제를 생성했으면 해당 주제에 대한 구독을 생성합니다.

1. GCP Pub/Sub 콘솔 로 돌아갑니다.

2. 이전에 만든 Pub/Sub 주제 를 클릭합니다.

3. 아래로 스크롤하여 구독 탭을 선택한 다음 구독 만들기 를 클릭 하고 간단한 구독 만들기 를 선택합니다.

   

4. 구독 ID 를 입력합니다. 그런 다음 배달 유형 에서 푸시 를 선택합니다.

5. 엔드포인트 URL 필드에 이전에 생성한 수집 URL 을 붙여넣습니다.

6. 필요에 따라 나머지 설정을 구성하고 만들기 를 클릭합니다.

설정을 완료하려면 로그를 New Relic으로 전달할 GCP Pub/Sub 주제에 대한 라우팅 싱크를 만드세요.

1. GCP 로그 라우터 콘솔 로 이동합니다.
2. 싱크 만들기 를 클릭합니다.
3. 싱크 이름 과 싱크 설명 을 입력하고 다음 을 클릭합니다.
4. 싱크 서비스 선택 에서 Cloud Pub/Sub 주제 를 선택하고 이전에 생성한 Pub/Sub 주제 를 선택합니다.
5. 필요에 따라 나머지 필터를 구성한 다음 싱크 만들기 를 클릭하여 설정을 완료합니다.

다음 명령어를 실행하고 프롬프트에 따라 GCP에 로그인하고 클라우드 프로젝트를 선택합니다.

gcloud init

마법사를 사용하여 사용할 클라우드 프로젝트를 선택하고 gcloud 또는 gsutil 을 사용하여 생성한 리소스에 대한 기본 컴퓨팅 지역 및 영역을 선택적으로 선택할 수 있습니다. 다음 명령에 대한 기본 프로젝트, 위치 또는 지역을 가정하지 않습니다.

1. 다음 명령어를 사용하여 DataflowTemplates GitHub 리포지토리를 복제합니다.

   git clone https://github.com/newrelic-forks/DataflowTemplates.git

   카피

2. 방금 만든 디렉터리를 입력합니다.

   cd DataflowTemplates

   카피

   그런 다음 다음 섹션을 계속하여 추가 명령을 실행합니다.

Dataflow 전달자를 컴파일하고 실행하는 데 필요한 구성을 설정하려면 DataflowTemplates 디렉터리에서 다음 명령어를 실행하세요. 유일한 필수 값은 다음과 같습니다.

• PROJECT_ID

• BUCKET_NAME

• NR_LICENSE_KEY

• INPUT_SUBSCRIPTION_NAME

  다른 기본값은 그대로 둘 수 있습니다.

  bash

  카피

  $
  # The Google Cloud Platform project id where your logs are and where the Dataflow log forwarder will run
  $
  PROJECT_ID=<your_project_id>
  $
  # Temporary bucket that will store intermediary files as a result of compiling the Dataflow template. Its name must be unique.
  $
  BUCKET_NAME=<a_nonexisting_gcs_bucket_name>
  $
  # New Relic license key
  $
  NR_LICENSE_KEY=<your_newrelic_license_key>
  $
  # Input PubSub subscription to read logs from
  $
  INPUT_SUBSCRIPTION_NAME=<your_pubsub_input_subscription_name>
  $
  
  $
  # Region where the created resources will be placed
  $
  REGION=us-west1
  $
  # Service account used to execute the Dataflow template
  $
  SERVICE_ACCOUNT_NAME=nr-dataflow-forwarder-sa
  $
  # File name where the service account credentials will be stored
  $
  SERVICE_ACCOUNT_KEY_FILENAME=service-account-key.json
  $
  # The name your Dataflow log forwarder job will have
  $
  JOB_NAME=nr-log-forwarder

다음 명령어를 실행하여 생성된 Dataflow 템플릿을 보관할 버킷을 GCP에 만듭니다.

$
gsutil mb -p ${PROJECT_ID} -l ${REGION} gs://${BUCKET_NAME}

다음 명령을 실행합니다.

1. 서비스 계정 만들기:

   bash

   카피

   $
   gcloud iam service-accounts create ${SERVICE_ACCOUNT_NAME}

2. 서비스 계정에 권한 부여:

   bash

   카피

   $
   gcloud projects add-iam-policy-binding ${PROJECT_ID} --member="serviceAccount:${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" --role="roles/owner"

3. 서비스 계정 키 파일 생성:

   bash

   카피

   $
   gcloud iam service-accounts keys create ${SERVICE_ACCOUNT_KEY_FILENAME} --iam-account=${SERVICE_ACCOUNT_NAME}@${PROJECT_ID}.iam.gserviceaccount.com

4. 후속 명령에서 사용되므로 GOOGLE_APPLICATION_CREDENTIALS 환경 변수를 사용하여 서비스 계정 키 파일을 참조하십시오.

   bash

   카피

   $
   export GOOGLE_APPLICATION_CREDENTIALS=${SERVICE_ACCOUNT_KEY_FILENAME}

다음 명령을 실행합니다.

$
mvn compile exec:java \
>
    -Dexec.mainClass=com.google.cloud.teleport.templates.PubsubToNewRelic \
>
    -Dexec.cleanupDaemonThreads=false \
>
    -Dexec.args=" \
>
        --project=${PROJECT_ID} \
>
        --region=${REGION} \
>
        --enableStreamingEngine \
>
        --stagingLocation=gs://${BUCKET_NAME}/staging/ \
>
        --gcpTempLocation=gs://${BUCKET_NAME}/temp/ \
>
        --templateLocation=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
        --runner=DataflowRunner \
>
    "

다음 명령어를 실행하여 Pub/Sub 주제에서 읽는 Dataflow 작업을 사용하여 로그 전달을 시작합니다.

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY}"

이 명령에는 다음 두 값만 필요합니다.

• 로그 메시지를 읽는 데 사용되는 입력 PubSub 구독

• New Relic

  라이선스 키

  로그를 보내는 데 사용

$
gcloud dataflow jobs run ${JOB_NAME} \
>
    --gcs-location=gs://${BUCKET_NAME}/template/PubsubToNewRelic \
>
    --region=${REGION} \
>
    --parameters "inputSubscription=projects/${PROJECT_ID}/subscriptions/${INPUT_SUBSCRIPTION_NAME},licenseKey=${NR_LICENSE_KEY},logsApiUrl=https://log-api.eu.newrelic.com/log/v1"

다음은 Dataflow 로그 전달자 작업의 실행을 추가로 조정하는 데 사용할 수 있는 사용 가능한 옵션에 대한 참조입니다.

projects/<project-id>/subscriptions/<subscription-name>

https://log-api.newrelic.com/log/v1

https://log-api.eu.newrelic.com/log/v1

projects/{gcp_project}/locations/{key_region}/keyRings/{key_ring}/cryptoKeys/{kms_key_name}