ログフォワーディングのためのAWS FireLensプラグイン

ログデータを既に AWS FireLens で監視している場合、弊社のFireLensインテグレーションを使用して、New Relicでログデータを転送し、リッチ化することができます。この統合は、弊社の Fluent Bit 出力プラグインをベースに構築されています。

FireLens ログを New Relic に転送すると、ログ データの収集、処理、探索、クエリ、アラートを行うための強化されたログ管理機能が提供されます。

基本的なプロセス

ログ管理機能を有効にするには

1. あなたが持っていることを確認してください：

   • A

     ライセンスキー

   • Amazon EC2 Container Service（ECS） クラスタ

2. FireLens log router container をサイドカーとして実行するように設定します。（サイドカーとは、サービスの中核となる責任の一部を、中核となるアプリケーションと一緒にデプロイされるコンテナ化されたモジュールに移す方法です）。

3. アプリケーションコンテナの設定.

4. トラフィックを生成して数分待ってから、アカウントのデータを確認してください。

FireLensのログ・ルーター・コンテナの設定

New Relic では、Fluent Bit イメージを使用して、FireLens ログルーターコンテナを設定します。このコンテナは、アプリケーション・プラグインからのすべてのログ・ルーティングを処理します。

FireLensからNew Relicにログを転送するために。

1. 既存のECSタスク定義に、Firelensログ・ルーターとして機能するサイドカー・コンテナを追加します。ECSのログ・ルーティングの設定については、 Amazon ECS documentation for custom log routing を参照してください。

2. 推奨されるイメージを、AWS リージョンの New Relic Fluent Bit 出力プラグインイメージに置き換えます。

3. このコンテナのmemoryReservation属性を設定します。

   AWSリージョン	完全なイメージ名
   ap-northeast-1	533243300146.dkr.ecr.ap-northeast-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-northeast-2	533243300146.dkr.ecr.ap-northeast-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   AP-NORTHE-3	533243300146.dkr.ecr.ap-northeast-3.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-south-1	533243300146.dkr.ecr.ap-south-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-southeast-1	533243300146.dkr.ecr.ap-southeast-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   ap-southeast-2	533243300146.dkr.ecr.ap-southeast-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   CA-CENTRAL-1	533243300146.dkr.ecr.ca-central-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   EU-CENTRAL-1	533243300146.dkr.ecr.eu-central-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   EU-NORTH-1	533243300146.dkr.ecr.eu-north-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   EU-WEST-1	533243300146.dkr.ecr.eu-west-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   EU-WEST-2	533243300146.dkr.ecr.eu-west-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   EU-WEST-3	533243300146.dkr.ecr.eu-west-3.amazonaws.com/newrelic/logging-firelens-fluentbit
   sa-east-1	533243300146.dkr.ecr.sa-east-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   US-EAST-1	533243300146.dkr.ecr.us-east-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   US-EAST-2	533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit
   US-WEST-1	533243300146.dkr.ecr.us-west-1.amazonaws.com/newrelic/logging-firelens-fluentbit
   US-WEST-2	533243300146.dkr.ecr.us-west-2.amazonaws.com/newrelic/logging-firelens-fluentbit

$
aws ecr describe-images --registry-id 533243300146 --repository-name newrelic/logging-firelens-fluentbit --filter '{"tagStatus": "TAGGED"}' --query 'reverse(sort_by(imageDetails, & imagePushedAt))[*].imageTags' --region us-east-1 --output text

以下の例では、バージョン 1.17.1 を固定し、タスク定義が常にそのイメージ バージョンでデプロイされるようにします。

{
  "essential": true,
  // Image below is New Relic's Fluent Bit output plugin available on ECR
  "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit:1.17.1",
  "name": "log_router",
  "firelensConfiguration": {
    "type": "fluentbit",
    "options": {
      "enable-ecs-log-metadata": "true"
    }
  }
}

アプリケーションコンテナの設定

AWS Secrets Manager（推奨）

タスク定義で New Relic ライセンスキーが公開されないようにするには、 AWS Secrets Managerサービスを使用することを強くお勧めします。

シークレットを追加するときは、 Plaintextタブを使用します。 シークレットを Secrets Manager に追加したら、 logConfigurationブロックを使用してシークレットを参照できます。 SECRET_NAMEを AWS シークレットの名前に置き換えます。 例えば：

"logConfiguration": {
  "logDriver":"awsfirelens",
  "options": {
    "Name": "newrelic"
  },
  "secretOptions": [{
    "name": "apiKey",
    "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:SECRET_NAME"
  }]
}

平文キーの設定

logConfigurationブロックを使用し、 INSERT_API_KEY New Relic ライセンスキーに置き換えます。 設定の詳細については、 GitHub の FireLens タスク定義を参照してください。

"logConfiguration": {
  "logDriver":"awsfirelens",
  "options": {
    "Name": "newrelic",
    "apiKey": "NEW_RELIC_LICENSE_KEY"
  }

構成例

{
  "family": "newrelic-firelens",
  "networkMode": "awsvpc",
  "requiresCompatibilities": ["FARGATE"],
  "containerDefinitions": [
    // FireLens log router container
    {
      "essential": true,
      // Image below is New Relic's Fluent Bit output plugin available on ECR
      "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit",
      "name": "log_router",
      "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "enable-ecs-log-metadata": "true"
        }
      }
    },
    // Application container
    {
      "essential": true,
      "name": "webserver",
      // Application image goes here
      "image": "nginx",
      "cpu": 512,
      "memoryReservation": 1024,
      "portMappings": [
        {
          "containerPort": 5000
        }
      ],
      "environment": [
        {
          "name": "VERSION",
          "value": "V1"
        }
      ],
      // New Relic Fluent Bit output configuration
      "logConfiguration": {
        "logDriver": "awsfirelens",
        "options": {
          "Name": "newrelic"
        },
        "secretOptions": [
          {
            "name": "apiKey",
            "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:secret_name-AbCdEf"
          }
        ]
      }
    }
  ],
  // Use your own role here
  "executionRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "taskRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "cpu": "1 vcpu",
  "memory": "2 gb"
}

{
  "family": "newrelic-firelens",
  "networkMode": "bridge",
  "requiresCompatibilities": ["EC2"],
  "containerDefinitions": [
    // FireLens log router container
    {
      "essential": true,
      // Image below is New Relic's Fluent Bit output plugin available on ECR
      "image": "533243300146.dkr.ecr.us-east-2.amazonaws.com/newrelic/logging-firelens-fluentbit",
      "name": "log_router",
      "memoryReservation": 50,
      "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "enable-ecs-log-metadata": "true"
        }
      }
    },
    // Application container
    {
      "essential": true,
      "name": "webserver",
      // Application image goes here
      "image": "nginx",
      "cpu": 512,
      "memoryReservation": 1024,
      "portMappings": [
        {
          "containerPort": 5000
        }
      ],
      "environment": [
        {
          "name": "VERSION",
          "value": "V1"
        }
      ],
      // New Relic Fluent Bit output configuration
      "logConfiguration": {
        "logDriver": "awsfirelens",
        "options": {
          "Name": "newrelic"
        },
        "secretOptions": [
          {
            "name": "apiKey",
            "valueFrom": "arn:aws:secretsmanager:region:aws_account_id:secret:secret_name-AbCdEf"
          }
        ]
      }
    }
  ],
  // Use your own role here
  "executionRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "taskRoleArn": "arn:aws:iam::XXXXXXXXXXXX:role/ecsTaskExecutionRole",
  "cpu": "1 vcpu",
  "memory": "2 gb"
}

New Relic EUアカウントにログを転送

FirelensからNewRelicEUアカウントにログを転送するには、アプリケーションコンテナのlogConfigurationオブジェクトのoptionsフィールドにプロパティを追加します。

"endpoint": "https://log-api.eu.newrelic.com/log/v1"

ログデータを表示する

すべてが正しく構成され、データが収集されている場合は、次の両方の場所にログ データが表示されるはずです。

• ログUI
• NRQL クエリを実行するためのツール。たとえば、次のようなクエリを実行できます。

SELECT * FROM Log

ログ管理機能を有効にしてもデータが表示されない場合は、標準のログトラブルシューティング手順に従ってください。

次は何ですか？

ログ UIを使用して、プラットフォーム全体のログ データを調べます。

• ログインコンテキスト機能を使用してログを転送することにより、アプリケーションとプラットフォームのパフォーマンスデータの両方をより深く把握できます。
• アラートを設定します。
• データをクエリし、ダッシュボードを作成します。

ログ転送を無効にする

ログ転送機能を無効にするには、 AWS Firelens documentation に記載されている標準的な手順に従ってください。New Relicでは他に何もする必要はありません。