Kinesis Data Firehoseによるログのストリーミング

ログデータがすでに Amazon CloudWatch Logs によって監視されている場合、当社の Kinesis Data Firehose 統合を使用して、New Relic でログデータを転送し、エンリッチすることができます。Kinesis Data Firehose は、当社のプラットフォームを含むさまざまな宛先にデータをリアルタイムにストリーミングできるサービスです。

CloudWatch ログや、Kinesis ストリームと互換性のあるその他のログをNew Relicに転送すると、ログデータの収集、処理、探索、書き込み、集計の機能が強化されます。

重要

FedRAMP 顧客の場合は、 AWS Kinesis Data Firehose 統合が現在 FedRAMP によって承認されていないため、Kinesis Data Firehose を使用してログストリーミングを有効にしないでください。

New Relic の配信ストリームを作成します。

Kinesis Data FirehoseからNew Relicにログを転送するために。

があることを確認してください。
手順に従ってAmazon Kinesis Data Firehose 配信ストリームを作成し、送信先として New Relic を選択します。AWS マネジメントコンソールで、 Amazon Kinesisに移動します。
Kinesis Data Firehoseを選択し、 Create delivery streamをクリックします。
ストリームの名前を入力し、データソースを選択します。
宛先を選択する場合は、 Third-party partnerクリックしてから New Relic.
HTTP endpoint URLで、 New Relic logs - USを選択します。これは米国のエンドポイント ( https://aws-api.newrelic.com/firehose/v1 ) です。 EU インジケーターを使用するには、この手順の残りのステップを完了してから、 EU アカウント設定に進んでください。
をAPI keyフィールドに貼り付けます。
Content encodingがGZIPに設定されていることを確認してください。
Buffer hints/Buffer sizeの下に1 MiBのbuffer sizeを設定します。 (デフォルトでは、 Buffer hintsセクションが折りたたまれていることに注意してください。詳細については、「バッファ設定」セクションを参照してください。
残りのメタデータの設定を行い、確認します。

AWS マネジメントコンソールで追加した任意のキー/値のペアは、New Relic で使用できる属性/値のペアになります。Kinesis Data Firehose は、これらのキーと値のペアを各 HTTP 呼び出しに含めます。これらのKinesis Firehose パラメータは、宛先を特定して整理するのに役立ちます。

バッファサイズと間隔を設定する

AWSのログにKinesisFirehose統合を選択すると、ウィザードは画面の下部にBuffer hintsという小さなセクションを非表示にします。このセクションには、 Buffer sizeとBuffer intervalの2つの非常に重要な構成オプションが含まれています。

デフォルト値は、 Buffer sizeの場合は5 MiB、{ Buffer interval }の場合は60秒です。これは、Firehoseが5 MiBのデータを含むまで、または最後にNew Relicにフラッシュされてから60秒が経過するまで、ログを蓄積することを意味します。

重要

これらのデフォルト設定は、NewRelicでのログ管理には適していません。 Buffer sizeとして1MiBを使用し、GZIP本体圧縮をアクティブにすることを強くお勧めします。

なぜこれをお勧めしますか？ New Relicは、LogsAPIへの個々のHTTPPOSTリクエストに対して最大1MB（1.000.000バイト）のペイロードを受け入れます。蓄積されたログのサイズが60秒間の蓄積期間中に1MBを超えると、 413 HTTPエラーでそれらのログを拒否します。

配信ストリームでは、少なくとも1 MiB（1.048.576バイト）のバッファーサイズを構成できます。この値は、NewRelicのLogsAPIで許可されている1MBをわずかに上回っていますが、GZIP圧縮を使用して、結果のペイロードが1MBの制限よりも小さくなるようにすることができます。

EUのアカウントにログを送信するようにストリームを設定する

EUのデータセンターでNew Relicアカウントをお持ちの方。

標準的な手順に従って、デリバリーストリームを作成する.
ストリームが作成されたら、 Amazon Kinesis コンソールに移動し、 Delivery streamsをクリックします。
新しく作成した配信ストリームの名前をクリックし、 Configurationタブを選択します。
Destination settingsセクションの横にあるEditをクリックします。
EU アカウントの Firehose エンドポイントのHTTP endpoint URLの値を更新します。
```
https://aws-api.eu.newrelic.com/firehose/v1
```
Save changesをクリックして、ストリームが更新されていることを確認します。

このドキュメントはインストールの役に立ちましたか？

ログデータを表示する

すべてが正しく構成され、データが収集されている場合は、次の両方の場所にログデータが表示されるはずです。

ログUI
NRQL クエリを実行するためのツール。たとえば、次のようなクエリを実行できます。

SELECT * FROM Log

ログ管理機能を有効にしてもデータが表示されない場合は、標準のログトラブルシューティング手順に従ってください。

次は何ですか？

ログ UIを使用して、プラットフォーム全体のログデータを調べます。

ログインコンテキスト機能を使用してログを転送することにより、アプリケーションとプラットフォームのパフォーマンスデータの両方をより深く把握できます。
アラートを設定します。
データをクエリし、ダッシュボードを作成します。

ログ転送を無効にする

ログ転送機能を無効にするには、 Kinesis Data Firehose documentation に記載されている標準的な手順に従ってください。New Relic では、他に何もする必要はありません。