• EnglishEspañol日本語한국어Português
  • ログイン今すぐ開始

この機械翻訳は参考用に提供されます。

英語版と翻訳版に矛盾がある場合は、英語版が優先されます。詳細については、このページ を参照してください。

問題を作成する

Kafkaモニタリングの統合

New Relic Kafka on-host integration は、お使いの Kafka サービスからメトリクスと設定データをレポートします。ブローカー(ZooKeeperとBootstrapの両方)、プロデューサー、コンシューマー、トピックなど、クラスタの主要な要素をすべて計測します。

Kafkaモニタリング統合をインストールするには、次の手順を実行する必要があります。

  1. インストールの準備をします
  2. インテグレーションのインストールとアクティブ化
  3. インテグレーションの設定
  4. データの検索と使用
  5. 必要に応じて、 Kafkaの構成設定を参照してください。

互換性と要件

カフカバージョン

この統合は、Kafka バージョン 3 以下と互換性があります。

サポート終了の Kafka バージョンを使用すると、予期しない結果が生じる可能性があるため 、Apache Kafka EOL ポリシー に注意してください。

対応するオペレーティング・システム

  • ウィンドウズ

    Windows
  • Linux

    Linux

特定のWindowsおよびLinuxバージョンの包括的なリストについては、 互換性のあるオペレーティングシステムの表を確認してください。

システム要求

  • NewRelicアカウント。持っていませんか?無料でお申し込み頂けます!クレジットカードは必要ありません。

  • KafkaがKubernetesまたはAmazonECSで実行されていない場合は、インフラストラクチャエージェントをLinuxまたはWindows OSホスト、またはKafkaがインストールされている場所にリモートアクセスできるホストにインストールできます。さもないと:

  • Javaバージョン8以降。

  • JMXはすべてのブローカーで有効になっています。

  • Javaベースのコンシューマーとプロデューサーのみで、JMXが有効になっています。

  • 監視対象トピックの総数は10000未満である必要があります。

接続条件

統合を構成し、以下に接続できるようにする必要があります。

  • autodiscover_strategyzookeeperに設定されている場合、Zookeeper認証メカニズムを使用して、Zookeeperプロトコルを介してzookeeper_hostsにリストされているホスト。
  • autodiscover_strategybootstrapに設定されている場合、Kafkaブローカーの認証/トランスポートメカニズムを使用して、Kafkaプロトコルを介してbootstrap_broker_hostで定義されたホスト。
  • クラスター内のすべてのブローカーがKafkaのプロトコルとポートを介して、Kafkaブローカーの認証/トランスポートメカニズムを使用します。
  • クラスター内のすべてのブローカーが、ブローカーのJMX構成で指定された認証/トランスポートメカニズムを使用して、JMXプロトコルとポートを介して。
  • プロデューサ/コンシューマのモニタリングを行う場合は、JMXプロトコルとポートを介してプロデューサとコンシューマで指定されたすべてのプロデューサ/コンシューマ。コンシューマーのJMX設定は、ブローカーと同じである必要があります。

重要

デフォルトでは、AWSの他のクラウドプロバイダーのセキュリティグループとそれに相当するものは、デフォルトで必要なポートを開いていません。 JMXが機能するには、JMXポートとRMIポートの2つのポートが必要です。これらは、JMXを有効にするようにJVMを構成するときに同じ値に設定でき、ブローカーに接続してブローカーからメトリックを収集できるように統合を開く必要があります。

インストールの準備

Kafkaは、分散システムとして構築された複雑なソフトウェアです。このため、データが正しく収集されるように、統合が必要なすべてのホストとサービスに接続できることを確認する必要があります。

インテグレーションのインストールとアクティブ化

Kafka統合をインストールするには、ご使用の環境の指示に従ってください。

Linuxのインストール

  1. 統合のインストール手順に従い、 INTEGRATION_FILE_NAME変数をnri-kafkaに置き換えます。

  2. 以下を実行して、ディレクトリをインテグレーションの設定フォルダーに変更します。

    bash
    $
    cd /etc/newrelic-infra/integrations.d
  3. 以下を実行して、サンプルの設定ファイルをコピーします。

    bash
    $
    sudo cp kafka-config.yml.sample kafka-config.yml
  4. お気に入りのエディタで kafka-config.yml 構成ファイルを編集します。いくつかの 構成ファイルの例を確認してください。

その他の環境

その他の注意事項:

このドキュメントはインストールで役立ちましたか。

統合を構成する

インストール方法に応じて、統合を構成する方法はいくつかあります。

  • 有効にした場合

    Kubernetes

    Kubernetes、Kubernetesで実行されているサービスを監視するをご覧ください

  • 有効にした場合

    ECS

    Amazon ECS 、 ECSで実行されているサービスを監視する

  • ホストにインストールされている場合は、統合のYAML構成ファイルkafka-config.ymlの構成を編集します。統合のYAML形式の構成では、必要なログイン資格情報を配置し、データの収集方法を構成できます。どのオプションを変更するかは、セットアップと設定によって異なります。構成ファイルには、 intervaltimeoutinventory_sourceなどのすべての統合に適用できる共通の設定があります。これらの一般的な設定のすべてを読むには、 構成フォーマットのドキュメントを参照してください。

重要

レガシー設定および定義ファイルを引き続き使用する場合は、このドキュメントを参照してください。

他の統合と同様に、1つのkafka-config.yml構成ファイルには、さまざまなブローカー、コンシューマー、およびプロデューサーのメトリックを収集する統合の多くのインスタンスを含めることができます。kafka-config.ymlサンプルファイルで1つまたは複数のインスタンスを使用した構成例を確認できます

Kafkaに関連する特定の設定は、 kafka-config.yml構成ファイルの各インスタンスのenvセクションを使用して定義されます。これらの設定は、ブローカー、Zookeeper、JMXへの接続、およびその他のセキュリティ設定と機能を制御します。有効な設定のリストは、 Kafkaの構成設定に記載されています。

統合には、各インスタンスで2つの動作モードがあり、これらは相互に排他的であり、 CONSUMER_OFFSETパラメーターを使用してセットアップできます。

重要

コンシューマーオフセット収集は実行に時間がかかり、高いパフォーマンス要件があるため、これらのモードは相互に排他的です。両方のサンプルグループを収集するには、各モードに1つずつ、2つのインスタンスを設定します。

これらの設定の値は、いくつかの方法で定義できます。

  • 設定ファイルに直接値を追加します。これが最も一般的な方法です。
  • {{ }} 表記を使用して環境変数の値を置き換えます。 オンホスト統合での環境変数パススルーの使用 について詳しく読むか、 環境変数の置換の例を参照してください。
  • シークレット管理の使用。これを使用して、設定ファイルのプレーンテキストで公開されないようにパスワードなどの重要な情報を保護してください。詳細については、シークレット管理を参照してください。

オフセット監視

CONSUMER_OFFSET = trueを設定すると、デフォルトでは、アクティブなコンシューマーを持つコンシューマーグループからのメトリック(およびコンシューマーメトリック)のみが収集されます。非アクティブなコンシューマーを持つコンシューマーグループからメトリックを収集するには、 INACTIVE_CONSUMER_GROUP_OFFSETtrueに設定する必要があります。

消費者グループが複数のトピックを監視している場合、特にトピックの1つに非アクティブな消費者がいる場合は、消費者グループのメトリックをトピックごとに分けることが重要です。これにより、消費者グループが遅れているトピックを特定できるためです。その消費者グループとトピックのアクティブな消費者です。

消費者グループの指標をトピックごとに分けるには、 CONSUMER_GROUP_OFFSET_BY_TOPICtrueに設定する必要があります(デフォルトはfalse

オフセット監視の設定方法の詳細については、「 KafkaOffsetSampleコレクションの構成」を参照してください。

kafka-config.ymlサンプルファイル

統合のための構成オプション

データを検索して使用する方法の詳細については、 Kafkaの構成設定を参照してください。

データを見つけて使用する

このサービスからのデータは、 統合ダッシュボードに報告されます。

Kafkaのデータは、以下の イベントタイプに添付されています。:

トラブルシューティング目的で、またはチャートとダッシュボードを作成するために、このデータのクエリを行えます。

データを検索して使用する方法の詳細については、統合データを理解する方法を参照してください。

統合によって収集されたメトリック

Kafka統合は、次のメトリックを収集します。各メトリック名の前には、カテゴリインジケーターとピリオド( broker.consumer.など)が付いています。

Copyright © 2024 New Relic株式会社。

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.