OpenTelemetry Collector を使用して、Confluent Cloud 管理の Kafka デプロイメントに関するメトリクスを収集できます。コレクターは、テレメトリ データを収集、処理し、New Relic (または任意の可観測性バックエンド) にエクスポートする OpenTelemetry のコンポーネントです。
この統合は、OpenTelemetry コレクター内で Prometheus レシーバー構成を実行することによって機能します。これにより、 Confluent Cloud のメトリクス APIが取得され、そのデータが New Relic にエクスポートされます。
Confluent から Kafka メトリクスを収集し、New Relic にエクスポートするには、以下の手順を実行します。
セットアップが完了していることを確認してください
始める前に、次のものが必要です。 データを報告したいアカウントの。次のことも確認する必要があります。
- Docker デーモンが実行されている
- Docker Compose がインストールされている
- Confluent Cloud アカウントをお持ちです
- Confluent Cloud API キーとシークレットを利用できるようになりました
サンプル リポジトリをダウンロードまたは複製する
このセットアップではサンプル コレクター設定を使用しているため、New Relic の OpenTelemetry Examples リポジトリをダウンロードしてください。インストールしたら、 Confluent Cloud サンプルディレクトリを開きます。詳細については、 READMEも確認してください。
環境変数を設定してコレクターを実行する
Confluent Cloud と New relic の両方の API キーとシークレット変数を
.envファイルに設定しますCluster_ID変数にターゲット Kafka クラスター ID を設定します。(オプション) Confluent Cloud によって管理されるコネクタまたはスキーマ レジストリを監視するには、
collector.yamlファイル内の構成のコメントを解除し、対応する ID を.envファイルに設定します。bash$# Open the confluent cloud example directory$cd newrelic-opentelemetry-examples/other-examples/collector/confluentcloud$$# Set environment variables.$$# run the collector in docker$docker compose upローカル変数情報
変数
説明
ドキュメント
NEW_RELIC_API_KEYNew Relic インジェスト API キー
NEW_RELIC_OTLP_ENDPOINTデフォルトの米国 New Relic OTLP エンドポイントはhttps://otlp.nr-data.net:4318です
CLUSTER_IDConfluent Cloud からのクラスターの ID
CONFLUENT_API_KEYクラウド API キー
CONFLUENT_API_SECRETクラウド API シークレット
CONNECTOR_ID(オプション) ここで ID を指定すると、Confluent コネクタを監視できます。
SCHEMA_REGISTRY_ID(オプション) ここで ID を指定することで、Confluent スキーマ レジストリを監視できます。
New Relic でデータを表示する
Confluent Cloud データは、いくつかの異なる方法で表示できます。
- New Relic マーケットプレイスに移動し、
Confluentを検索します。利用可能なダッシュボードはアカウントに直接インストールできます。 - メトリック エクスプローラーに移動し、
confluent_kafkaをフィルターします。このデータは、任意のカスタム アラートまたはダッシュボードに追加できます。
コンフルエント クラウド メトリクス
この統合は、_ Confluent Cloud Metrics API 内のすべての エクスポート可能な メトリクスをカバーします。以下にエクスポート可能な_メトリクスの部分的なリストを示します。
名前 | 説明 |
|---|---|
confluent_kafka_server_received_bytes | ネットワークから受信した顧客データのバイト数の差分。各サンプルは、前のデータ サンプル以降に受信したバイト数です。カウントは 60 秒ごとにサンプリングされます。 |
confluent_kafka_server_sent_bytes | ネットワーク経由で送信された顧客データのバイト数の差分。各サンプルは、前のデータ ポイント以降に送信されたバイト数です。カウントは 60 秒ごとにサンプリングされます。 |
confluent_kafka_server_received_records | 受信したレコードのデルタ カウント。各サンプルは、前のデータ サンプル以降に受信したレコードの数です。カウントは 60 秒ごとにサンプリングされます。 |
confluent_kafka_server_sent_records | 送信されたレコードのデルタ カウント。各サンプルは、前のデータ ポイント以降に送信されたレコードの数です。カウントは 60 秒ごとにサンプリングされます。 |
confluent_kafka_server_retained_bytes | クラスターによって保持されている現在のバイト数。カウントは 60 秒ごとにサンプリングされます。 |
confluent_kafka_server_active_connection_count | アクティブな認証済み接続の数。 |
confluent_kafka_server_request_count | ネットワーク経由で受信したリクエストのデルタ カウント。各サンプルは、前のデータ ポイント以降に受信したリクエストの数です。60 秒ごとにサンプリングされるカウント。 |
confluent_kafka_server_partition_count | パーティション数 |
confluent_kafka_server_successful_authentication_count | 成功した認証のデルタ カウント。各サンプルは、前のデータ ポイント以降の成功した認証の数です。60 秒ごとにサンプリングされるカウント。 |
confluent_kafka_server_consumer_lag_offsets | グループ メンバーのコミットされたオフセットとパーティションの最高水準点の間のラグ。 |