• EnglishEspañol日本語한국어Português
  • ログイン今すぐ開始

この機械翻訳は、参考として提供されています。

英語版と翻訳版に矛盾がある場合は、英語版が優先されます。詳細については、このページを参照してください。

問題を作成する

Apache Hadoop の統合

当社の Apache Hadoop インテグレーションは、Hadoop クラスタとアプリケーションのパフォーマンスを監視します。 インテグレーションは、HDFS (Hadoop 分散ファイル システム)、ブロック、システム負荷、データ ノード、NodeManager、ジョブに関するデータを提供することで、Apache Hadoop のパフォーマンスと健全性を詳細に把握できるようにします。

Apache Hadoop をセットアップすると、Apache Hadoop メトリクスのダッシュボードが提供されます。

インテグレーションをインストールするには、次の手順を実行します。

インフラストラクチャエージェントをインストールします

Apache Hadoop インテグレーションを使用するには、まず同じホストにインフラストラクチャエージェントをインストールする必要があります。 インフラストラクチャエージェントはホスト自体を監視しますが、次の手順でインストールするインテグレーションは Hadoop 固有のデータを使用して監視を拡張します。

Apache Hadoop 用に NRI-Flex を構成する

当社の flex インテグレーションはNew Relic Infrastructureエージェントにバンドルされており、Apache Hadoop データをNew Relicに送信するために使用されます。 flex 設定ファイルを作成するには、次の手順に従います。

  1. /etc/newrelic-infra/integrations.dパスにnri-flex-hadoop-config.ymlという名前のファイルを作成します。

  2. 構成テンプレート を使用して、作成された nri-flex-hadoop-config.ymlという名前のファイル内のフィールド EVENT_TYPEYOUR_DOMAIN を更新します。 event_type の値は、NRDB にメトリクスを保存するために使用されます。

    例:

    • EVENT_TYPE1 に更新できます HadoopResourceManagerSample
    • EVENT_TYPE2 に更新できます HadoopNameNodeSample

    nri-flex-hadoop-config.ymlファイルは次のようになります。

    integrations:
    - name: nri-flex
    # interval: 30s
    config:
    name: hadoopMetrics
    apis:
    - event_type: EVENT_TYPE1
    commands:
    # run any command, you could cat .json file, or run some commands that produce a json output
    # the example just calls an API that returns json
    - run: curl -s https://YOUR_DOMAIN:9870/jmx #json output is retrieved from this command
    - event_type: EVENT_TYPE2
    commands:
    - run: curl -s https://YOUR_DOMAIN:8088/jmx?qry=Hadoop:*

Apache Hadoop ログを New Relic に転送する

ログ転送を 使用して、Apache Hadoop ログを New Relic に転送できます。

  1. logging.ymlという名前のログファイルを作成します /etc/newrelic-infra/logging.d/

  2. ログ ファイルを作成した後、次のスクリプトを logging.yml ファイルに追加します。

    logs:
    - name: hadoop_secondarynamenode_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-secondarynamenode-hadoop-master.log
    attributes:
    logtype: hadoop_secondarynamenode_logs
    - name: hadoop_resourcemanager_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-resourcemanager-hadoop-master.log
    attributes:
    logtype: hadoop_hadoop_resourcemanager_logs
    - name: hadoop_namenode_log
    file: /usr/local/hadoop/logs/hadoop-hadoopuser-namenode-hadoop-master.log
    attributes:
    logtype: hadoop_namenode_logs

New Relic インフラストラクチャ エージェントを再起動します

データの使用を開始する前に、 インフラストラクチャ エージェントを再起動します

次のコマンドはほとんどのシステムで動作するはずです:

bash
$
sudo systemctl restart newrelic-infra.service

データを検索する

Apache Hadoop という名前の事前に構築されたダッシュボード テンプレートを選択して、Apache Hadoop サーバーのメトリクスを監視できます。事前に構築されたダッシュボード テンプレートを使用するには、次の手順に従います。

  1. one.newrelic.comから、

    + Integrations & Agents

    ページに移動します。

  2. Dashboards

    をクリックします。

  3. 検索バーにapache hadoopと入力します。

  4. Apache Hadoop ダッシュボードが表示されます。それをクリックしてインストールします。

    Apache Hadoop ダッシュボードはカスタムダッシュボードとみなされ、Dashboards UIで確認できます。 ダッシュボードの使用と編集に関するドキュメントについては、ダッシュボードのドキュメントをご覧ください。

    以下は、リソース マネージャーからアクティブ ユーザーを確認するための NRQL クエリです。

    SELECT latest(activeUsers)
    FROM HadoopResourceManagerSample

    以下は、ネーム ノードからアクティブなクライアントの数を表示する NRQL クエリです。

    SELECT latest(numActiveClients)
    FROM HadoopNameNodeSample

次は何ですか?

NRQL クエリの作成とダッシュボードの生成の詳細については、次のドキュメントをご覧ください。

Copyright © 2024 New Relic株式会社。

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.