Apache Hadoop の統合

インフラストラクチャエージェントをインストールします

Apache Hadoop インテグレーションを使用するには、まず同じホストにインフラストラクチャエージェントをインストールする必要があります。 インフラストラクチャエージェントはホスト自体を監視しますが、次の手順でインストールするインテグレーションは Hadoop 固有のデータを使用して監視を拡張します。

Apache Hadoop 用に NRI-Flex を構成する

当社の flex インテグレーションはNew Relic Infrastructureエージェントにバンドルされており、Apache Hadoop データをNew Relicに送信するために使用されます。 flex 設定ファイルを作成するには、次の手順に従います。

1. /etc/newrelic-infra/integrations.dパスにnri-flex-hadoop-config.ymlという名前のファイルを作成します。

2. 構成テンプレート を使用して、作成された nri-flex-hadoop-config.ymlという名前のファイル内のフィールド EVENT_TYPE と YOUR_DOMAIN を更新します。 event_type の値は、NRDB にメトリクスを保存するために使用されます。

   例：

   • EVENT_TYPE1 に更新できます HadoopResourceManagerSample
   • EVENT_TYPE2 に更新できます HadoopNameNodeSample

   nri-flex-hadoop-config.ymlファイルは次のようになります。

   integrations:
     - name: nri-flex
       # interval: 30s
       config:
         name: hadoopMetrics
         apis:
           - event_type: EVENT_TYPE1
             commands: 
               # run any command, you could cat .json file, or run some commands that produce a json output
             # the example just calls an API that returns json
               - run: curl -s https://YOUR_DOMAIN:9870/jmx #json output is retrieved from this command
           - event_type: EVENT_TYPE2
             commands: 
               - run: curl -s https://YOUR_DOMAIN:8088/jmx?qry=Hadoop:*

   コピー

Apache Hadoop ログを New Relic に転送する

ログ転送を 使用して、Apache Hadoop ログを New Relic に転送できます。

1. logging.ymlという名前のログファイルを作成します /etc/newrelic-infra/logging.d/

2. ログ ファイルを作成した後、次のスクリプトを logging.yml ファイルに追加します。

   logs:
     - name: hadoop_secondarynamenode_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-secondarynamenode-hadoop-master.log
       attributes:
         logtype: hadoop_secondarynamenode_logs
     - name: hadoop_resourcemanager_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-resourcemanager-hadoop-master.log
       attributes:
         logtype: hadoop_hadoop_resourcemanager_logs
     - name: hadoop_namenode_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-namenode-hadoop-master.log
       attributes:
         logtype: hadoop_namenode_logs

   コピー

New Relic インフラストラクチャ エージェントを再起動します

データの使用を開始する前に、 インフラストラクチャ エージェントを再起動します。

次のコマンドはほとんどのシステムで動作するはずです:

$
sudo systemctl restart newrelic-infra.service

データを検索する

Apache Hadoop という名前の事前に構築されたダッシュボード テンプレートを選択して、Apache Hadoop サーバーのメトリクスを監視できます。事前に構築されたダッシュボード テンプレートを使用するには、次の手順に従います。

1. one.newrelic.comから、

   + Add data

   ページに移動します。

2. Dashboards

   をクリックします。

3. 検索バーにapache hadoopと入力します。

4. Apache Hadoop ダッシュボードが表示されます。それをクリックしてインストールします。

   Apache Hadoop ダッシュボードはカスタムダッシュボードとみなされ、Dashboards UIで確認できます。 ダッシュボードの使用と編集に関するドキュメントについては、ダッシュボードのドキュメントをご覧ください。

   以下は、リソース マネージャーからアクティブ ユーザーを確認するための NRQL クエリです。

   SELECT latest(activeUsers) 
   FROM HadoopResourceManagerSample

   コピー

   以下は、ネーム ノードからアクティブなクライアントの数を表示する NRQL クエリです。

   SELECT latest(numActiveClients) 
   FROM HadoopNameNodeSample

   コピー