Integração Apache Hadoop

Instalar o agente de infraestrutura

Para usar a integração do Apache Hadoop, primeiro é necessário instalar o agente de infraestrutura no mesmo host. O agente de infraestrutura monitora o próprio host, enquanto a integração que você instalará na próxima etapa amplia seu monitoramento com dados específicos do Hadoop.

Configurar NRI-Flex para Apache Hadoop

Nossa integração flex vem junto com o agente New Relic Infrastructure e é usada para enviar seus dados do Apache Hadoop para New Relic. Para criar um arquivo de configuração flex, siga estas etapas:

1. Crie um arquivo chamado nri-flex-hadoop-config.yml no caminho /etc/newrelic-infra/integrations.d .

2. Use nosso modelo de configuração para atualizar os campos EVENT_TYPE e YOUR_DOMAIN no arquivo criado denominado nri-flex-hadoop-config.yml. O valor em event_type é usado para armazenar métricas no NRDB.

   Exemplo:

   • EVENT_TYPE1 pode ser atualizado para HadoopResourceManagerSample
   • EVENT_TYPE2 pode ser atualizado para HadoopNameNodeSample

   Seu arquivo nri-flex-hadoop-config.yml deverá ficar assim:

   integrations:
     - name: nri-flex
       # interval: 30s
       config:
         name: hadoopMetrics
         apis:
           - event_type: EVENT_TYPE1
             commands: 
               # run any command, you could cat .json file, or run some commands that produce a json output
             # the example just calls an API that returns json
               - run: curl -s https://YOUR_DOMAIN:9870/jmx #json output is retrieved from this command
           - event_type: EVENT_TYPE2
             commands: 
               - run: curl -s https://YOUR_DOMAIN:8088/jmx?qry=Hadoop:*

   Copiar

Encaminhar log do Apache Hadoop para New Relic

Você pode usar nosso encaminhamento de logs para encaminhar o log do Apache Hadoop para New Relic.

1. Crie um arquivo de log chamado logging.yml em /etc/newrelic-infra/logging.d/

2. Após criar o arquivo de log, adicione o seguinte script ao arquivo logging.yml :

   logs:
     - name: hadoop_secondarynamenode_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-secondarynamenode-hadoop-master.log
       attributes:
         logtype: hadoop_secondarynamenode_logs
     - name: hadoop_resourcemanager_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-resourcemanager-hadoop-master.log
       attributes:
         logtype: hadoop_hadoop_resourcemanager_logs
     - name: hadoop_namenode_log
       file: /usr/local/hadoop/logs/hadoop-hadoopuser-namenode-hadoop-master.log
       attributes:
         logtype: hadoop_namenode_logs

   Copiar

Reinicie o agente do New Relic Infrastructure

Antes de começar a usar seus dados, reinicie o agente de infraestrutura.

O seguinte comando deve funcionar para a maioria dos sistemas:

$
sudo systemctl restart newrelic-infra.service

Encontre seus dados

Você pode escolher nosso modelo dashboard pré-construído chamado Apache Hadoop para monitor a métrica do seu servidor Apache Hadoop. Siga estas etapas para usar nosso modelo dashboard pré-construído:

1. De one.newrelic.com, vá para a página

   + Add data

   .

2. Clique em

   Dashboards

   .

3. Na barra de pesquisa, digite apache hadoop.

4. O dashboard do Apache Hadoop deve aparecer. Clique nele para instalá-lo.

   Seu dashboard do Apache Hadoop é considerado um painel personalizado e pode ser encontrado na interface Dashboards. Para obter documentos sobre como usar e editar o painel, consulte nossos documentos dashboard .

   Aqui está uma consulta NRQL para verificar os usuários ativos do gerenciador de recursos:

   SELECT latest(activeUsers) 
   FROM HadoopResourceManagerSample

   Copiar

   Aqui está uma consulta NRQL para visualizar o número de clientes ativos do nó de nome:

   SELECT latest(numActiveClients) 
   FROM HadoopNameNodeSample

   Copiar