Plug-in Fluentd para encaminhamento de logs

Se seus dados log já estão sendo monitorados pelo Fluentd, você pode usar nossa integração Fluentd para encaminhar e enriquecer seus dados log no New Relic.

Encaminhar seu registro do Fluentd para New Relic proporcionará gerenciamento de logsrecursos aprimorados para coletar, processar, explorar, consultar e alertar sobre seus dados log .

Processo básico

Para ativar recursos de gerenciamento de logs:

1. Assegure-se de ter:

   • Uma New Relicchave de licença
   • Fluentd 1.0 ou superior

2. Instale o plug-in Fluentd.

3. Configure o plug-in Fluentd.

4. Se aplicável, configure o endpoint da UE

5. Teste o plug-in Fluentd.

6. Gere algum tráfego e aguarde alguns minutos e, em seguida, verifique os dados da sua conta .

Instale o plug-in Fluentd

Para instalar o plug-in Fluentd:

$
fluent-gem install fluent-plugin-newrelic

$
td-agent-gem install fluent-plugin-newrelic

Configurar o plug-in Fluentd

Para configurar seu plug-in Fluentd:

1. No seu arquivo fluent.conf , ou td-agent.conf se estiver utilizando o td-agente, adicione o seguinte bloco de dados, substituindo o texto espaço reservado pelo seu chave de licença:

   #Tail one or more log files
   <source>
     @type tail
     <parse>
       @type none
     </parse>
     path /path/to/file
     tag example.service
   </source>
   
   #Add hostname and service_name to all events with "example.service" tag
   <filter example.service>
     @type record_transformer
     <record>
       service_name ${tag}
       hostname "#{Socket.gethostname}"
     </record>
   </filter>
   
   #Forward all events to New Relic
   
   <match>
     @type newrelic
     license_key YOUR_LICENSE_KEY
   </match>

   Copiar

2. Reinicie o serviço Fluentd para garantir que suas alterações sejam aplicadas.

Configure o plug-in Fluentd para contas da UE

Por padrão, o plug-in Fluentd encaminha o log para nosso endpoint nos EUA: https://log-api.newrelic.com/log/v1. Se sua organização New Relic estiver em nosso data center da UE, você deverá definir manualmente a propriedade base_uri para o endpoint da UE. Por exemplo:

#Tail one or more log files
<source>
  @type tail
  <parse>
    @type none
  </parse>
  path /path/to/file
  tag example.service
</source>

#Add hostname and service_name to all events with "example.service" tag
<filter example.service>
  @type record_transformer
  <record>
    service_name ${tag}
    hostname "#{Socket.gethostname}"
  </record>
</filter>

#Forward all events to New Relic EU Endpoint
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY
  base_uri https://log-api.eu.newrelic.com/log/v1
</match>

Teste o plug-in Fluentd

Para testar se o seu plug-in Fluentd está recebendo entrada de um arquivo de log:

1. Execute o seguinte comando para anexar uma mensagem de teste do log ao seu arquivo de log:

   bash

   Copiar

   $
   echo "test message" >> /PATH/TO/YOUR/LOG/FILE

2. Pesquise test message em nossa interface de registros .

Ver dados log

Se tudo estiver configurado corretamente e seus dados estiverem sendo coletados, você deverá ver o log em ambos os locais:

• Nossa interface de registros
• Nossas ferramentas para executar a consulta NRQL. Por exemplo, você pode executar uma consulta como esta:

SELECT * FROM Log

Se nenhum dado aparecer após você ativar nossos recursos de gerenciamento de logs, siga nossos procedimentos padrão de resolução de problemas de log.

Ajustar o buffer do Fluentd de log

Por padrão, o plug-in envia log para New Relic a cada cinco segundos. Se quiser alterar esse tempo, adicione um bloco <buffer> à configuração seguindo este exemplo:

[...]

# Forward all events to New Relic EU Endpoint
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY

  <buffer time>
    timekey 60s
  </buffer>
</match>

Para obter mais informações, consulte a documentação do Fluentd sobre configuração de buffer.

Configurar a transformação UTF-16LE para UTF-8

Neste exemplo de log de erros do Microsoft SQL Server, use o Fluentd para enviar o log codificado em UTF-16LE para o New Relic com a codificação UTF-8 necessária para ingestão. Você também pode adotar este exemplo para outras codificações.

#Tail one or more log files
<source>
  @type tail
  <parse>
    @type none
  </parse>
  path "D:/sqlserver/error.log"
  tag example.service
  encoding UTF-8
  from_encoding UTF-16LE
</source>

#Add hostname and service_name to all events with "example.service" tag
<filter example.service>
  @type record_transformer
  <record>
    service_name ${tag}
    hostname "#{Socket.gethostname}"
    logtype MSSQL
  </record>
</filter>

#Forward all events to New Relic
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY
</match>

Configurar transformação Shift-JIS para UTF-8

Arquivos de log japoneses codificados em Shift-JIS (SP932) são convertidos para a codificação UTF-8 necessária e são necessários para importar e enviar dados log para o New Relic.

<source>
#Tail one or more log files
  @type tail
  path C:\opt\fluent\cp932text.log  # Full path of the log file you want to collect
  tag example.service
  from_encoding CP932
  encoding UTF-8
  <parse>
    @type none
  </parse>
</source>

#Forward all events to New Relic
<match>
  @type newrelic
  license_key YOUR_LICENSE_KEY
</match>

Qual é o próximo?

Explore os dados de registro em sua plataforma com nossa interface de registros.

• Obtenha visibilidade mais profunda dos dados de desempenho do seu aplicativo e da sua plataforma encaminhando seu log com nossos recursos logs contextualizados .
• Configure o alerta.
• consulte seus dados e crie dashboard.

Desativar encaminhamento de logs

Para desativar os recursos de encaminhamento de logs, siga os procedimentos padrão na documentação do Fluentd. Você não precisa fazer mais nada no New Relic.