Analisando dados log

Padrões Grok seguem uma sintaxe predefinida:

%{PATTERN_NAME[:OPTIONAL_EXTRACTED_ATTRIBUTE_NAME[:OPTIONAL_TYPE[:OPTIONAL_PARAMETER]]]}

Onde:

• PATTERN_NAME é um dos padrões Grok suportados. O nome do padrão é apenas um nome amigável que representa uma expressão regular. Eles são exatamente iguais à expressão regular correspondente.
• OPTIONAL_EXTRACTED_ATTRIBUTE_NAME, se fornecido, é o nome do atributo que será adicionado à sua mensagem do log com o valor correspondente ao nome do padrão. É equivalente a usar um grupo de captura nomeado usando expressões regulares. Se isso não for fornecido, a regra de análise corresponderá apenas a uma região da sua string, mas não extrairá um atributo com seu valor.
• OPTIONAL_TYPE especifica o tipo de valor de atributo a ser extraído. Se omitido, os valores serão extraídos como strings. Por exemplo, para extrair o valor 123 de "File Size: 123" como um número para o atributo file_size, use value: %{INT:file_size:int}.
• OPTIONAL_PARAMETER especifica um parâmetro opcional para determinados tipos. Atualmente apenas o tipo datetime recebe um parâmetro. Veja detalhes abaixo.

O campo OPTIONAL_TYPE especifica o tipo de valor de atributo a ser extraído. Se omitido, os valores serão extraídos como strings.

Os tipos suportados são:

Se você tiver log multilinha, esteja ciente de que o padrão GREEDYDATA Grok não corresponde a novas linhas (é equivalente a .*).

Portanto, em vez de usar %{GREEDYDATA:some_attribute} diretamente, você precisará adicionar o sinalizador multilinha na frente dele: (?s)%{GREEDYDATA:some_attribute}

O pipeline de logs do New Relic analisa suas mensagens de log JSON por padrão, mas, às vezes, você tem mensagens de log JSON misturadas com texto simples. Nessa situação, você pode querer analisá-los e, em seguida, filtrar usando os atributos JSON. Se for esse o caso, você pode usar o tipo Grok json, que analisará o JSON capturado pelo padrão Grok. Este formato baseia-se em 3 partes principais: a sintaxe Grok, o prefixo que você deseja atribuir aos atributos JSON analisados e o json tipo Grok. Usando o json tipo Grok, você pode extrair e analisar JSON de logs que não estão formatados corretamente; por exemplo, se seus logs forem prefixados com uma string de data/hora:

2015-05-13T23:39:43.945958Z {"event": "TestRequest", "status": 200, "response": {"headers": {"X-Custom": "foo"}}, "request": {"headers": {"X-Custom": "bar"}}}

Para extrair e analisar os dados JSON deste formato de log, crie a seguinte expressão Grok:

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json}

O log resultante é:

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.status: 200
my_attribute_prefix.response.headers.X-Custom: "foo"
my_attribute_prefix.request.headers.X-Custom: "bar"

Você pode definir a lista de atributos a serem extraídos ou descartados com as opções keepAttributes ou dropAttributes. Por exemplo, com a seguinte expressão Grok:

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"keepAttributes": ["my_attribute_prefix.event", "my_attribute_prefix.response.headers.X-Custom"]})}

O log resultante é:

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.request.headers.X-Custom: "bar"

Se quiser omitir o prefixo my_attribute_prefix , você poderá incluir "noPrefix": true na configuração.

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"noPrefix": true})}

Se desejar omitir o prefixo my_attribute_prefix e manter apenas o atributo status , você poderá incluir "noPrefix": true e "keepAttributes: ["status"] na configuração.

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"noPrefix": true, "keepAttributes": ["status"]})}

Se seu JSON tiver escapado, você poderá usar a opção isEscaped para poder analisá-lo. Se o seu JSON tiver sido escapado e depois citado, você também precisará combinar as aspas, conforme mostrado abaixo. Por exemplo, com a seguinte expressão Grok:

%{TIMESTAMP_ISO8601:containerTimestamp} "%{GREEDYDATA:my_attribute_prefix:json({"isEscaped": true})}"

Seria capaz de analisar a mensagem escapada:

2015-05-13T23:39:43.945958Z "{\"event\": \"TestRequest\", \"status\": 200, \"response\": {\"headers\": {\"X-Custom\": \"foo\"}}, \"request\": {\"headers\": {\"X-Custom\": \"bar\"}}}"

O log resultante é:

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.status: 200
my_attribute_prefix.response.headers.X-Custom: "foo"
my_attribute_prefix.request.headers.X-Custom: "bar"

Para configurar o tipo json Grok, use :json(_CONFIG_):

• json({"dropOriginal": true}): elimine o trecho JSON que foi usado na análise. Quando definido como true (valor padrão), a regra de análise eliminará o trecho JSON original. Observe que o atributo JSON permanecerá no campo da mensagem.
• json({"dropOriginal": false}): isso mostrará a carga JSON que foi extraída. Quando definido como false, a carga completa somente JSON será exibida em um atributo nomeado em my_attribute_prefix acima. Observe que o atributo JSON permanecerá no campo de mensagem aqui, dando ao usuário 3 visualizações diferentes dos dados JSON. Se o armazenamento de todas as três versões for uma preocupação, é recomendado usar o padrão true aqui.
• json({"depth": 62}): níveis de profundidade que você deseja analisar o valor JSON (padrão 62).
• json({"keepAttributes": ["attr1", "attr2", ..., "attrN"]}): Especifica qual atributo será extraído do JSON. A lista fornecida não pode estar vazia. Se esta opção de configuração não estiver definida, todos os atributos serão extraídos.
• json({"dropAttributes": ["attr1", "attr2", ..., "attrN"]}): Especifica qual atributo será retirado do JSON. Se esta opção de configuração não for definida, nenhum atributo será eliminado.
• json({"noPrefix": true}): Defina esta opção como true para remover o prefixo do atributo extraído do JSON.
• json({"isEscaped": true}): Defina esta opção como true para analisar o JSON que foi escapado (que normalmente você vê quando o JSON é stringificado, por exemplo {\"key\": \"value\"})

Se o seu sistema envia log de valores separados por vírgula (CSV) e você precisa analisá-los no New Relic, você pode usar o tipo csv Grok, que analisa o CSV capturado pelo padrão Grok. Este formato depende de 3 partes principais: a sintaxe Grok, o prefixo que você gostaria de atribuir ao atributo CSV analisado e o csv tipo Grok. Usando o tipo csv Grok, você pode extrair e analisar CSV do log.

Dada a seguinte linha de log CSV como exemplo:

"2015-05-13T23:39:43.945958Z,202,POST,/shopcart/checkout,142,10"

E uma regra de análise com o seguinte formato:

%{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"]})}

Irá analisar seu log da seguinte maneira:

log.timestamp: "2015-05-13T23:39:43.945958Z"
log.status: "202"
log.method: "POST"
log.url: "/shopcart/checkout"
log.time: "142"
log.bytes: "10"

Se precisar omitir o prefixo "log", você poderá incluir "noPrefix": true na configuração.

%{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"], "noPrefix": true})}

Configuração de colunas:

• É obrigatório indicar as colunas na configuração do tipo CSV Grok (que deve ser um JSON válido).
• Você pode ignorar qualquer coluna definindo "_" (sublinhado) como o nome da coluna para removê-la do objeto resultante.

Opções de configuração opcionais:

Embora a configuração de “colunas” seja obrigatória, é possível alterar a análise do CSV com as seguintes configurações.

• dropOriginal: (o padrão é true) Elimine o trecho CSV usado na análise. Quando definida como true (valor padrão), a regra de análise descarta o campo original.
• noPrefix: (o padrão é false) Não inclui o nome do campo Grok como prefixo no objeto resultante.
• separator: (O padrão é ,) Define o caractere/string que divide cada coluna.
  • Outro cenário comum são os valores separados por tabulações (TSV), para isso você deve indicar \t como separador, ex. %{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"], "separator": "\t"})
• quoteChar: (O padrão é ") Define o caractere que opcionalmente envolve o conteúdo de uma coluna.

Se o seu sistema enviar log contendo endereços IPv4, New Relic poderá localizá-los geograficamente e enriquecer o evento de log com o atributo especificado. Você pode usar o tipo geo Grok, que encontra a posição de um endereço IP capturado pelo padrão Grok. Este formato pode ser configurado para retornar um ou mais campos relacionados ao endereço, como cidade, país e latitude/longitude do IP.

Dada a seguinte linha de log como exemplo:

2015-05-13T23:39:43.945958Z 146.190.212.184

E uma regra de análise com o seguinte formato:

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:ip:geo({"lookup":["city","region","countryCode", "latitude","longitude"]})}

Analisaremos seu log da seguinte maneira:

ip: 146.190.212.184
ip.city: North Bergen
ip.countryCode: US
ip.countryName: United States
ip.latitude: 40.793
ip.longitude: -74.0247
ip.postalCode: 07047
ip.region: NJ
ip.regionName: New Jersey
containerTimestamp:2015-05-13T23:39:43.945958Z
ISO8601_TIMEZONE:Z

Configuração de pesquisa:

É obrigatório especificar os campos lookup desejados retornados pela ação geo . É necessário pelo menos um item das opções a seguir.

• city: Nome da cidade
• countryCode: Abreviatura do país
• countryName: Nome de país
• latitude: Latitude
• longitude: Longitude
• postalCode: Código postal, CEP ou similar
• region: Abreviatura de estado, província ou território
• regionName: Nome do estado, província ou território

O pipeline do New Relic Logs analisa seu mensagem do log por padrão, mas às vezes você tem mensagem do log que são formatados como pares valor principal. Nessa situação, talvez você queira analisá-los e depois filtrar usando o atributo valor principal.

Nesse caso, você pode usar o keyvalue tipo Grok, que analisará os pares chave-valor capturados pelo padrão Grok. Este formato baseia-se em 3 partes principais: a sintaxe Grok, o prefixo que você deseja atribuir aos atributos de chave-valor analisados e o keyvalue tipo Grok. Usando o tipo Grok keyvalue, você pode extrair e analisar pares chave-valor de logs que não estão formatados corretamente; por exemplo, se seus logs forem prefixados com uma string de data/hora:

2015-05-13T23:39:43.945958Z key1=value1,key2=value2,key3=value3

Para extrair e analisar os dados de chave-valor deste formato de log, crie a seguinte expressão Grok:

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyvalue()}

O log resultante é:

containerTimestamp: "2015-05-13T23:39:43.945958Z"
  my_attribute_prefix.key1: "value1"
  my_attribute_prefix.key2: "value2"
  my_attribute_prefix.key3: "value3"

Você também pode definir o delimitador e o separador personalizados para extrair os pares de valor principal necessários.

2015-05-13T23:39:43.945958Z event:TestRequest request:bar

Por exemplo, com a seguinte expressão Grok:

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyvalue({"delimiter": " ", "keyValueSeparator": ":"})}

O log resultante é:

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.request: "bar"

Se quiser omitir o prefixo my_attribute_prefix , você poderá incluir "noPrefix": true na configuração.

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyValue({"noPrefix": true})}

O log resultante é:

containerTimestamp: "2015-05-13T23:39:43.945958Z"
event: "TestRequest"
request: "bar"

Se você quiser definir seu prefixo de caractere de aspas personalizado, você pode incluir "quoteChar": na configuração.

2015-05-13T23:39:43.945958Z nbn_demo='INFO',message='This message contains information with spaces ,sessionId='abc123'

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyValue({"quoteChar": "'"})}

O log resultante é:

"my_attribute_prefix.message": "'This message contains information with spaces",
"my_attribute_prefix.nbn_demo": "INFO",
"my_attribute_prefix.sessionId": "abc123"

Parâmetro Grok Pattern

Você pode personalizar o comportamento de análise com as seguintes opções para se adequar aos seus formatos de log:

• delimitador

  • Descrição: String separando cada par de valor principal.
  • Valor padrão: , (vírgula)
  • Substituir: Defina o campo delimiter para alterar esse comportamento.

• Separador de Valor-chave

  • Descrição: String usada para atribuir valores às chaves.
  • Valor padrão: =
  • Substituir: Defina o campo keyValueSeparator para uso de separador personalizado.

• citaçãoChar

  • Descrição: Caractere usado para delimitar valores com espaços ou caracteres especiais.
  • Valor padrão: " (aspas duplas)
  • Substituir: Defina um caractere personalizado usando quoteChar.

• soltarOriginal

  • Descrição: Descarta a mensagem original do log após a análise. Útil para reduzir o armazenamento de logs.
  • Valor padrão: true
  • Substituir: defina dropOriginal como false para manter a mensagem original do log.

• sem prefixo

  • Descrição: Quando true, exclui o nome do campo Grok como um prefixo no objeto resultante.
  • Valor padrão: false
  • Substituição: Habilite definindo noPrefix como true.

• escapeChar

  • Descrição: Defina um caractere de escape personalizado para manipular caracteres de log especiais.
  • Valor padrão: "" (barra invertida)
  • Substituir: personalizar com escapeChar.

• valores de trim

  • Descrição: Permite o corte de valores que contêm espaços em branco.
  • Valor padrão: false
  • Substituir: defina trimValues como true para ativar o corte.

• Teclas de ajuste

  • Descrição: Permite o corte de teclas que contêm espaços em branco.
  • Valor padrão: true
  • Substituir: defina trimKeys como true para ativar o corte.

A New Relic suporta os seguintes padrões Grok:

• IP
• TIMESTAMP_ISO8601
• HTTPDATE
• TIME
• UUID
• MONTH
• SPACE
• DATESTAMP
• DATE
• COMBINEDAPACHELOG
• ISO8601_TIMEZONE
• MAC
• DATE_EU
• TZ
• DATE_US
• DAY
• LOGLEVEL
• NUMBER
• INT
• QUOTEDSTRING
• SYSLOGTIMESTAMP
• PATH
• SYSLOGBASE
• COMMONAPACHELOG
• IPV6
• COMMONMAC
• DATESTAMP_OTHER
• ISO8601_SECOND
• DATESTAMP_EVENTLOG
• SYSLOGBASE2
• HAPROXYHTTP
• RUBY_LOGGER
• WINDOWSMAC
• WORD
• DATA
• GREEDYDATA
• NOTSPACE
• BASE16FLOAT
• QS
• BASE10NUM
• USER
• IPORHOST
• USERNAME
• IPV4
• MONTHDAY
• YEAR
• HOSTNAME
• POSINT
• URIPATHPARAM
• URI
• URIPATH
• MONTHNUM
• NONNEGINT
• MINUTE
• SECOND
• HOUR
• URIHOST
• URIPROTO
• URIPARAM
• SYSLOGHOST
• BASE16NUM
• SYSLOGPROG
• HOSPEDAR
• HOSTPORT
• JAVACLASS
• PROG
• UNIXPATH
• WINPATH
• MONTHNUM2
• RUBY_LOGLEVEL
• SYSLOGFACILITY
• CRON_ACTION
• HAPROXYCAPTUREDREQUESTHEADERS
• HAPROXYCAPTUREDRESPONSEHEADERS
• HAPROXYDATE
• CISOMAC