analyser les données log

Les motifs Grok suivent une syntaxe prédéfinie :

%{PATTERN_NAME[:OPTIONAL_EXTRACTED_ATTRIBUTE_NAME[:OPTIONAL_TYPE[:OPTIONAL_PARAMETER]]]}

Où:

• PATTERN_NAME est l'un des modèles Grok pris en charge. Le nom du motif est juste un nom convivial représentant des expressions régulières. Elles sont exactement égales aux expressions régulières correspondantes.
• OPTIONAL_EXTRACTED_ATTRIBUTE_NAME, s'il est fourni, est le nom de l'attribut qui sera ajouté à votre message de log avec la valeur correspondant au nom du modèle. Cela équivaut à utiliser un groupe de capture nommé à l’aide d’expressions régulières. Si cela n'est pas fourni, la règle d'analyse correspondra simplement à une région de votre chaîne, mais n'extrairea pas un attribut avec sa valeur.
• OPTIONAL_TYPE spécifie le type de valeur d'attribut à extraire. Si elles sont omises, les valeurs sont extraites sous forme de chaînes. Par instance, pour extraire la valeur 123 de "File Size: 123" sous forme de nombre dans l'attribut file_size, utilisez value: %{INT:file_size:int}.
• OPTIONAL_PARAMETER spécifie un paramètre facultatif pour certains types. Actuellement, seul le type datetime prend un paramètre, voir ci-dessous pour plus de détails.

Le champ OPTIONAL_TYPE spécifie le type de valeur d'attribut à extraire. Si elles sont omises, les valeurs sont extraites sous forme de chaînes.

Les types pris en charge sont :

Si vous avez un log multiligne, sachez que le modèle Grok GREEDYDATA ne correspond pas aux nouvelles lignes (il est équivalent à .*).

Ainsi, au lieu d'utiliser %{GREEDYDATA:some_attribute} directement, vous devrez ajouter l'indicateur multiligne devant lui : (?s)%{GREEDYDATA:some_attribute}

Le pipeline de logs New Relic analyse vos messages de log JSON par défaut, mais il arrive parfois que vous ayez des messages de log JSON mélangés à du texte brut. Dans cette situation, vous souhaiterez peut-être pouvoir les analyser, puis filtrer à l'aide des attributs JSON. Dans ce cas, vous pouvez utiliser le type Grok json, qui analysera le JSON capturé par le motif Grok. Ce format repose sur 3 parties principales : la syntaxe Grok, le préfixe que vous souhaitez attribuer aux attributs JSON analysés et le type Grok json. En utilisant le type Grok json, vous pouvez extraire et analyser du JSON à partir de logs qui ne sont pas correctement formatés ; par exemple, si vos logs sont préfixés par une chaîne de date/heure :

2015-05-13T23:39:43.945958Z {"event": "TestRequest", "status": 200, "response": {"headers": {"X-Custom": "foo"}}, "request": {"headers": {"X-Custom": "bar"}}}

Afin d'extraire et d'analyser les données JSON de ce format log , créez l'expression Grok suivante :

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json}

Le log résultant est :

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.status: 200
my_attribute_prefix.response.headers.X-Custom: "foo"
my_attribute_prefix.request.headers.X-Custom: "bar"

Vous pouvez définir la liste des attributs à extraire ou à supprimer avec les options keepAttributes ou dropAttributes. Par exemple, avec l'expression Grok suivante :

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"keepAttributes": ["my_attribute_prefix.event", "my_attribute_prefix.response.headers.X-Custom"]})}

Le log résultant est :

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.request.headers.X-Custom: "bar"

Si vous souhaitez omettre le préfixe my_attribute_prefix , vous pouvez inclure le "noPrefix": true dans la configuration.

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"noPrefix": true})}

Si vous souhaitez omettre le préfixe my_attribute_prefix et conserver uniquement l'attribut status , vous pouvez inclure "noPrefix": true et "keepAttributes: ["status"] dans la configuration.

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:json({"noPrefix": true, "keepAttributes": ["status"]})}

Si votre JSON a été échappé, vous pouvez utiliser l'option isEscaped pour pouvoir l'analyser. Si votre JSON a été échappé puis cité, vous devez également faire correspondre les guillemets, comme indiqué ci-dessous. Par exemple, avec l'expression Grok suivante :

%{TIMESTAMP_ISO8601:containerTimestamp} "%{GREEDYDATA:my_attribute_prefix:json({"isEscaped": true})}"

Serait capable d'analyser le message échappé :

2015-05-13T23:39:43.945958Z "{\"event\": \"TestRequest\", \"status\": 200, \"response\": {\"headers\": {\"X-Custom\": \"foo\"}}, \"request\": {\"headers\": {\"X-Custom\": \"bar\"}}}"

Le log résultant est :

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.status: 200
my_attribute_prefix.response.headers.X-Custom: "foo"
my_attribute_prefix.request.headers.X-Custom: "bar"

Pour configurer le type Grok json , utilisez :json(_CONFIG_):

• json({"dropOriginal": true}): Supprimez le snippet JSON qui a été utilisé dans l'analyse. Lorsqu'elle est définie sur true (valeur par défaut), la règle d'analyse supprimera le snippet JSON d'origine. Notez que l’attribut JSON restera dans le champ de message.
• json({"dropOriginal": false}):Cela affichera la charge utile JSON qui a été extraite. Lorsqu'il est défini sur false, la charge utile complète uniquement JSON sera affichée sous un attribut nommé dans my_attribute_prefix ci-dessus. Notez que l'attribut JSON restera également dans le champ de message ici, donnant à l'utilisateur 3 vues différentes des données JSON. Si le stockage des trois versions est un problème, il est recommandé d'utiliser la valeur par défaut de true ici.
• json({"depth": 62}): Niveaux de profondeur auxquels vous souhaitez analyser la valeur JSON (par défaut 62).
• json({"keepAttributes": ["attr1", "attr2", ..., "attrN"]}):Spécifie quel attribut sera extrait du JSON. La liste fournie ne peut pas être vide. Si cette option configuration n'est pas définie, tous les attributs sont extraits.
• json({"dropAttributes": ["attr1", "attr2", ..., "attrN"]}):Spécifie l'attribut à supprimer du JSON. Si cette option de configuration n'est pas définie, aucun attribut n'est supprimé.
• json({"noPrefix": true}): Définissez cette option sur true pour supprimer le préfixe de l'attribut extrait du JSON.
• json({"isEscaped": true}): Définissez cette option sur true pour analyser le JSON qui a été échappé (ce que vous voyez généralement lorsque le JSON est transformé en chaîne, par exemple {\"key\": \"value\"})

Si votre système envoie un log de valeurs séparées par des virgules (CSV) et que vous devez les analyser dans New Relic, vous pouvez utiliser le type Grok csv , qui analyse le CSV capturé par le modèle Grok. Ce format repose sur 3 parties principales : la syntaxe Grok, le préfixe que vous souhaitez attribuer à l'attribut CSV analysé et le type Grok csv . En utilisant le type Grok csv , vous pouvez extraire et analyser le CSV du log.

Étant donné la ligne log CSV suivante à titre d’exemple :

"2015-05-13T23:39:43.945958Z,202,POST,/shopcart/checkout,142,10"

Et une règle d'analyse avec la forme suivante :

%{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"]})}

Analysera votre log comme suit :

log.timestamp: "2015-05-13T23:39:43.945958Z"
log.status: "202"
log.method: "POST"
log.url: "/shopcart/checkout"
log.time: "142"
log.bytes: "10"

Si vous devez omettre le préfixe « log », vous pouvez inclure le "noPrefix": true dans la configuration.

%{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"], "noPrefix": true})}

configuration des colonnes :

• Il est obligatoire d'indiquer les colonnes dans la configuration de type CSV Grok (qui doit être un JSON valide).
• Vous pouvez ignorer n'importe quelle colonne en définissant « _ » (trait de soulignement) comme nom de colonne pour la supprimer de l'objet résultant.

Options de configuration facultatives :

Bien que la configuration des « colonnes » soit obligatoire, il est possible de modifier l'analyse du CSV avec les paramètres suivants.

• dropOriginal: (La valeur par défaut est true) Supprimez le snippet CSV utilisé dans l'analyse. Lorsque la valeur est true (valeur par défaut), la règle d'analyse supprime le champ d'origine.
• noPrefix: (La valeur par défaut est false) N'inclut pas le nom du champ Grok comme préfixe sur l'objet résultant.
• separator: (Par défaut ,) Définit le caractère/la chaîne qui divise chaque colonne.
  • Un autre scénario courant est celui des valeurs séparées par des tabulations (TSV), pour cela vous devez indiquer \t comme séparateur, ex. %{GREEDYDATA:log:csv({"columns": ["timestamp", "status", "method", "url", "time", "bytes"], "separator": "\t"})
• quoteChar: (Par défaut ") Définit le caractère qui entoure éventuellement le contenu d'une colonne.

Si votre système envoie un log contenant des adresses IPv4, New Relic peut les localiser géographiquement et enrichir l'événement de log avec l'attribut spécifié. Vous pouvez utiliser le type Grok geo , qui trouve la position d'une adresse IP capturée par le modèle Grok. Ce format peut être configuré pour renvoyer un ou plusieurs champs liés à l'adresse, tels que la ville, le pays et la latitude/longitude de l'IP.

Étant donné la ligne log suivante à titre d'exemple :

2015-05-13T23:39:43.945958Z 146.190.212.184

Et une règle d'analyse avec la forme suivante :

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:ip:geo({"lookup":["city","region","countryCode", "latitude","longitude"]})}

Nous allons analyser votre log comme suit :

ip: 146.190.212.184
ip.city: North Bergen
ip.countryCode: US
ip.countryName: United States
ip.latitude: 40.793
ip.longitude: -74.0247
ip.postalCode: 07047
ip.region: NJ
ip.regionName: New Jersey
containerTimestamp:2015-05-13T23:39:43.945958Z
ISO8601_TIMEZONE:Z

configuration de la recherche :

Il est obligatoire de spécifier les champs lookup souhaités renvoyés par l'action geo . Au moins un élément est requis parmi les options suivantes.

• city: Nom de la ville
• countryCode: Abréviation du pays
• countryName: Nom du pays
• latitude: Latitude
• longitude: Longitude
• postalCode: Code postal, code zip ou similaire
• region:Abréviation d'État, de province ou de territoire
• regionName: Nom de l'État, de la province ou du territoire

Le pipeline New Relic Logs analyse votre message de log par défaut, mais parfois vous avez des messages de log formatés sous forme de paires valeur/clé. Dans cette situation, vous souhaiterez peut-être pouvoir les analyser, puis pouvoir filtrer à l'aide de l'attribut valeur clé.

Dans ce cas, vous pouvez utiliser le type Grok keyvalue, qui analysera les paires clé-valeur capturées par le motif Grok. Ce format repose sur 3 parties principales : la syntaxe Grok, le préfixe que vous souhaitez attribuer aux attributs clé-valeur analysés et le keyvalue type Grok. En utilisant le type Grok keyvalue, vous pouvez extraire et analyser des paires clé-valeur à partir de logs qui ne sont pas correctement formatés ; par exemple, si vos logs sont préfixés par une chaîne date/heure :

2015-05-13T23:39:43.945958Z key1=value1,key2=value2,key3=value3

Pour extraire et analyser les données clé-valeur de ce format de log, créez l'expression Grok suivante :

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyvalue()}

Le log résultant est :

containerTimestamp: "2015-05-13T23:39:43.945958Z"
  my_attribute_prefix.key1: "value1"
  my_attribute_prefix.key2: "value2"
  my_attribute_prefix.key3: "value3"

Vous pouvez également définir le délimiteur et le séparateur personnalisés pour extraire les paires valeur-clé requises.

2015-05-13T23:39:43.945958Z event:TestRequest request:bar

Par exemple, avec l'expression Grok suivante :

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyvalue({"delimiter": " ", "keyValueSeparator": ":"})}

Le log résultant est :

containerTimestamp: "2015-05-13T23:39:43.945958Z"
my_attribute_prefix.event: "TestRequest"
my_attribute_prefix.request: "bar"

Si vous souhaitez omettre le préfixe my_attribute_prefix , vous pouvez inclure le "noPrefix": true dans la configuration.

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyValue({"noPrefix": true})}

Le log résultant est :

containerTimestamp: "2015-05-13T23:39:43.945958Z"
event: "TestRequest"
request: "bar"

Si vous souhaitez définir votre préfixe de caractère de citation personnalisé, vous pouvez inclure « quoteChar » : dans la configuration.

2015-05-13T23:39:43.945958Z nbn_demo='INFO',message='This message contains information with spaces ,sessionId='abc123'

%{TIMESTAMP_ISO8601:containerTimestamp} %{GREEDYDATA:my_attribute_prefix:keyValue({"quoteChar": "'"})}

Le log résultant est :

"my_attribute_prefix.message": "'This message contains information with spaces",
"my_attribute_prefix.nbn_demo": "INFO",
"my_attribute_prefix.sessionId": "abc123"

Paramètres du modèle Grok

Vous pouvez personnaliser le comportement de l'analyse avec les options suivantes en fonction de vos formats log :

• délimiteur

  • Description : Chaîne séparant chaque paire de valeur clé.
  • Valeur par défaut : , (virgule)
  • Remplacement : définissez le champ delimiter pour modifier ce comportement.

• Séparateur de valeur clé

  • Description : Chaîne utilisée pour attribuer des valeurs aux clés.
  • Valeur par défaut : =
  • Remplacement : définissez le champ keyValueSeparator pour l'utilisation d'un séparateur personnalisé.

• citationChar

  • Description : Caractère utilisé pour entourer des valeurs avec des espaces ou des caractères spéciaux.
  • Valeur par défaut : " (guillemets doubles)
  • Remplacement : définissez un caractère personnalisé à l’aide de quoteChar.

• dropOriginal

  • Description : Supprime le message d'origine du log après analyse. Utile pour réduire le stockage log .
  • Valeur par défaut : true
  • Remplacement : définissez dropOriginal sur false pour conserver le message d'origine du log.

• pas de préfixe

  • Description : Lorsque true, exclut le nom du champ Grok comme préfixe dans l'objet résultant.
  • Valeur par défaut : false
  • Remplacement : activer en définissant noPrefix sur true.

• échapperChar

  • Description : Définissez un caractère d'échappement personnalisé pour gérer les caractères log spéciaux.
  • Valeur par défaut : « » (barre oblique inverse)
  • Remplacer : Personnaliser avec escapeChar.

• trimValeurs

  • Description : permet de supprimer les valeurs contenant des espaces.
  • Valeur par défaut : false
  • Remplacement : définissez trimValues sur true pour activer le rognage.

• touches de finition

  • Description : Permet de rogner les clés contenant des espaces.
  • Valeur par défaut : true
  • Remplacement : définissez trimKeys sur true pour activer le rognage.

New Relic prend en charge les patterns Grok suivants :

• IP
• TIMESTAMP_ISO8601
• HTTPDATE
• TIME
• UUID
• MONTH
• SPACE
• DATESTAMP
• DATE
• COMBINEDAPACHELOG
• ISO8601_TIMEZONE
• MAC
• DATE_EU
• TZ
• DATE_US
• DAY
• LOGLEVEL
• NUMBER
• INT
• QUOTEDSTRING
• SYSLOGTIMESTAMP
• PATH
• SYSLOGBASE
• COMMONAPACHELOG
• IPV6
• COMMONMAC
• DATESTAMP_OTHER
• ISO8601_SECOND
• DATESTAMP_EVENTLOG
• SYSLOGBASE2
• HAPROXYHTTP
• RUBY_LOGGER
• WINDOWSMAC
• WORD
• DATA
• GREEDYDATA
• NOTSPACE
• BASE16FLOAT
• QS
• BASE10NUM
• USER
• IPORHOST
• USERNAME
• IPV4
• MONTHDAY
• YEAR
• HOSTNAME
• POSINT
• URIPATHPARAM
• URI
• URIPATH
• MONTHNUM
• NONNEGINT
• MINUTE
• SECOND
• HOUR
• URIHOST
• URIPROTO
• URIPARAM
• SYSLOGHOST
• BASE16NUM
• SYSLOGPROG
• HÔTE
• HOSTPORT
• JAVACLASS
• PROG
• UNIXPATH
• WINPATH
• MONTHNUM2
• RUBY_LOGLEVEL
• SYSLOGFACILITY
• CRON_ACTION
• HAPROXYCAPTUREDREQUESTHEADERS
• HAPROXYCAPTUREDRESPONSEHEADERS
• HAPROXYDATE
• CISOMAC