Una vez que haya decidido qué registro ingerir y almacenar, es hora de organizarlo. Es probable que todavía estés ingiriendo cientos de gigabytes o docenas de terabytes de registros. Si bien es mucho menos de lo que tenía originalmente, aún tendrá que esforzarse al intentar usarlos de manera efectiva.
Para resolver esto, agruparemos estos registros restantes en particiones temáticas y analizaremos el registro para extraerlo y etiquetarlo como atributo valioso. Al organizar su registro de esta manera, puede:
- Consulta por cualquier atributo dentro de tu log
- Administre particiones específicas a la vez, como el registro de frontend versus el registro de backend
- Reducir los tiempos de carga de consultas
¿Por qué particionar su registro?
Separar su registro en particiones discretas puede mejorar el rendimiento y hacer que su registro sea más fácil de administrar. Por ejemplo, imagine que desea consultar un atributo que solo se encuentra en el registro de interfaz. Consultar a través de 5 TB de registro llevará mucho más tiempo que consultar a través de una partición específica de 1 TB de solo registro frontal.
Los objetivos de particionar sus datos:
- Cree particiones de datos que se alineen con conceptos de su entorno u organización que sean estáticos o cambien con poca frecuencia (por ejemplo, por unidad de negocio, equipo, entorno, servicio, etc.).
- Asegúrese de que cada partición permanezca por debajo de 1 TB de ingesta diaria para un rendimiento óptimo.
Existen dos tipos de retención para particiones. Elija Standard para obtener la máxima retención; Úselo para obtener datos valiosos que quizás desee consultar en el futuro. Elija Secondary para una retención de 30 días; Úselo para datos menos valiosos o para datos que solo necesitará en un futuro próximo.
¿Por qué analizar el registro?
Analizar su registro durante la ingesta es la mejor manera de hacer que usted y otros usuarios de su organización puedan utilizar mejor sus datos log . Por ejemplo, compare estos dos registros antes y después del análisis utilizando una regla de análisis de Grok:
Análisis previo:
{ "message": "32 4329 store_Portland"}Análisis posterior:
{ "transaction_total": "32", "purchase_number": "4329", "store_location": "store_Portland",}Esto le permite consultar fácilmente el atributo recién definido, como transaction_total en el panel y alerta.
Organiza tu registro
Digamos que ACME Corp sabe que consumirán alrededor de 2 TB de registros en los próximos meses. Quieren crear particiones para los registros provenientes de su aplicación Java y de su agente de infraestructura. Piensan que es posible que necesiten consultar su registro de Java en el futuro, por lo que deciden utilizar una retención estándar. Mientras tanto, solo necesitan un registro de infraestructura reciente, por lo que utilizarán la retención secundaria para ellos.
Para hacerlo:
Navega a la UI
Particiona tu registro
Desde
Manage data
en el panel de navegación izquierdo, haga clic en
Data partitions
y luego haga clic en
Create partition rule
.
Defina un nombre de partición como una cadena alfanumérica que comience con
Log_. En este casoLog_java.Agregue una descripción opcional.
Seleccione la retención de namespace estándar para la partición.
Establezca los criterios de coincidencia de su regla: ingrese una cláusula NRQL
WHEREválida para que coincida con el registro que se almacenará en esta partición. En este casologtype=java.Haga clic en
Create
para guardar su nueva partición.
Esto crea una partición de datos con retención de datos estándar para todos los registros de Java. Para organizar su registro de infraestructura, debe seguir los mismos pasos anteriores, solo cambiando la retención a secundaria y la consulta a logtype=infrastructure.
Analiza tu registro
Ahora que su registro está particionado, es hora de analizarlo. Analizarlos le permite extraer datos relevantes dentro de su registro para facilitar las consultas y la accesibilidad.
Para analizar su registro:
Desde
Manage Data
en el panel de navegación izquierdo de la UI de registro, haga clic en
Parsing
y luego haga clic en
Create parsing rule
.
Introduzca un nombre para la nueva regla de análisis.
Seleccione un campo existente para analizar (el valor predeterminado es
message) o ingrese un nuevo nombre de campo.Introduzca una cláusula NRQL
WHEREválida que coincida con el registro que desea analizar.Seleccione un log coincidente, si existe, o haga clic en la pestaña pegar log para pegar un log de muestra.
Ingrese la regla de análisis y valide que esté funcionando viendo los resultados en la sección
Output
. (Ver ejemplo a continuación)
Habilite y guarde la regla de análisis personalizada.
El siguiente ejemplo le guía a través de un ejemplo específico de creación de una regla de análisis:
Para obtener una visión más profunda de la creación de patrones de Grok para analizar registros, lea nuestra publicación de blog.
Que sigue
¡Felicitaciones por descubrir el verdadero valor de su registro y ahorrarle a su equipo horas de frustración con su registro! A medida que su sistema crece y ingiere, deberá garantizar el mantenimiento de las reglas de análisis y las particiones. Si está interesado en profundizar en lo que New Relic puede hacer por usted, consulte estos documentos:
- Análisis de datos log : una mirada más profunda al análisis de registros con Grok y aprenda cómo crear, consultar y administrar sus reglas de análisis de registros utilizando NerdGraph, nuestra API GraphQL.
- patrones de registros: los patrones de registros son la forma más rápida de descubrir valor en los datos de registro sin necesidad de buscar.
- Ofuscación de registros: Con log regla de ofuscación, puedes evitar que ciertos tipos de información se guarden en New Relic.
- Buscar datos en registros largos (blobs): los datos log extensos pueden ayudarle a solucionar problemas. Pero, ¿qué pasa si un atributo de su log contiene miles de caracteres? ¿Cuántos de estos datos puede almacenar New Relic? ¿Y cómo encontrar información útil en todos estos datos?