Organizar datos con particiones

Las particiones de datos son una forma de agrupar u organizar datos log para realizar consultas más rápidas y eficientes. Cuando una consulta tiene como objetivo una única partición, nuestra UI de registro:

• Escanea menos datos no relacionados
• Devuelve resultados más rápido

Las cuentas pueden tener varias particiones y se pueden consultar varias particiones al mismo tiempo.

Las particiones de datos también permiten asignar datos a un namespace alternativo o "secundario" con una retención fija de 30 días. Esto es útil para mantener el cumplimiento de regulaciones y estándares centrados en la privacidad, como el Reglamento General de Protección de Datos (GDPR) (GDPR).

Planifica tu partición

Antes de comenzar a crear particiones, asegúrese de tener los permisos necesarios y un plan sobre cómo implementar las particiones.

Dimensionar y organizar una partición

Puede obtener mejoras significativas en el rendimiento con el uso adecuado de las particiones de datos. Organizar sus datos en particiones discretas le permite consultar sólo los datos que necesita. Puede consultar una sola partición o una lista de particiones separadas por comas. Los objetivos de particionar sus datos deben ser:

• Cree particiones de datos que se alineen con las categorías de su entorno u organización que son estáticas o cambian con poca frecuencia (por ejemplo, por unidad de negocios, equipo, entorno, servicio, etc.).
• Crea particiones para optimizar la cantidad de eventos que deben escanear para tu consulta más común. No existe una regla estricta, pero generalmente, a medida que log de eventos escaneado supera los 500 millones (especialmente más de mil millones) para su consulta common, puede considerar ajustar su partición.

Los factores clave que impulsan los eventos escaneados:

• Tamaño de la partición (número de eventos)

• Retención predeterminada para una partición determinada (afecta el total de eventos potenciales que se pueden escanear en una consulta)

• Ventana de tiempo para la consulta NRQL

• Estructura de gráficos y dashboard

  • Duración de la ventana de tiempo predeterminada
  • Número de gráficos en un dashboard (aumenta el número de consultas)

¿Cuál es el tamaño de partición correcto?

Tener más particiones permite más búsquedas de objetivos, pero crear demasiadas particiones puede hacer que el log sea difícil de encontrar y aumentar la sobrecarga administrativa. Encontrar el equilibrio adecuado es importante.

Admitimos un máximo de 100 particiones por cuenta, pero la cantidad óptima para la mayoría de las cuentas dependerá de qué tan organizado esté su esquema de partición y qué tan bien pueda coordinar diferentes equipos y miembros del equipo en su uso de la plataforma. Si bien para algunos clientes puede resultar un desafío gestionar más de una docena de particiones en una cuenta, creemos que las particiones bien organizadas con agrupaciones lógicas de datos con convenciones de nombres mnemotécnicos pueden escalar mucho más allá de eso.

Consejos para estimar el tamaño de su partición

Para tener una idea de cuántos eventos entran en una partición determinada por día:

FROM Log_nginx
SELECT count(*)
SINCE 1 day ago

Además, puede comprender el uso y el rendimiento reales de la consulta en una partición analizando el evento NrDbQuery . Esto tiene una variedad de atributos útiles que incluyen la duración de la consulta, la declaración NRQL en sí y la ventana de tiempo empleada en la consulta.

Por ejemplo, la siguiente consulta devolverá un histograma de los tamaños de ventana de tiempo empleados en su consulta log para una partición determinada:

FROM NrdbQuery 
SELECT histogram(timeWindowMinutes, 5, 5) 
WHERE query like '%Log_nginx%'

Otra técnica útil es concentrar en la consulta más lenta contra una partición determinada y comprender las ventanas de tiempo que se emplean en esas consultas:

FROM NrdbQuery
SELECT percentile(durationMs, 90)
WHERE query like '%Log_nginx%'
FACET query, timeWindowMinutes

Elegir un namespace

El namespace de nombres de una partición determina su período de retención. Ofrecemos dos opciones de retención:

• Standard: La retención predeterminada de la cuenta está determinada por su suscripción a New Relic. Este es el período de retención máximo disponible en su cuenta y es el namespace que seleccionará para la mayoría de sus particiones.
• Secondary: Retención de 30 días. Todos los registros enviados a una partición que sea miembro del namespace secundario se eliminarán de forma continua 30 días después de haber sido ingeridos.

La retención secundaria no es un mecanismo de control de costos. Los datos se facturan en el momento de la ingesta.

Utilice la API NerdGraph para administrar particiones de datos

Si desea administrar sus particiones de datos mediante programación, puede utilizar el explorador de API NerdGraph: one.newrelic.com > All capabilities > Apps > NerdGraph API explorer. El tutorial de particiones de datos de NerdGraph muestra cómo consultar, crear y eliminar particiones de datos utilizando esta API.

Crear reglas de partición a través de UI

Para crear una nueva regla de partición:

1. Vaya a one.newrelic.com > All capabilities > Logs.
2. A la izquierda de la barra de consulta de log, haga clic en Partition y luego haga clic en Create new.
3. Defina Partition name como una cadena alfanumérica que comienza con Log_.
4. Agregue una descripción opcional.
5. Seleccione el espacio de nombres de retención para la partición.
6. Establezca el Matching criteria de su regla: ingrese una cláusula NRQL WHERE válida para que coincida con el registro que se almacenará en esta partición.

Buscar particiones de datos

La partición predeterminada es Log. Cualquier log que no se vea afectado por una regla de partición se almacenará en la partición Log de forma predeterminada.

Puedes consultar varias particiones al mismo tiempo. Para obtener el mejor rendimiento, seleccione la menor cantidad de particiones posible.

Para buscar particiones: a la izquierda de la barra de consulta de registro, haga clic en Partition y use la barra de búsqueda de particiones.