Organize dados com partições

As partições de dados são uma forma de agrupar ou organizar dados de log para consultas mais rápidas e eficientes. Quando consultamos o destino de uma única partição, nossa interface de log:

• Verifica menos dados não relacionados
• Retorna resultados mais rápido

As contas podem ter múltiplas partições e múltiplas partições podem ser consultadas ao mesmo tempo.

As partições de dados também permitem que os dados sejam mapeados para um namespace alternativo ou “secundário” com uma retenção fixa de 30 dias. Isto é útil para manter a conformidade com regulamentos e padrões centrados na privacidade, como o Regulamento Geral sobre Proteção de Dados (GDPR).

Planeje sua partição

Antes de começar a criar partições, certifique-se de ter as permissões necessárias e um plano de como implementar as partições.

Dimensionando e organizando uma partição

Você pode obter melhorias significativas de desempenho com o uso adequado de partições de dados. Organizar seus dados em partições discretas permite que você consulte apenas os dados necessários. Você pode consultar uma única partição ou uma lista de partições separadas por vírgulas. Os objetivos do particionamento de seus dados devem ser:

• Crie partições de dados que se alinhem às categorias em seu ambiente ou organização que são estáticas ou mudam com pouca frequência (por exemplo, por unidade de negócios, equipe, ambiente, serviço, etc.).
• Crie partições para otimizar o número de eventos que devem ser escaneados para sua consulta mais comum. Não há uma regra rígida, mas geralmente, quando o evento de log escaneado ultrapassa 500 milhões (especialmente mais de 1 bilhão) para sua common consulta, você pode considerar ajustar seu particionamento.

Os principais impulsionadores do evento digitalizado:

• Tamanho da partição (número de eventos)

• Retenção padrão para uma partição específica (impacta o total de eventos potenciais que podem ser escaneados em uma consulta)

• Janela de tempo para a consulta NRQL

• Estrutura de gráfico e dashboard

  • Duração da janela de tempo padrão
  • Número de gráficos em um dashboard (aumenta o número de consultas)

Qual é o tamanho correto da partição?

Ter mais partições permite mais pesquisas de destino, mas criar muitas partições pode dificultar a localização do log e aumentar a sobrecarga administrativa. Encontrar o equilíbrio certo é importante.

Oferecemos suporte a no máximo 100 partições por conta, mas o número ideal para a maioria das contas dependerá de quão organizado é seu esquema de partições e de quão bem você consegue coordenar diferentes equipes e membros da equipe no uso da plataforma. Embora alguns clientes achem desafiador gerenciar mais de uma dúzia de partições em uma conta, acreditamos que partições bem organizadas com agrupamentos lógicos de dados com convenções de nomenclatura mnemônicas podem ir muito além disso.

Dicas para estimar o tamanho da sua partição

Para ter uma ideia de quantos eventos estão acontecendo em uma determinada partição por dia:

FROM Log_nginx
SELECT count(*)
SINCE 1 day ago

Além disso, você pode entender o uso real da consulta e o desempenho em relação a uma partição analisando o evento NrDbQuery . Isso tem uma variedade de atributos úteis, incluindo a duração da consulta, a declaração NRQL em si e a janela de tempo usada na consulta.

Por exemplo, a consulta a seguir retornará um histograma dos tamanhos de janela de tempo usados em sua consulta log para uma determinada partição:

FROM NrdbQuery 
SELECT histogram(timeWindowMinutes, 5, 5) 
WHERE query like '%Log_nginx%'

Outra técnica útil é focar na consulta mais lenta em uma determinada partição e entender as janelas de tempo que estão sendo usadas nessas consultas:

FROM NrdbQuery
SELECT percentile(durationMs, 90)
WHERE query like '%Log_nginx%'
FACET query, timeWindowMinutes

Escolhendo um namespace

O namespace de uma partição determina seu período de retenção. Oferecemos duas opções de retenção:

• Standard: A retenção padrão da conta determinada pela sua assinatura do New Relic. Este é o período máximo de retenção disponível na sua conta e é o namespace que você selecionará para a maioria das suas partições.
• Secondary: Retenção de 30 dias. Todos os logs enviados para uma partição que seja membro do namespace Secundário serão eliminados continuamente 30 dias após terem sido ingeridos.

A retenção secundária não é um mecanismo de controle de custos. Os dados são cobrados na ingestão.

Use a API NerdGraph para gerenciar partições de dados

Se quiser gerenciar suas partições de dados programaticamente, você pode usar o NerdGraph API Explorer: one.newrelic.com > All capabilities > Apps > NerdGraph API explorer. O tutorial de partições de dados do NerdGraph mostra como consultar, criar e excluir partições de dados usando esta API.

Crie regras de partição via interface

Para criar uma nova regra de partição:

1. Vá para one.newrelic.com > All capabilities > Logs.
2. À esquerda da barra de consulta de registro, clique em Partition e em Create new.
3. Defina um Partition name como uma sequência alfanumérica que começa com Log_.
4. Adicione uma descrição opcional.
5. Selecione o namespace de retenção para a partição.
6. Defina o Matching criteria da sua regra: insira uma cláusula NRQL WHERE válida para corresponder ao log a ser armazenado nesta partição.

Pesquisar partições de dados

A partição padrão é Log. Qualquer log que não seja afetado por uma regra de partição será armazenado na partição Log por padrão.

Você pode consultar múltiplas partições ao mesmo tempo. Para obter o melhor desempenho, selecione o menor número possível de partições.

Para pesquisar partições: À esquerda da barra de consulta de log, clique em Partition e use a barra de pesquisa de partições.