Compreendendo seu pipeline de ingestão

Nesta seção, você explorará a arquitetura do pipeline de ingestão, que representa visualmente como seus dados de telemetria fluem pelo sistema. Você verá como o uso de regras de gateway e cloud pode impactar o volume de dados e otimizar sua estratégia de gerenciamento de dados.

Componentes do seu pipeline de ingestão

1. Fontes do MELT:

   • métrica, evento, logs e rastreamento (MELT): esses são os principais tipos de dados de observabilidade que você coleta de várias fontes. Eles formam o ponto de partida do seu pipeline de ingestão.

2. Linhas de fluxo de dados:

   • Linhas emanam de cada fonte MELT, representando os dados sendo enviados ao NRDB. Cada linha é anotada com um volume de dados, medido em milhões (M), indicando a quantidade de volume de dados em trânsito.

3. Porta de entrada:

   • Posicionado entre as fontes MELT e as regras cloud , o gateway atua como um filtro, aplicando as regras definidas pelo usuário para descartar dados de baixo valor antes que eles saiam da rede. Isso reduz o volume de dados enviados ao NRDB, otimizando os custos de armazenamento e saída.

4. Regras da nuvem:

   • As regras da nuvem são aplicadas dentro do New Relic Cloud, filtrando ainda mais os dados antes que eles cheguem ao NRDB. O diagrama indica o número de regras operacionais cloud .

5. Banco Nacional de Desenvolvimento Econômico e Social (NRDB):

   • O New Relic banco de dados (NRDB) é o destino final dos dados processados. Ele armazena os dados de telemetria refinados, prontos para sua análise e visualização.

Representação visual

• Sem regras de gateway e cloud :

  • O diagrama mostra linhas diretas de fontes MELT para NRDB, com maiores volumes de dados devido à ausência de filtragem.

• Com regras de gateway e cloud :

  • O diagrama ilustra volumes de dados reduzidos à medida que as linhas passam pelas regras de gateway e cloud . Somente a telemetria do agente APM configurada para rotear através do gateway é processada.