Nesta seção, você explorará a arquitetura do pipeline de ingestão, que representa visualmente como seus dados de telemetria fluem pelo sistema. Você verá como o uso de regras de gateway e cloud pode impactar o volume de dados e otimizar sua estratégia de gerenciamento de dados.
Componentes do seu pipeline de ingestão
Fontes do MELT:
- métrica, evento, logs e rastreamento (MELT): esses são os principais tipos de dados de observabilidade que você coleta de várias fontes. Eles formam o ponto de partida do seu pipeline de ingestão.
Linhas de fluxo de dados:
- Linhas emanam de cada fonte MELT, representando os dados sendo enviados ao NRDB. Cada linha é anotada com um volume de dados, medido em milhões (M), indicando a quantidade de volume de dados em trânsito.
Porta de entrada:
- Posicionado entre as fontes MELT e as regras cloud , o gateway atua como um filtro, aplicando as regras definidas pelo usuário para descartar dados de baixo valor antes que eles saiam da rede. Isso reduz o volume de dados enviados ao NRDB, otimizando os custos de armazenamento e saída.
Regras da nuvem:
- As regras da nuvem são aplicadas dentro do New Relic Cloud, filtrando ainda mais os dados antes que eles cheguem ao NRDB. O diagrama indica o número de regras operacionais cloud .
Banco Nacional de Desenvolvimento Econômico e Social (NRDB):
- O New Relic banco de dados (NRDB) é o destino final dos dados processados. Ele armazena os dados de telemetria refinados, prontos para sua análise e visualização.
Representação visual
A visualização do pipeline de ingestão é organizada em três seções principais que mostram seu fluxo de trabalho de processamento de dados:
Fontes:
- Exibe os tipos de telemetria (Métricas, Eventos e Logs, Traces) que agentes e coletores enviam para a New Relic. Isso mostra os pontos de entrada para seus dados de observabilidade.
Porta de entrada:
- Mostra os cartões de configuração do processador que transformam e filtram seus dados. Cada processador (Regra de Amostragem, Filtro, Transformação) exibe seu status atual de configuração e regras. Você pode visualizar e gerenciar como os dados são processados antes de saírem da sua infraestrutura.
Nuvem:
- Indica regras de nuvem em execução na infraestrutura da New Relic. Isso mostra a filtragem adicional aplicada após os dados chegarem aos endpoints da New Relic.
A visualização fornece uma visão clara do fluxo de trabalho da configuração do seu pipeline, mostrando quais regras de processamento estão ativas em cada estágio. Selecione qualquer cartão de processador para visualizar a configuração detalhada ou modificar regras.