Entendiendo su pipeline de ingesta

En esta sección, explorará la arquitectura de la canalización de ingesta, que representa visualmente cómo fluyen sus telemetry data a través del sistema. Verá cómo el uso de reglas de nube y cloud puede afectar el volumen de datos y optimizar su estrategia de gestión de datos.

Componentes de su canalización de ingesta

1. Fuentes de MELT:

   • Métricas, eventos, logs y trazas (MELT): estos son los principales tipos de datos de observabilidad que se recopilan de varias fuentes. Forman el punto de partida de su canal de ingesta.

2. Líneas de flujo de datos:

   • Las líneas emanan de cada fuente MELT y representan los datos que se envían al NRDB. Cada línea está anotada con un volumen de datos, medido en millones (M), que indica la cantidad de volumen de datos en tránsito.

3. Puerta:

   • Ubicada entre las fuentes MELT y las reglas cloud , la puerta de enlace actúa como un filtro y aplica las reglas definidas por el usuario para descartar datos de bajo valor antes de que salgan de la red. Esto reduce el volumen de datos enviados al NRDB, optimizando los costos de almacenamiento y salida.

4. Reglas de la nube:

   • Las reglas de la nube se aplican dentro de New Relic Cloud, filtrando aún más los datos antes de que lleguen a NRDB. El diagrama indica el número de reglas cloud operativas.

5. Base de datos de recursos NR:

   • La base de datos New Relic (NRDB) es el destino final de los datos procesados. Almacena los telemetry data refinados, listos para su análisis y visualización.

Representación visual

• Sin puerta de enlace ni reglas cloud :

  • El diagrama muestra líneas directas desde las fuentes MELT a NRDB, con mayores volúmenes de datos debido a la ausencia de filtrado.

• Con reglas de puerta de enlace y cloud :

  • El diagrama ilustra volúmenes de datos reducidos a medida que las líneas pasan a través de la puerta de enlace y las reglas cloud . Sólo se procesa la telemetría del agente APM configurado para enrutarse a través del gateway.