Comprendre votre pipeline d'ingestion

Dans cette section, vous explorerez l'architecture pipeline d'ingestion, qui représente visuellement la manière dont vos données télémétriques circulent dans le système. Vous verrez comment l’utilisation de règles de gateway et de cloud peut avoir un impact sur le volume de données et optimiser votre stratégie de gestion des données.

Composants de votre pipeline d'ingestion

1. Sources MELT :

   • Métriques, événements, logs et traces (MELT) : ce sont les principaux types de données d'observabilité que vous collectez à partir de diverses sources. Ils constituent le point de départ de votre pipeline d’ingestion.

2. Lignes de flux de données :

   • Des lignes émanent de chaque source MELT, représentant les données envoyées au NRDB. Chaque ligne est annotée avec un volume de données, mesuré en millions (M), indiquant la quantité de volume de données en transit.

3. Porte:

   • Située entre les sources MELT et les règles cloud, le gateway agit comme un filtre, appliquant vos règles définies par l'utilisateur pour supprimer les données de faible valeur avant qu'elles ne quittent votre réseau. Cela réduit le volume de données envoyé au NRDB, optimisant ainsi les coûts de stockage et de sortie.

4. Règles du cloud :

   • Les règles du cloud sont appliquées dans le cloud New Relic, filtrant davantage les données avant qu'elles n'atteignent la NRDB. Le diagramme indique le nombre de règles cloud opérationnelles.

5. NRDB :

   • La base de données New Relic (NRDB) est la destination finale des données traitées. Il stocke les données télémétriques affinées, prêtes pour votre analyse et visualisation.

Représentation visuelle

La vue du pipeline d'ingestion est organisée en trois sections principales qui présentent votre workflow de traitement des données :

• Sources :

  • Affiche les types de télémétrie (métriques, événements et logs, traces) que les agents et les collecteurs envoient à New Relic. Ceci indique les points d'entrée de vos données d'observabilité.

• Porte:

  • Affiche les cartes de configuration des processeurs qui transforment et filtrent vos données. Chaque processeur (Règle d'échantillonnage, Filtre, Transformation) affiche l'état actuel de sa configuration et ses règles. Vous pouvez visualiser et gérer la façon dont les données sont traitées avant qu'elles ne quittent votre infrastructure.

• Cloud :

  • Indique les règles cloud qui s'exécutent dans l'infrastructure de New Relic. Cela montre le filtrage supplémentaire appliqué après que les données ont atteint les endpoints New Relic.

La vue offre une visualisation claire du workflow de la configuration de votre pipeline, indiquant quelles règles de traitement sont actives à chaque étape. Sélectionnez une carte de processeur pour afficher la configuration détaillée ou modifier les règles.