Una forma de gestionar la ingesta de datos es mediante el uso de reglas cloud de Control de pipelines. Para crear Pipeline cloud reglas , debes tener New Relic Compute el plan de precios basado en uso de .

Hay dos categorías de reglas que puedes crear:

Regla de eliminación de datos
- Descarte tipos de datos completos o un subconjunto de datos (con filtro opcional) mediante la acción Drop data , con NRQL en la forma:
  DELETE FROM DATA_TYPE_1, DATA_TYPE_2 (WHERE OPTIONAL_FILTER)
Regla de eliminación de atributos
- Eliminar atributos de los tipos de datos (con filtro opcional) mediante la acción Drop attributes , con NRQL en la forma:
  DELETE dropAttr1, dropAttr2 FROM DATA_TYPE (WHERE OPTIONAL_FILTER)
- Para este tipo de regla, debe pasar una lista no vacía de nombres de atributos sin procesar en la cláusula SELECT .

Sugerencia

Las reglas de control de pipelines cloud solo se aplican a los datos que llegan desde el momento en que crea la regla, no eliminan los datos que ya se ingirieron.

Para obtener más información sobre qué datos se consideran facturables y cuáles no, consulte Ingesta de datos.

Alcance de los datos de las reglas de la nube

Emplee reglas cloud para identificar los siguientes tipos de datos:

Evento reportado por APM
Evento informado browser
Evento reportado desde dispositivos móviles
Evento reportado por Sintético
evento personalizado (como los generados por las API del agente APM o la API de eventos)
log datos (también puede usar la UI para eliminar datos)
Rastreo distribuido abarca
Evento de monitoreo de infraestructura predeterminado y evento de integración de infraestructura . Algunas advertencias:
- Al eliminar estos datos, se eliminan los datos sin procesar, pero los eventos agregados SystemSample, ProcessSample, NetworkSample y StorageSample siguen estando disponibles (para obtener más información sobre esto, consulte retención de datos). Aunque todavía están disponibles, estos datos no cuentan para la ingesta y no son facturables.
- Los datos de infraestructura sin procesar se utilizan para alertar, por lo que si elimina esos datos, no podrá alertar sobre ellos. Debido a que los datos agregados aún están disponibles, es posible que aún los vea en gráficos con rangos de tiempo superiores a 59 minutos.
Dimensiones métricas. Algunas advertencias:
- Para las métricas generadas por el servicio evento-a-métrica: las reglas de la nube no funcionarán, pero estas métricas se pueden detener o los atributos se pueden podar deshabilitando o reconfigurando la regla evento-a-métrica.
- Los datos de intervalo de tiempo de métrica no se pueden eliminar con reglas cloud . Para obtener más información sobre los datos del intervalo de tiempo de métrica APM , consulte este documento.

Restricciones NRQL

El límite de la longitud de la consulta NRQL es de 4096 caracteres. Si excede la longitud, se produce el error INVALID_NRQL_TOO_LONG . Si necesita eliminar datos basados en una consulta más larga que no se puede dividir, comunicar con el soporte de New Relic.
JOIN y no se admiten subconsultas .
Puede proporcionar una cláusula WHERE para seleccionar datos con atributos específicos.
No se pueden emplear características como LIMIT, TIMESERIES, COMPARE WITH, FACET y otras cláusulas.
SINCE y UNTIL no son compatibles. Si tiene reglas específicas de tiempo (por ejemplo, dejar todo hasta un momento en el futuro), emplee WHERE timestamp < (epoch milliseconds in the future).
No puedes usar SINCE para eliminar datos históricos. Las reglas de la nube solo se aplican a los datos informados luego de la creación de la regla. Si necesita eliminar datos que ya se informaron, consulte Eliminar datos existentes o comunicar con el soporte de New Relic.

Historial de reglas de auditoría

Para ver quién creó y eliminó las reglas cloud , consulte los logs de auditoría de su cuenta. La lista extremo también incluye el ID de usuario de la persona que creó la regla.

Precauciones al soltar datos

Las reglas de la nube se aplican a cada punto de datos de forma independiente. Por ejemplo, veamos las siguientes tres reglas de eliminación de datos:

Importante

Al crear reglas, usted es responsable de garantizar que las reglas identifiquen y descarten con precisión los datos que cumplan las condiciones que estableció. Usted también es responsable de monitorear la regla, así como los datos que divulga a New Relic.

1. DELETE FROM MyEvent WHERE myAttr not in ('staging')
2. DELETE FROM MyEvent WHERE myAttr not in ('production')
3. DELETE FROM MyEvent WHERE myAttr in ('development')

Estas tres reglas se aplican independientemente a cada punto de datos; en resumen, todos los eventos MyEvent que contengan myAttr con cualquier valor serán descartados:

myAttr: 'staging' -> Regla de coincidencia 2
myAttr: 'production' -> coincide con la regla 1
myAttr: 'development' -> coincide con las reglas 1, 2 y 3
myAttr: 'uuid-random-string' -> coincide con las reglas 1 y 2

New Relic no puede garantizar que esta funcionalidad resolverá por completo las inquietudes sobre divulgación de datos que pueda tener. New Relic no revisa ni monitorea la efectividad de las reglas que desarrollas. Pruebe siempre y vuelva a probar su consulta y, luego de crear la regla de eliminación, cerciorar de que funcione como se espera.

La creación de reglas sobre datos confidenciales puede filtrar información sobre qué tipos de datos mantiene, incluido el formato de sus datos o sistemas (por ejemplo, al hacer referencia a direcciones de correo electrónico o números de tarjetas de crédito específicos). Las reglas que usted crea, incluida toda la información contenida en esas reglas, pueden ser vistas y editadas por cualquier usuario con los permisos de control de acceso basados en roles pertinentes.

Sólo se eliminarán los datos nuevos. Los datos existentes no se pueden editar ni eliminar.

Gestionar las reglas cloud

Para crear y editar reglas, puede emplear la de UI de Control de pipelines o el API explorador deNerdGraph (one.newrelic.com > Apps > NerdGraph API explorer).

Advertencia

Tenga cuidado al decidir eliminar datos. Los datos que usted arroja no se pueden recuperar. Para obtener más detalles sobre posibles problemas, consulte Notas de precaución.

Ejemplos de casos de uso

Digamos que notas que se envían algunos tipos de eventos a New Relic que no son importantes para ti. Además, detener la fuente para que deje de enviar esos tipos de eventos rápidamente no es realista y requiere cambios en el agente y/o la instrumentación API . Usar una regla cloud es una forma más sencilla de lograr el mismo objetivo.

A continuación se muestra un ejemplo de llamada a NerdGraph que genera dos tipos de eventos: Event1 y Event2.

mutation {
  entityManagementCreatePipelineCloudRule(
    pipelineCloudRuleEntity: {
      description: "Event1 and Event2 are unimportant, see ticket DM-1234"
      name: "Drop all data for Event1 and Event2"
      nrql: "DELETE FROM Event1, Event2"
      scope: { id: "your_nr_account_id", type: ACCOUNT }
    }
  ) {
    entity {
      id
      name
      nrql
    }
  }
}

Digamos que tiene un tipo de evento personalizado de gran volumen que llega desde múltiples fuentes. Si no considera que todos esos datos sean importantes, puede emplear una regla cloud . A continuación se muestra un ejemplo de una regla cloud que filtra eventos según criterios específicos.

mutation {
  entityManagementCreatePipelineCloudRule(
    pipelineCloudRuleEntity: {
      description: "Drops all data for MyCustomEvent that comes from the LoadGeneratingApp in the dev environment, because there is too much and we don’t look at it"
      name: "Drop MyCustomEvent from LoadGeneratingApp in dev"
      nrql: "DELETE FROM MyCustomEvent WHERE appName='LoadGeneratingApp' AND environment='development'"
      scope: { id: "your_nr_account_id", type: ACCOUNT }
    }
  ) {
    entity {
      id
      name
      nrql
    }
  }
}

Digamos que usted nota que un evento tiene atributos que contienen información de identificación personal (PII). Está trabajando para actualizar sus servicios para dejar de enviar datos, pero hasta entonces, debe dejar de almacenar más información identificable (PII) en New Relic. Aunque puedes descartar todos los datos a medida que llegan a la puerta con Drop data, el resto de los datos aún brindan valor. Por lo tanto, puede registrar una regla cloud para eliminar únicamente la información PII ofensiva de sus datos:

mutation {
  entityManagementCreatePipelineCloudRule(
    pipelineCloudRuleEntity: {
      description: "Removes the user name and email fields from MyCustomEvent"
      name: "Drop username and email from MyCustomEvent"
      nrql: "DELETE userName, userEmail FROM MyCustomEvent"
      scope: { id: "your_nr_account_id", type: ACCOUNT }
    }
  ) {
    entity {
      id
      name
      nrql
    }
  }
}

Verifique que su regla funcione

Luego de crear una regla cloud , es posible que desee verificar que funcione como se espera. La regla debería tener efecto rápidamente luego de un registro exitoso, así que intente ejecutar una versión TIMESERIES de la consulta que registró para ver que los datos desaparecen.

Nota: Los datos de seriales temporales se representan con el tiempo del evento (no el tiempo de procesamiento) como eje x. Dado que New Relic acepta datos con una timestamp de hasta veinticuatro horas en el futuro, es posible que vea algunos datos que se enviaron a New Relic antes de que se creara la regla, pero con una timestamp de evento posterior a la creación de la regla.

Tipo de regla de nube	NRQL
`Drop data`	Cloud rule NRQL: `DELETE FROM MyEvent WHERE foo = bar` Validation NRQL: `SELECT count(*) FROM MyEvent WHERE foo = bar TIMESERIES` Esto debería caer a 0. Para verificar que no afectó a nada más, invierta la cláusula `WHERE` .
`Drop attributes`	Cloud rule NRQL: `DELETE dropAttr1, dropAttr2 FROM MyEvent WHERE foo = bar` Validation NRQL: `SELECT count(dropAttr1), count(dropAttr2) FROM MyEvent WHERE foo = bar TIMESERIES` Ambas líneas deberían caer a 0. Para verificar que no afectó el evento que contenía estos atributos y aún debería hacerlo, invierta la cláusula `WHERE` .

Tipo de regla de nube

NRQL

Drop data

Cloud rule NRQL:

DELETE FROM MyEvent WHERE foo = bar

Validation NRQL:

SELECT count(*) FROM MyEvent WHERE foo = bar TIMESERIES

Esto debería caer a 0. Para verificar que no afectó a nada más, invierta la cláusula WHERE .

Drop attributes

Cloud rule NRQL:

DELETE dropAttr1, dropAttr2 FROM MyEvent WHERE foo = bar

Validation NRQL:

SELECT count(dropAttr1), count(dropAttr2) FROM MyEvent WHERE foo = bar TIMESERIES

Ambas líneas deberían caer a 0. Para verificar que no afectó el evento que contenía estos atributos y aún debería hacerlo, invierta la cláusula WHERE .

Ejemplos de NerdGraph

Crear reglas cloud

Soltar datos:

mutation {
  entityManagementCreatePipelineCloudRule(
    pipelineCloudRuleEntity: {
      description: "Since we only care about MyEvent in staging and production, let's drop all MyEvent data in the test environment"
      name: "Drop MyEvent in test environment"
      nrql: "DELETE FROM MyEvent where environment = 'test'"
      scope: { id: "your_nr_account_id", type: ACCOUNT }
    }
  ) {
    entity {
      id
      name
      nrql
    }
  }
}

Eliminar atributos:

mutation {
  entityManagementCreatePipelineCloudRule(
    pipelineCloudRuleEntity: {
      description: "Since we only care about MyEvent in staging and production, let's drop all MyEvent data in the test environment"
      name: "Drop MyEvent in test environment"
      nrql: "DELETE jvmId, targetAttr FROM MyEvent where environment = 'test'"
      scope: { id: "your_nr_account_id", type: ACCOUNT }
    }
  ) {
    entity {
      id
      name
      nrql
    }
  }
}

Eliminar una regla cloud

mutation {
  entityManagementDelete(
    id: "MTAyNTY1MHxOR0VQfFBJUEVMSU5FX0NMT1VEX1JVTEV8MDE5NWI0NDYtNjk5My03NGE5LWEyYjktMzBjMzQ1ODM0NTUz"
  ) {
    id
  }
}

Ver reglas cloud

Obtenga una única regla cloud :

{
  actor {
    entityManagement {
      entity(
        id: "MTAyNTY1MHxOR0VQfFBJUEVMSU5FX0NMT1VEX1JVTEV8MDE5NWI0M2UtYmFhNy03NDk3LWI0N2ItNjUyMmEzZDFmZTFi"
      ) {
        id
        ... on EntityManagementPipelineCloudRuleEntity {
          id
          name
          description
          nrql
          metadata {
            createdBy {
              id
            }
            createdAt
          }
        }
      }
    }
  }
}

Enumere todas las reglas cloud :

{
  actor {
    entityManagement {
      entitySearch(query: "type = 'PIPELINE_CLOUD_RULE'") {
        entities {
          id
          type
          ... on EntityManagementPipelineCloudRuleEntity {
            id
            name
            nrql
          }
          metadata {
            createdBy {
              id
            }
          }
        }
      }
    }
  }
}

Evento y atributo no desplegables

No puedes eliminar los siguientes eventos y atributos mediante reglas cloud :

Tipo de evento	Descripción
`NrAuditEvent`	Información de auditoría importante sobre el uso de la API que no se puede omitir.
`NrIntegrationError`	Información importante sobre problemas entre usted y New Relic.

Atributo	Descripción
Cualquier atributo con prefijo `nr.`	Usado internamente por New Relic
`timestamp`	Integral a todos los tipos de datos
`appId`	Integral a todos los tipos de datos
`metricName`	Integral al tipo de dato métrica
`instrumentation.provider`	Se emplea para datos de facturación y uso.

Aprende más

Recomendaciones para aprender más:

Conceptos básicos y terminología de NerdGraph
Conceptos básicos de NRQL
Explore el Foro de soporte para discusiones de la comunidad sobre las reglas cloud .
Para profundizar en la gestión de la ingesta de datos para una organización compleja, consulte Gobernanza de la ingesta de datos.

Te ofrecemos esta traducción automática para facilitar la lectura.

Eliminar datos mediante reglas cloud de control de tuberías