Monitor el flujo de aire de Apache con OpenTelemetry

monitor los datos de Apache Airflow configurando OpenTelemetry para enviar datos a New Relic, donde puede visualizar tareas, operadores y ejecuciones de DAG como métrica.

Requisitos previos

Antes de habilitar OpenTelemetry en Apache Airflow, deberá instalar el paquete Airflow con el extra otel . El método de instalación depende de su enfoque de implementación de Airflow:

Opción 1: instalación desde PyPi

1. Siga las instrucciones de instalación de la documentación de Airflow.

2. Al instalar con pip, agregue el otel adicional al comando. Por ejemplo:

   pip install "apache-airflow[otel]"

Opción 2: instalación desde docker

1. Configure la imagen de Airflow Docker siguiendo las instrucciones de la documentación de Airflow.

2. Amplíe la imagen docker prediseñada utilizando un Dockerfile para instalar el extra otel. Puede reemplazar la última etiqueta con la versión que desee de la imagen.

   FROM apache/airflow:latest
   RUN pip install --no-cache-dir "apache-airflow[otel]==$AIRFLOW_VERSION"

   Copia

Configuración

Para enviar Airflow métrica a New Relic, configure la métrica OpenTelemetry para exportar datos a un recolector OpenTelemetry, que luego reenviará los datos a un extremo OTLP de New Relic usando un clave de licencia.

Configurar el recolector OpenTelemetry

1. Siga el ejemplo del recolector básico para configurar su recolector OpenTelemetry.

2. Configure el recolector con su extremo OTLP apropiado, como https://otlp.nr-data.net:4317.

3. Para la autenticación, agregue su

   clave de licencia

   a la variable de entorno NEW_RELIC_LICENSE_KEY para que complete el encabezado api-key .

4. Asegúrese de que se pueda acceder al puerto 4318 en el recolector desde la instancia de Airflow en ejecución. (Para docker, es posible que necesite utilizar una reddocker ).

5. Lanzamiento el recolector.

Configurar flujo de aire métrico

Airflow envía métrica usando OTLP sobre HTTP, que usa el puerto 4318. Airflow tiene múltiples métodos para configurar las opciones de configuración.

Elija uno de los siguientes métodos para configurar las opciones requeridas para Airflow.

1. Configure las opciones requeridas en el archivo airflow.cfg .

   [metrics]
   otel_on = True
   otel_host = localhost
   otel_port = 4318
   otel_ssl_active = False

   Copia

2. O establezca las opciones requeridas como variables de entorno.

   export AIRFLOW__METRICS__OTEL_ON=True
   export AIRFLOW__METRICS__OTEL_HOST=localhost
   export AIRFLOW__METRICS__OTEL_PORT=4318
   export AIRFLOW__METRICS__OTEL_SSL_ACTIVE=False

   Copia

Los datos de validación se envían a New Relic

Para confirmar que New Relic está recopilando sus datos de Airflow, ejecute un DAG o una tubería:

1. Inicie sesión en flujo de aire.

2. Haga clic en el botón Ejecutar en uno de los DAG del tutorial existente, o en el suyo propio.

3. Espere a que la canalización termine de ejecutarse.

4. Vaya a

   one.newrelic.com > All capabilities > APM & services > Services - OpenTelemetry > Airflow

   .

5. Haga clic en

   Metrics Explorer

   para visualizar métricas para ejecuciones de canalizaciones.

Panel de control del edificio

Con Airflow métrica, puede crear un panel sobre tuberías individuales, el rendimiento general o ver una comparación entre diferentes tuberías. Haga clic aquí para obtener más información sobre cómo consultar su métrica.

Esta consulta recupera una lista de todas las métricas reportadas para Airflow:

SELECT uniques(metricName) FROM Metric WHERE entity.name = 'Airflow' AND metricName LIKE 'airflow.%' SINCE 30 MINUTES AGO LIMIT 100

Asegúrate de cambiar el límite (100) si tus nombres métricos lo exceden.

Esta consulta muestra una comparación de diferentes tiempos de finalización para ejecuciones exitosas de diferentes DAG:

SELECT latest(airflow.dagrun.duration.success) FROM Metric FACET dag_id WHERE entity.name = 'Airflow' SINCE 30 minutes AGO TIMESERIES

Esta consulta muestra recuentos de ejecuciones DAG fallidas, que se pueden utilizar para crear alertaspara canalizaciones críticas:

SELECT count(airflow.dagrun.duration.failed) FROM Metric FACET dag_id WHERE entity.name = 'Airflow' SINCE 30 minutes AGO TIMESERIES