Monitor o Apache Airflow com OpenTelemetry

monitor os dados do Apache Airflow configurando o OpenTelemetry para enviar dados para o New Relic, onde você pode visualizar tarefas, operadores e execuções de DAG como métricas.

Pré-requisitos

Antes de ativar o OpenTelemetry no Apache Airflow, você precisará instalar o pacote Airflow com o otel extra. O método de instalação depende da abordagem de implantação do Airflow:

Opção 1: instalação do PyPi

1. Siga as instruções de instalação da documentação do Airflow.

2. Ao instalar com pip, adicione o otel extra ao comando. Por exemplo:

   pip install "apache-airflow[otel]"

Opção 2: instalar a partir docker

1. Configure a imagem do Airflow Docker usando as instruções da documentação do Airflow.

2. Estenda a imagem docker pré-criada usando um Dockerfile para instalar o otel extra. Você pode substituir a tag mais recente pela versão desejada da imagem.

   FROM apache/airflow:latest
   RUN pip install --no-cache-dir "apache-airflow[otel]==$AIRFLOW_VERSION"

   Copiar

Configuração

Para enviar a métrica do Airflow para o New Relic, configure a métrica do OpenTelemetry para exportar dados para um coletor OpenTelemetry, que encaminhará os dados para um endpoint OTLP do New Relic usando um chave de licença.

Configurar o coletor OpenTelemetry

1. Siga o exemplo básico do coletor para configurar seu coletor OpenTelemetry.

2. Configure o coletor com seu endpoint OTLP apropriado, como https://otlp.nr-data.net:4317.

3. Para autenticação, adicione

   chave de licença

   à variável de ambiente NEW_RELIC_LICENSE_KEY para que ele preencha o cabeçalho api-key .

4. Certifique-se de que a porta 4318 no coletor possa ser acessada pela instância do Airflow em execução. (Para o docker, pode ser necessário usar uma rede docker.)

5. Lançar o coletor.

Configurar métrica do Airflow

O Airflow envia métricas usando OTLP sobre HTTP, que usa a porta 4318. O Airflow possui vários métodos para definir opções de configuração.

Escolha um dos métodos a seguir para definir as opções necessárias para o Airflow.

1. Defina as opções necessárias no arquivo airflow.cfg .

   [metrics]
   otel_on = True
   otel_host = localhost
   otel_port = 4318
   otel_ssl_active = False

   Copiar

2. Ou defina as opções necessárias como variáveis de ambiente.

   export AIRFLOW__METRICS__OTEL_ON=True
   export AIRFLOW__METRICS__OTEL_HOST=localhost
   export AIRFLOW__METRICS__OTEL_PORT=4318
   export AIRFLOW__METRICS__OTEL_SSL_ACTIVE=False

   Copiar

Validar dados enviados para New Relic

Para confirmar que a New Relic está coletando seus dados do Airflow, execute um DAG ou pipeline:

1. Faça login no fluxo de ar.

2. Clique no botão executar em um dos DAGs de tutorial existentes ou no seu próprio.

3. Aguarde até que o pipeline termine de ser executado.

4. Vá para

   one.newrelic.com > All capabilities > APM & services > Services - OpenTelemetry > Airflow

   .

5. Clique em

   Metrics Explorer

   para visualizar métricas para execuções de pipeline.

Painel de construção

Com a métrica do Airflow, você pode criar um painel em torno de pipelines individuais, desempenho geral ou visualizar uma comparação entre diferentes pipelines. Clique aqui para saber mais sobre como consultar sua métrica.

Esta consulta recupera uma lista de todas as métricas relatadas para o Airflow:

SELECT uniques(metricName) FROM Metric WHERE entity.name = 'Airflow' AND metricName LIKE 'airflow.%' SINCE 30 MINUTES AGO LIMIT 100

Certifique-se de alterar o limite (100) se os nomes das suas métricas o excederem.

Esta consulta mostra uma comparação de diferentes tempos de conclusão para execuções bem-sucedidas de diferentes DAGs:

SELECT latest(airflow.dagrun.duration.success) FROM Metric FACET dag_id WHERE entity.name = 'Airflow' SINCE 30 minutes AGO TIMESERIES

Esta consulta mostra contagens de execuções de DAG com falha, que podem ser usadas para criar alertaspara pipelines críticos:

SELECT count(airflow.dagrun.duration.failed) FROM Metric FACET dag_id WHERE entity.name = 'Airflow' SINCE 30 minutes AGO TIMESERIES