Trilha de estudo
Trilha Apache Airflow: tudo o que estudar, tópico por tópico
Domine o Apache Airflow, a plataforma de orquestração de fluxos de trabalho de código aberto. Aprenda a construir, agendar e monitorar pipelines de dados complexos e fluxos de trabalho ETL. Desde fundamentos de DAG e operadores até implantação em produção e escalabilidade.
Resposta curta
Para aprender Apache Airflow, percorra 6 módulos e 26 tópicos na ordem em que um apoia o próximo. Comece por Fundamentos de DAG e siga para Operadores e Tarefas e Agendamento e Gatilhos. Use o mapa como checklist, ou meça seu nível e estude só o que falta.
O que você vai estudar
Os tópicos estão agrupados por módulo. Abra um para ver os objetivos e os conceitos-chave.
1 · Fundamentos de DAG4 tópicos
Fundamentos de DAG e Conceitos
Entendendo DAGs, grafos acíclicos direcionados e fundamentos de arquitetura do Airflow
Objetivos
- Explicar o que é um DAG e por que deve ser acíclico
Conceitos-chave
- DAG
- tarefa
- operador
- instância de tarefa
- orquestração de fluxo
Estrutura e Sintaxe de DAG
Escrevendo DAGs em Python, definindo tarefas e estruturando fluxos de trabalho
Objetivos
- Escrever um DAG básico com múltiplas tarefas
Conceitos-chave
- instanciação de DAG
- arquivo Python
- definição de tarefa
Dependências de Tarefas e Ordem de Execução
Definindo dependências de tarefas, ordem de execução e fluxo de controle
Objetivos
- Definir dependências explícitas de tarefas
Conceitos-chave
- dependência de tarefa
- set_upstream/set_downstream
- ordem de execução
Variáveis e Conexões
Gerenciando variáveis do Airflow, segredos e conexões de serviços externos
Objetivos
- Criar e usar Variáveis do Airflow
Conceitos-chave
- Variável do Airflow
- Conexão
- backend de segredos
2 · Operadores e Tarefas5 tópicos
Tipos de Operadores e Seleção
Visão geral dos operadores integrados e seleção do operador certo para tarefas
Objetivos
- Identificar operadores apropriados para diferentes tipos de tarefas
Conceitos-chave
- BashOperator
- PythonOperator
- operador
BashOperator e PythonOperator
Usando operadores Bash e Python para execução de comandos e processamento de dados
Objetivos
- Executar comandos bash e scripts via BashOperator
Conceitos-chave
- BashOperator
- PythonOperator
- xcom
Operadores de Sensor e Condições de Espera
Usando sensores para aguardar condições e orquestrar fluxos de trabalho baseados em eventos
Objetivos
- Escolher sensores apropriados para condições de espera
Conceitos-chave
- Sensor
- BaseSensorOperator
- polling
Ramificação e Execução Condicional de Tarefas
Implementando lógica condicional, ramificação e caminhos de execução dinâmicos
Objetivos
- Implementar ramificação condicional em DAGs
Conceitos-chave
- ramificação
- BranchPythonOperator
- execução condicional
Grupos de Tarefas e Organização
Organizando tarefas em grupos e criando estruturas de DAG hierárquicas
Objetivos
- Organizar tarefas usando TaskGroups
Conceitos-chave
- TaskGroup
- hierarquia de tarefas
- organização visual
3 · Agendamento e Gatilhos4 tópicos
Agendamento Cron e Intervalos
Usando expressões cron e intervalos para agendar execuções de DAG
Objetivos
- Escrever expressões cron corretas para agendamento
Conceitos-chave
- schedule_interval
- expressão cron
- sintaxe cron
Agendamento Dinâmico e Timetables
Usando agendamento dinâmico, timetables e lógica de agendamento customizada
Objetivos
- Implementar timetables customizadas para agendas complexas
Conceitos-chave
- timetable
- agendamento dinâmico
- timetable customizada
Gatilhos Baseados em Eventos e Webhooks
Acionando DAGs baseado em eventos, webhooks e estímulos externos
Objetivos
- Configurar DAGs acionadas por webhook
Conceitos-chave
- gatilho webhook
- gatilho de evento
- TriggerRule
Backfill, Catchup e Execuções Históricas
Executando execuções históricas de DAG, backfill e estratégias de catchup
Objetivos
- Realizar operações de backfill seguro
Conceitos-chave
- backfill
- catchup
- execução histórica
4 · Monitoramento e Depuração4 tópicos
UI e Visualização do Airflow
Usando a UI do Airflow para monitorar DAGs, tarefas e estado de execução
Objetivos
- Navegar pela UI do Airflow de forma eficaz
Conceitos-chave
- UI web do Airflow
- visualização de DAG
- histórico de execução
Logging, Alertas e Notificações
Configurando logging, configurando alertas e integração de notificações
Objetivos
- Configurar logging centralizado
Conceitos-chave
- log de tarefa
- nível de log
- EmailOperator
Tratamento de Erros e Lógica de Retry
Implementando tratamento de erros, retries e mecanismos de recuperação de falhas
Objetivos
- Implementar lógica automática de retry
Conceitos-chave
- retry
- max_tries
- retry_delay
Otimização e Tuning de Desempenho
Analisando desempenho, otimizando DAGs e ajustando configurações do Airflow
Objetivos
- Identificar e analisar gargalos de desempenho
Conceitos-chave
- duração da tarefa
- paralelização
- pool
5 · Padrões Avançados5 tópicos
SubDAGs e TaskFlow API
Usando SubDAGs, TaskFlow API e decoradores para DAGs modulares
Objetivos
- Refatorar DAGs usando TaskFlow API
Conceitos-chave
- SubDAGOperator
- TaskFlow
- @task
- @dag
Geração Dinâmica de DAG
Gerando DAGs programaticamente a partir de configurações e dados
Objetivos
- Gerar DAGs a partir de arquivos de configuração
Conceitos-chave
- DAG dinâmico
- tarefas geradas em loop
Dependências Entre DAGs e Orquestração
Coordenando múltiplos DAGs e implementando dependências de tarefas entre DAGs
Objetivos
- Implementar dependências de tarefas entre DAGs
Conceitos-chave
- ExternalTaskSensor
- dependência entre DAGs
Construindo Pipelines de Dados e ETL
Projetando pipelines de dados end-to-end, fluxos de trabalho ETL e movimentação de dados
Objetivos
- Projetar fluxos de trabalho ETL robustos
Conceitos-chave
- pipeline ETL
- ingestão de dados
- transformação de dados
Testes e Garantia de Qualidade
Testes unitários de DAGs, testes de integração e CI/CD para Airflow
Objetivos
- Escrever testes unitários para DAGs e tarefas
Conceitos-chave
- validação de DAG
- teste unitário de tarefa
6 · Implantação em Produção4 tópicos
Estratégias de Implantação e Melhores Práticas
Implantando Airflow em produção, controle de versão e pipelines de implantação
Objetivos
- Implantar Airflow em ambientes de produção
Conceitos-chave
- instalação do Airflow
- setup de produção
Executor Kubernetes e Escalabilidade
Executando Airflow no Kubernetes, KubernetesExecutor e estratégias de escalabilidade
Objetivos
- Implantar Airflow no Kubernetes
Conceitos-chave
- KubernetesExecutor
- pod
- Helm
Segurança e RBAC
Implementando RBAC, autenticação e protegendo implantações do Airflow
Objetivos
- Configurar RBAC e funções de usuário
Conceitos-chave
- RBAC
- função do usuário
- autenticação
Escalabilidade e Alta Disponibilidade
Projetando arquiteturas escaláveis do Airflow e garantindo alta disponibilidade
Objetivos
- Projetar sistemas Airflow escaláveis horizontalmente
Conceitos-chave
- escalabilidade
- alta disponibilidade
Níveis: Júnior, Pleno, Sênior e Especialista
Explique com suas palavras
Corrigido por IA · sem cadastro · 1 perguntaSem alternativas para chutar: você escreve, a IA corrige com a rubrica do tópico e diz em que nível sua resposta está.
Já estuda Apache Airflow?
A avaliação mede tópico por tópico, e o plano pula o que você já sabe.
Aberto para ler. A conta só é necessária para ser medido.
Perguntas frequentes
Por onde começar a estudar Apache Airflow?
Comece por Fundamentos de DAG: Fundamentos de DAG e Conceitos, Estrutura e Sintaxe de DAG e Dependências de Tarefas e Ordem de Execução. O mapa ordena os tópicos pelo que depende de quê, então cada um prepara o seguinte.
Quanto tempo leva uma avaliação completa de Apache Airflow?
Uma avaliação completa desta trilha leva cerca de 45 minutos. O tempo de estudo depende de onde você começa; o diagnóstico mostra quais tópicos você pode pular.
Preciso de conta para usar esta página?
Não. O mapa, os objetivos e os conceitos-chave são abertos. A conta só é necessária para ser medido, ver seu gap por tópico e receber um plano.