Trilha de estudo
Trilha Arquitetura ETL/ELT: tudo o que estudar, tópico por tópico
Avaliacao abrangente de ETL/ELT cobrindo padroes de extracao de dados, logica de transformacao, estrategias de carga, orquestracao de pipelines, captura de dados alterados, qualidade de dados, arquiteturas de data warehouse e data lake, e governanca de dados corporativa.
Resposta curta
Para aprender Arquitetura ETL/ELT, percorra 6 módulos e 22 tópicos na ordem em que um apoia o próximo. Comece por Fundamentos de ETL e siga para Extracao de Dados e Padroes de Transformacao. Use o mapa como checklist, ou meça seu nível e estude só o que falta.
O que você vai estudar
Os tópicos estão agrupados por módulo. Abra um para ver os objetivos e os conceitos-chave.
1 · Fundamentos de ETL4 tópicos
Paradigmas ETL vs ELT
Arquitetura ETL tradicional, abordagem ELT moderna, quando escolher cada uma, ecossistemas de ferramentas (Informatica, Talend, dbt, Fivetran), vantagens do ELT nativo de nuvem
Objetivos
- Explicar a diferenca entre arquiteturas ETL e ELT
- Identificar quando cada paradigma e adequado
Conceitos-chave
- definicao de ETL
- definicao de ELT
- transformacao no destino
- area de staging
- panorama de ferramentas
- ELT nativo de nuvem
Processamento Batch vs Stream
Fundamentos de processamento batch, processamento stream com Kafka/Kinesis/Flink, padroes micro-batch, arquiteturas lambda e kappa, trade-offs de latencia
Objetivos
- Distinguir processamento batch de stream e seus casos de uso
- Descrever os trade-offs das arquiteturas lambda e kappa
Conceitos-chave
- processamento batch
- processamento stream
- micro-batch
- arquitetura lambda
- arquitetura kappa
- pipelines orientadas a eventos
- latencia vs throughput
- janelamento
Fundamentos de Qualidade de Dados
Dimensoes de qualidade de dados (acuracia, completude, consistencia, temporalidade), regras de validacao, profiling, tratamento de nulos, fundamentos de deduplicacao
Objetivos
- Listar e explicar as dimensoes de qualidade de dados
- Aplicar tecnicas basicas de validacao e profiling de dados
Conceitos-chave
- acuracia
- completude
- consistencia
- temporalidade
- profiling de dados
- tratamento de nulos
- deduplicacao
- regras de validacao
Formatos de Dados & Serializacao
Caracteristicas dos formatos CSV, JSON, Avro, Parquet e ORC, evolucao de esquema, armazenamento colunar vs baseado em linhas, codecs de compressao, frameworks de serializacao
Objetivos
- Comparar formatos de dados comuns e seus trade-offs
- Escolher o formato adequado para um cenario de pipeline
Conceitos-chave
- CSV
- JSON
- Avro
- Parquet
- ORC
- colunar vs baseado em linhas
- codecs de compressao
- evolucao de esquema
2 · Extracao de Dados4 tópicos
Conectores de Origem
Conectores JDBC/ODBC, extracao baseada em arquivos, fontes de armazenamento em nuvem (S3, GCS, ADLS), conectores SaaS, pool de conexoes, gerenciamento de credenciais
Objetivos
- Configurar conectores para fontes relacionais e de nuvem
- Gerenciar credenciais e pools de conexao com seguranca
Conceitos-chave
- JDBC/ODBC
- extracao baseada em arquivos
- fontes de armazenamento em nuvem
- conectores SaaS
- pool de conexoes
- gerenciamento de credenciais
- configuracao de conectores
- catalogo de fontes
Captura de Dados Alterados
CDC baseado em log (Debezium, Oracle GoldenGate), CDC baseado em trigger, CDC baseado em timestamp, esquemas de eventos CDC, tratamento de exclusoes e mudancas de esquema, semantica exactly-once
Objetivos
- Comparar estrategias de CDC e seus trade-offs
- Projetar uma pipeline CDC com Debezium ou equivalente
Conceitos-chave
- CDC baseado em log
- Debezium
- CDC baseado em trigger
- CDC baseado em timestamp
- esquema de evento CDC
- tratamento de exclusoes
- evolucao de esquema em CDC
- entrega exactly-once
Extracao de Dados via API
Paginacao de API REST, limitacao de taxa, gerenciamento de tokens OAuth2, ingestao via webhook, extracao GraphQL, estrategias de retry, extracao idempotente
Objetivos
- Implementar extracao robusta de API com paginacao e limitacao de taxa
- Tratar autenticacao e retries para fontes de dados via API
Conceitos-chave
- paginacao REST
- limitacao de taxa
- tokens OAuth2
- ingestao via webhook
- extracao GraphQL
- retry com backoff
- extracao idempotente
- paginacao baseada em cursor
Extracao Incremental
Colunas de marca d'agua, padrao high-water mark, extracao baseada em particao, cargas completas vs incrementais, gerenciamento de estado, re-execucoes idempotentes
Objetivos
- Implementar extracao incremental usando padroes de marca d'agua
- Projetar pipelines de extracao idempotentes
Conceitos-chave
- colunas de marca d'agua
- high-water mark
- extracao baseada em particao
- cargas completas vs incrementais
- gerenciamento de estado
- re-execucoes idempotentes
- metadados de extracao
- deteccao de lacunas
3 · Padroes de Transformacao4 tópicos
Limpeza & Validacao de Dados
Estrategias de tratamento de nulos, conversao e coercao de tipos, normalizacao de strings, deteccao de outliers, validacao de restricoes, mascaramento de dados, tratamento de PII
Objetivos
- Aplicar tecnicas de limpeza de dados para problemas comuns
- Implementar mascaramento de PII e validacao de restricoes
Conceitos-chave
- tratamento de nulos
- conversao de tipos
- normalizacao de strings
- deteccao de outliers
- validacao de restricoes
- mascaramento de dados
- tratamento de PII
- integridade referencial
Mapeamento & Evolucao de Esquema
Mapeamento origem-destino, deteccao de drift de esquema, schema registry (Confluent), compatibilidade retroativa/futura, ferramentas de auto-mapeamento, contratos de dados
Objetivos
- Projetar mapeamentos de esquema origem-destino
- Tratar evolucao e drift de esquema em pipelines de producao
Conceitos-chave
- mapeamento origem-destino
- drift de esquema
- schema registry
- compatibilidade retroativa
- compatibilidade futura
- auto-mapeamento
- contratos de dados
- versionamento de esquema
Agregacao & Enriquecimento
Funcoes de janela, agrupamento e rollups, tabelas de lookup, enriquecimento dimensional, metricas derivadas, agregacao temporal, deduplicacao com ranking
Objetivos
- Aplicar funcoes de janela e agregacoes para transformacao de dados
- Enriquecer registros com dados de lookup e dimensoes
Conceitos-chave
- funcoes de janela
- GROUP BY / rollup
- enriquecimento por lookup
- enriquecimento dimensional
- metricas derivadas
- agregacao temporal
- deduplicacao
- funcoes de ranking
Dimensoes de Mudanca Lenta
SCD Tipo 1 (sobrescrita), Tipo 2 (historico), Tipo 3 (coluna anterior), Tipo 4 (mini-dimensao), Tipo 6 (hibrido), datacao efetiva, chaves substitutas
Objetivos
- Implementar SCD Tipo 2 com datacao efetiva e chaves substitutas
- Escolher o tipo de SCD adequado para um requisito de negocio
Conceitos-chave
- SCD Tipo 1
- SCD Tipo 2
- SCD Tipo 3
- SCD Tipo 6
- datacao efetiva
- chaves substitutas
- chaves naturais
- rastreamento de historico
4 · Estrategias de Carga4 tópicos
Tecnicas de Carga em Massa
Comandos COPY (Snowflake, Redshift, BigQuery), carga em staging, carga paralela, gerenciamento de transacoes, swaps atomicos, truncate-and-reload
Objetivos
- Executar cargas em massa eficientes em data warehouses modernos
- Implementar padroes de carga atomica para consistencia de dados
Conceitos-chave
- comando COPY
- carga em staging
- carga paralela
- gerenciamento de transacoes
- swap atomico
- truncate-and-reload
- particionamento de carga
- tratamento de arquivo de erros
Operacoes Upsert & Merge
Instrucao MERGE, INSERT ON CONFLICT, deduplicacao na carga, cargas idempotentes, estrategias de resolucao de conflitos, exclusoes logicas
Objetivos
- Escrever instrucoes MERGE para padroes de upsert
- Projetar processos de carga idempotentes
Conceitos-chave
- instrucao MERGE
- INSERT ON CONFLICT
- deduplicacao na carga
- cargas idempotentes
- resolucao de conflitos
- exclusoes logicas
- matched/not matched
- merges deterministicos
Padroes de Carga em Data Warehouse
Ordem de carga em star schema, carga de tabelas fato e dimensao, geracao de chaves substitutas, dimensoes com chegada tardia, dimensoes conformadas
Objetivos
- Projetar sequencias de carga para warehouses em star schema
- Tratar dimensoes com chegada tardia e padroes de dimensoes conformadas
Conceitos-chave
- carga em star schema
- carga de tabela fato
- carga de tabela dimensao
- geracao de chave substituta
- dimensoes com chegada tardia
- dimensoes conformadas
- ordenacao de dependencias de carga
- tabelas ponte
Carga em Data Lake & Lakehouse
Delta Lake, Apache Iceberg, Apache Hudi, estrategias de particionamento, compactacao, time travel, transacoes ACID em armazenamento de objetos, arquitetura medallion
Objetivos
- Comparar formatos de tabela lakehouse (Delta, Iceberg, Hudi)
- Projetar arquitetura medallion com particionamento adequado
Conceitos-chave
- Delta Lake
- Apache Iceberg
- Apache Hudi
- estrategias de particionamento
- compactacao
- time travel
- ACID em armazenamento de objetos
- arquitetura medallion
5 · Orquestracao de Pipelines4 tópicos
Motores de Workflow
DAGs do Apache Airflow, flows do Prefect, assets do Dagster, AWS Step Functions, dependencias de tarefas, sensores, operadores, tipos de executor
Objetivos
- Projetar DAGs para workflows ETL complexos em Airflow ou equivalente
- Escolher a ferramenta de orquestracao adequada para um cenario
Conceitos-chave
- DAG do Airflow
- flow do Prefect
- asset do Dagster
- dependencias de tarefas
- sensores
- operadores
- tipos de executor
- geracao dinamica de tarefas
Tratamento de Erros & Recuperacao
Estrategias de retry, filas de dead-letter, circuit breakers, tratamento de falha parcial, checkpointing, pipelines idempotentes, alerta em falha
Objetivos
- Projetar pipelines ETL tolerantes a falhas com retry e recuperacao
- Implementar filas de dead-letter e checkpointing para resiliencia
Conceitos-chave
- estrategias de retry
- filas de dead-letter
- circuit breakers
- falha parcial
- checkpointing
- pipelines idempotentes
- alerta de falha
- degradacao elegante
Monitoramento & Observabilidade
Metricas de pipeline (latencia, throughput, taxa de erro), dashboards de qualidade de dados, rastreamento de SLA, agregacao de logs, rastreamento distribuido, deteccao de anomalias
Objetivos
- Configurar monitoramento abrangente para pipelines de dados
- Definir SLAs e deteccao de anomalias para saude da pipeline
Conceitos-chave
- metricas de pipeline
- dashboards de qualidade de dados
- rastreamento de SLA
- agregacao de logs
- rastreamento distribuido
- deteccao de anomalias
- limites de alerta
- pilares de observabilidade
Agendamento & Gerenciamento de Dependencias
Agendamento baseado em cron, gatilhos orientados a eventos, dependencias entre DAGs, agendamento orientado a dados, estrategias de backfill, prazos de SLA
Objetivos
- Projetar estrategias de agendamento para dependencias complexas de pipeline
- Implementar mecanismos de backfill e catch-up
Conceitos-chave
- agendamento cron
- gatilhos orientados a eventos
- dependencias entre DAGs
- agendamento orientado a dados
- estrategias de backfill
- prazos de SLA
- gatilhos baseados em sensor
- resolucao de dependencias
6 · Integracao de Dados Corporativa2 tópicos
Governanca de Dados & Linhagem
Catalogo de dados (DataHub, Amundsen, OpenMetadata), linhagem em nivel de coluna, classificacao de dados, controle de acesso, conformidade (LGPD, GDPR), gerenciamento de metadados
Objetivos
- Projetar um framework de governanca de dados com rastreamento de linhagem
- Implementar controles de conformidade para dados sensiveis em pipelines
Conceitos-chave
- catalogo de dados
- linhagem em nivel de coluna
- classificacao de dados
- controle de acesso
- conformidade com LGPD
- gerenciamento de metadados
- administracao de dados
- analise de impacto
Escalabilidade & Desempenho
Escalonamento horizontal de pipelines, estrategias de particionamento, execucao paralela, otimizacao de recursos, gerenciamento de custos, replicacao multi-regiao, planejamento de capacidade
Objetivos
- Projetar arquiteturas ETL escalaveis para cargas de trabalho corporativas
- Otimizar custo e desempenho de pipelines em escala
Conceitos-chave
- escalonamento horizontal
- estrategias de particionamento
- execucao paralela
- otimizacao de recursos
- gerenciamento de custos
- replicacao multi-regiao
- planejamento de capacidade
- auto-scaling
Níveis: Júnior, Pleno, Sênior e Especialista
Explique com suas palavras
Corrigido por IA · sem cadastro · 1 perguntaSem alternativas para chutar: você escreve, a IA corrige com a rubrica do tópico e diz em que nível sua resposta está.
Já estuda Arquitetura ETL/ELT?
A avaliação mede tópico por tópico, e o plano pula o que você já sabe.
Aberto para ler. A conta só é necessária para ser medido.
Perguntas frequentes
Por onde começar a estudar Arquitetura ETL/ELT?
Comece por Fundamentos de ETL: Paradigmas ETL vs ELT, Processamento Batch vs Stream e Fundamentos de Qualidade de Dados. O mapa ordena os tópicos pelo que depende de quê, então cada um prepara o seguinte.
Quanto tempo leva uma avaliação completa de Arquitetura ETL/ELT?
Uma avaliação completa desta trilha leva cerca de 45 minutos. O tempo de estudo depende de onde você começa; o diagnóstico mostra quais tópicos você pode pular.
Preciso de conta para usar esta página?
Não. O mapa, os objetivos e os conceitos-chave são abertos. A conta só é necessária para ser medido, ver seu gap por tópico e receber um plano.