Trilha Engenheiro de Dados: tudo o que estudar, tópico por tópico

Arquiteturas ETL vs ELT, posicionamento de transformações, estratégias de staging, carga incremental e padrões de arquitetura medallion

Design de jobs em lote, estratégias de agendamento, particionamento de dados para cargas em lote, padrões de checkpoint/reinício e conceitos de MapReduce

Design de DAGs, agendamento, gerenciamento de dependências, políticas de retry, backfill, monitoramento de SLA e critérios de seleção de orquestradores

Design de pipelines idempotentes, estratégias de deduplicação, padrões de upsert, processamento baseado em watermark e semântica exactly-once em lote

Contratos produtor-consumidor, aplicação de schema, compatibilidade retroativa/proativa, gestão de mudanças incompatíveis e testes de contrato

Sincronização de dados analíticos do warehouse para ferramentas operacionais (CRMs, plataformas de marketing), padrões Census/Hightouch, casos de ativação e estratégias de sync

Star schema, snowflake schema, tabelas fato e dimensão, definição de granularidade, metodologia Kimball e dimensões conformadas

Comparação de arquiteturas de data lakes, data warehouses e padrões lakehouse, incluindo arquitetura medallion e trade-offs de custo-desempenho

Formatos colunares vs baseados em linha, codecs de compressão, suporte a evolução de schema, desempenho de leitura/escrita e critérios de seleção de formato

Estratégias de particionamento de tabelas, estratégias de bucket/cluster, partition pruning, problema de arquivos pequenos e evolução de partições

Apache Iceberg, Delta Lake, Apache Hudi — transações ACID em data lakes, time travel, evolução de schema e comparação de formatos

Projetando arquiteturas lakehouse usando Delta Lake, Apache Iceberg ou Apache Hudi para transações ACID em data lakes

Arquiteturas de armazenamento em camadas, políticas de ciclo de vida, otimização de compressão, padrões de dados cold/warm/hot e modelagem de custos de armazenamento para plataformas de dados

Funções de janela, CTEs, consultas recursivas, lateral joins, agregações avançadas e padrões analíticos de SQL

Estrutura de projeto dbt, modelos, testes, macros, modelos incrementais, materializações e documentação como código

Dimensões de qualidade de dados, suítes de expectativas, pipelines de validação, profiling de dados, detecção de anomalias e métricas de qualidade

SCD Tipos 1-6, abordagens híbridas, modelagem temporal de dados, datação efetiva e padrões de design bitemporal

Otimização de consultas, planos de execução, views materializadas, estratégias de índice, otimização de joins e tuning específico de data warehouse

Arquitetura Kafka, tópicos, partições, grupos de consumidores, streams Kinesis, gerenciamento de offset e ordenação de mensagens

Frameworks de processamento de streams, estratégias de janelamento, watermarks, event-time vs processing-time e processamento com estado

Padrões de CDC, conectores Debezium, CDC baseado em log, estratégias de snapshot, tratamento de mudanças de schema e arquiteturas de pipeline CDC

Garantias de processamento exactly-once, produtores transacionais, consumidores idempotentes, two-phase commit e garantias ponta a ponta

Feature stores em tempo real, views materializadas para servir, padrões CQRS, camada de velocidade e arquiteturas de camada de servir

Event sourcing para analytics, padrões CQRS aplicados a plataformas de dados, event stores, consultas temporais e reconstrução de estado a partir de logs de eventos

Engines OLAP (ClickHouse, Apache Druid, Pinot), views materializadas, estratégias de pré-agregação e arquiteturas de consultas sub-segundo para analytics

Padrões de armazenamento de objetos, comparação de serviços de dados em nuvem, design de armazenamento para data lake, políticas de ciclo de vida e controle de acesso

Arquitetura Spark, dimensionamento de clusters, gerenciamento de memória, otimização de shuffle, alocação dinâmica e Spark no Kubernetes

Modelagem de custos para plataformas de dados, camadas de armazenamento, otimização de computação, capacidade reservada e práticas de FinOps para equipes de dados

CI/CD para pipelines de dados, estratégias de testes, gerenciamento de ambientes, deploys blue-green e versionamento de pipelines de dados

Design de plataforma de dados ponta a ponta, seleção de tecnologia, escalabilidade, multi-tenancy e infraestrutura de dados self-service

Monitoramento de pipelines de dados para anomalias, implementação de verificações de freshness/volume/schema, alertas sobre regressões de qualidade de dados e construção de plataformas de observabilidade

Construção de APIs de dados para consumidores internos, GraphQL para acesso a dados, analytics API-first, rate limiting, estratégias de cache e versionamento de APIs para produtos de dados

Testes unitários de transformações de dados, testes de integração de pipelines, frameworks de mocking de dados, geração de dados de teste e CI/CD para qualidade de dados

Rastreamento de linhagem de dados, catálogos de metadados, análise de impacto, descoberta de dados e integração de linhagem com ferramentas de orquestração

Detecção de PII, técnicas de mascaramento de dados, tokenização, criptografia em repouso/trânsito e estratégias de anonimização

Implementação do direito à exclusão, gerenciamento de consentimento em pipelines de dados, políticas de retenção de dados e transferência transfronteiriça de dados

Propriedade de dados orientada a domínio, dados como produto, plataforma de dados self-service, governança federada e padrões de adoção organizacional

Definição de produto de dados, SLOs para produtos de dados, descobribilidade, interoperabilidade e gerenciamento do ciclo de vida do produto de dados

Projetando e implementando Data Mesh: propriedade de domínio, produtos de dados, governança federada e infraestrutura self-service

Construindo e operando feature stores (Feast, Tecton) para servir features de ML em tempo real com correção point-in-time

Implementando frameworks de qualidade de dados em escala usando Great Expectations, testes dbt e detecção de anomalias

Implementando governança de dados empresarial: catalogação de dados (Datahub, Amundsen), rastreamento de linhagem, classificação e políticas de acesso

Controle de acesso granular para data lakes, mascaramento de colunas, segurança em nível de linha, criptografia em repouso/trânsito e isolamento multi-tenant de dados

Stores de metadados, metadados ativos para automação, catalogação automatizada, pipelines orientados a metadados e gestão de glossário de neg��cios

Trabalho eficaz com analistas e cientistas de dados, definição de SLAs de dados, estabelecimento de contratos de dados entre times e gestão de ownership de produtos de dados