Trilha Arquiteto de Soluções em Dados: tudo o que estudar, tópico por tópico

Star schema, snowflake schema, tabelas fato e dimensão, definição de granularidade e metodologia Kimball

Formas normais (1FN-3FN, BCNF), estratégias de desnormalização e trade-offs entre normalização e desempenho

Evolução de esquemas, compatibilidade retroativa/progressiva, schema-on-read vs schema-on-write e padrões de esquema NoSQL

SCD Tipos 1-6, abordagens híbridas, modelagem de dados temporais e design bitemporal

Arquiteturas ETL vs ELT, estratégias de transformação, validação de dados e padrões de design de pipelines

Airflow, Dagster, Prefect, Step Functions -- design de DAGs, agendamento, políticas de retentativa e gerenciamento de dependências

Contratos produtor-consumidor, aplicação de esquemas, definições de SLA e gerenciamento de mudanças disruptivas em interfaces de dados

Projetar pipelines que produzem resultados consistentes em reexecução: deduplicação, padrões de upsert e processamento baseado em marcas d'água

Orquestração de pipelines de ML, feature stores, registro de modelos, infraestrutura de serving, monitoramento, testes A/B e versionamento de dados/modelos para sistemas ML em produção

Feature stores para ML, design de pipelines de dados de treinamento, necessidades de dados para serving de modelos, pipelines de embeddings e versionamento de dados para reprodutibilidade

Migração de plataformas legadas para modernas, estratégias de migração sem downtime, padrões de dual-write, validação de dados durante migração e planejamento de rollback

Design de lakehouse combinando flexibilidade de data lake com confiabilidade de data warehouse: Delta Lake, Iceberg, Hudi e arquitetura medallion

Arquitetura de data warehouse na nuvem: padrões de design Snowflake, BigQuery e Redshift, gerenciamento de workload e otimização de consultas

Particionamento de tabelas, otimização de layout de dados, partition pruning e bucketing para desempenho de consultas

Parquet, ORC, Avro, JSON, CSV -- escolha de formatos com base em padrões de leitura/escrita, compressão e necessidades de evolução de esquema

Apache Iceberg, Delta Lake e Apache Hudi -- comparação de formatos de tabela, evolução de esquema, time travel, evolução de partição e interoperabilidade entre engines

Bancos de dados vetoriais para workloads de IA, plataformas de analytics de grafos, processamento de dados serverless, engines OLAP em tempo real e avaliação de tecnologias de dados emergentes

Rastreamento de linhagem em nível de coluna, análise de impacto, visualização de linhagem e extração automatizada de linhagem a partir de SQL e código

Gerenciamento de metadados, descoberta de dados, glossário de negócios e governança de catálogo para plataformas de dados em larga escala

Dimensões de qualidade de dados, testes automatizados, Great Expectations, testes dbt e SLAs de qualidade para produtos de dados

Detecção de PII, tokenização, mascaramento, anonimização, direito ao esquecimento do GDPR e analytics com preservação de privacidade

Implementar contratos de dados entre produtores e consumidores com versionamento de esquema e compatibilidade retroativa/progressiva

Construir observabilidade de dados de ponta a ponta: frescor, volume, esquema, monitoramento de distribuição e resposta a incidentes

Criptografia em repouso e em trânsito, estratégias de tokenização, frameworks de classificação de dados, modelos de controle de acesso e arquitetura de segurança para plataformas de dados

SLOs e SLAs de dados, gestão de incidentes para sistemas de dados, plantão para plataformas de dados, error budgets e padrões de confiabilidade para pipelines de dados

Design de tópicos, estratégias de particionamento, grupos de consumidores, políticas de retenção e padrões operacionais para streaming de eventos

Flink, Spark Structured Streaming, ksqlDB -- janelamento, marcas d'água, gerenciamento de estado e tratamento de dados atrasados

Debezium, DMS, CDC baseado em log, CDC baseado em trigger e integração de CDC com plataformas de streaming

Dualidade stream-tabela, materialização incremental, design de camada de serviço e padrões de agregação em tempo real

Alcançar processamento exactly-once em streaming distribuído: produtores transacionais, consumidores idempotentes e garantias de ponta a ponta

Design de arquitetura streaming-first, arquitetura Kappa vs Lambda, analytics orientada a eventos, sistemas de decisão em tempo real e serving de dados de baixa latência

Propriedade de domínio, dados como produto, plataforma de dados self-service e governança computacional federada

Design de produtos de dados, APIs e interfaces, descobribilidade, SLAs e gerenciamento de ciclo de vida para dados como produto

Otimização de custos de plataformas de dados: camadas de armazenamento, dimensionamento de computação, atribuição de custo por consulta e FinOps para dados

Avaliação de fornecedores de plataformas de dados: Snowflake vs Databricks vs BigQuery, construir vs comprar e análise de custo total de propriedade

Modelos de maturidade de dados, avaliação de prontidão organizacional, design de centro de excelência e programas de alfabetização em dados

Integração de LLM na stack de dados, pipelines de embeddings, bancos de dados vetoriais, RAG para analytics e qualidade de dados assistida por IA para plataformas de dados modernas

Projetar plataformas de dados em escala corporativa: ingestão, camadas de armazenamento, computação, governança e camadas de consumo

Avaliar e selecionar data warehouses na nuvem em escala: Snowflake vs BigQuery vs Redshift, modelos de custo e estratégias de migração

Projetar arquitetura de plataforma ML de ponta a ponta: pipelines de dados, feature stores, treinamento, serving, monitoramento e governança

Modelagem de TCO para plataformas de dados, frameworks de decisão construir vs comprar, metodologias de comparação de fornecedores, identificação de custos ocultos e projeção de custos de longo prazo

Portabilidade de dados entre provedores de nuvem, evitar dependência de fornecedor, replicação cross-cloud, arquiteturas de dados multi-cloud e design de camadas de abstração

Padrões de implementação de data mesh, modelos de propriedade de domínio, governança federada, interoperabilidade de produtos de dados e design organizacional para federação

Ferramentas self-service para equipes de dados, design de SDK, plataforma de dados como produto, portais de desenvolvedor e estratégias de adoção de plataformas internas