Trilha Fundamentos de Engenharia de Dados: tudo o que estudar, tópico por tópico

Os cinco estágios do ciclo de vida da engenharia de dados — geração, armazenamento, ingestão, transformação e entrega — e como os dados fluem entre eles.

As correntes transversais que percorrem cada estágio: segurança, gestão de dados, DataOps, arquitetura de dados, orquestração e engenharia de software.

Estágios de maturidade de dados e como o foco do engenheiro de dados muda com a maturidade organizacional.

O que faz um engenheiro de dados, stakeholders upstream e downstream, e colaboração com produtores e consumidores de dados.

Onde os dados se originam: bancos de dados, backends de aplicação, APIs, arquivos, IoT, e as características que moldam a ingestão.

Os blocos de construção físicos e primitivos do armazenamento: disco, memória, rede, serialização, compressão e cache.

Sistemas e abstrações de armazenamento de nível mais alto: object storage, sistemas de arquivos, block storage e camadas (quente/morno/frio).

Data warehouse vs data lake vs lakehouse, schema-on-read vs schema-on-write, e quando cada arquitetura se encaixa.

Ingestão batch limitada vs streaming ilimitado, latência vs throughput, e quando o tempo real realmente agrega valor.

Modelos de ingestão push vs pull, polling, webhooks e ingestão baseada em mensagens/eventos.

Abordagens de change data capture — baseada em log, em consulta e em trigger — e seu impacto nos sistemas de origem e na atualização downstream.

Preocupações de confiabilidade e qualidade na ingestão: idempotência, tratamento de erros, backfills, evolução de esquema e contratos de dados.

Como as consultas são executadas e os fundamentos que impulsionam o desempenho: índices, particionamento, clustering, joins e evitar full scans.

Modelagem para análise: Inmon (CIF normalizado), Kimball (star schemas dimensionais) e Data Vault — e quando cada um se aplica.

Padrões de transformação batch: ETL vs ELT, processamento distribuído, joins, modelos incrementais e padrões de atualização.

Conceitos de processamento de stream: windowing, event time vs processing time, watermarks, processamento com estado e joins em streams.

Entrega de dados para BI, dashboards e análise ad-hoc: agregação, governança, self-service e desempenho para consumidores.

Entrega de dados para machine learning: feature stores, dados de treino vs serving, qualidade de dados para modelos e a fronteira engenheiro/cientista de dados.

Reverse ETL: enviar dados transformados do warehouse de volta para sistemas operacionais/SaaS, e os casos de uso de análise operacional que isso habilita.

Tratar dados entregues como produtos: camadas semânticas/de métricas, contratos de dados com consumidores, propriedade e SLAs.

Princípios de boa arquitetura de dados: decisões reversíveis, baixo acoplamento, planejar para falhas, construir para escala, e contextos brownfield vs greenfield.

Escolha de tecnologias ao longo do ciclo de vida: build vs buy, open source vs gerenciado vs serverless, localização (nuvem/on-prem/híbrido) e evitar lock-in.

Custo como preocupação de arquitetura de primeira classe: custo total de propriedade, opex vs capex, práticas de FinOps e implicações de custo das escolhas de tecnologia.

Operar sistemas de dados de forma confiável: orquestração, DataOps (automação, observabilidade, resposta a incidentes), monitoramento e SLAs/SLOs para dados.