Trilha dbt: tudo o que estudar, tópico por tópico

Configuração do dbt_project.yml, layout de diretórios (models/, seeds/, macros/, tests/, snapshots/, analyses/), profiles.yml e configurações em nível de projeto

Arquivos de modelos SQL e Python, configurações de modelos, blocos de config, convenções de nomenclatura de modelos e o processo de compilação de modelos

Função ref() para dependências de modelos, construção e visualização do DAG, sintaxe de seleção de modelos, dependências upstream e downstream

Função source(), definições de source em YAML, verificações de freshness de source, configuração de loaded_at_field, limites de warn_after e error_after

Arquivos CSV de seed para dados de referência estáticos, configuração de seeds, análises para consultas SQL ad-hoc e quando usar seeds vs sources

Materializações table, view, incremental e ephemeral; materializações customizadas; escolha da materialização adequada para diferentes casos de uso

Camadas staging, intermediária e mart; convenções de nomenclatura (stg_, int_, fct_, dim_); regra de um source por modelo staging; padrões de organização de modelos

Arquivos YAML de schema (_schema.yml), propriedades de modelos, descrições de colunas, herança de configuração (projeto > diretório > modelo), propriedades meta

Sintaxe de seleção de modelos (operadores + e @), tags, paths, operadores de grafo, dbt ls, seleção baseada em estado, sintaxe de interseção

Testes genéricos nativos (unique, not_null, accepted_values, relationships), configuração de testes, severidade de testes, cláusula where para testes

Testes singulares no diretório tests/, testes genéricos customizados como macros, macros de teste com argumentos, helpers de teste do dbt_utils

Blocos doc(), descrições em markdown, dbt docs generate, dbt docs serve, site de documentação gerado automaticamente, configuração persist_docs

Exposures para dependências downstream (dashboards, modelos de ML), definições de métricas, semantic layer, proprietários de exposures e níveis de maturidade

Testes unitários do dbt em YAML, definições de saída esperada, mocking de refs com fixtures de entrada, execução de testes e diferenças em relação a testes de dados e testes de schema

Projetando testes abrangentes no dbt: testes genéricos customizados, testes unitários, testes de contrato e estratégias de cobertura de testes

Pacote dbt-expectations para testes estatísticos e distribucionais, testes genéricos customizados em escala, estratégias de cobertura de testes, testes parametrizados e padrões de orquestração de testes

SLAs de freshness além de source freshness, detecção de anomalias em saídas de transformação, pipelines de alertas automatizados, integração com Elementary e dashboards de observabilidade

Sintaxe Jinja no dbt (variáveis, estruturas de controle, filtros), blocos set e do, controle de espaços em branco, contexto de compile-time vs run-time

Criação e invocação de macros, argumentos de macros, valores de retorno, padrão dispatch para compatibilidade cross-database, macros de adaptador

packages.yml, dbt Hub, instalação de pacotes, dbt_utils, dbt_expectations, codegen, pacotes privados via git, fixação de versão de pacotes

Estratégias incrementais (append, merge, delete+insert, insert_overwrite), macro is_incremental(), unique_key, janelas de lookback, full_refresh

Dimensões de mudança lenta Tipo 2 com dbt snapshots, estratégias timestamp e check, configuração de snapshots, invalidate_hard_deletes, freshness de snapshots

Configurações de pre-hook e post-hook, hooks on-run-start e on-run-end, operações (dbt run-operation), macros de grant, operações em nível de warehouse

Modelos Python do dbt usando Snowpark ou PySpark, uso da API DataFrame, quando usar modelos Python vs SQL, limitações e dependências de ambiente

Migração de stored procedures e ETL legado para dbt, estratégias de adoção gradual, validação side-by-side, comparações de auditoria e gestão de mudança organizacional para adoção do dbt

Modelos incrementais micro-batch, padrões de integração com streaming via Kafka/Kinesis, abordagens de transformação near-real-time, materialized views e arquiteturas híbridas batch-streaming

Contratos de modelos para imposição de tipos de colunas e restrições, versionamento de modelos para compatibilidade retroativa, imposição de contratos, configuração latest_version

Groups de modelos para delimitação de propriedade, modificadores de acesso (private, protected, public), restrições de ref cross-group, governança de modelos em escala

Comando dbt debug, inspeção de SQL compilado, análise de logs, padrões comuns de erros, análise do run_results.json, interpretação de status de nós

Arquitetura do dbt Semantic Layer, definições de métricas, modelos semânticos, entidades, dimensões, medidas e consistência de métricas entre ferramentas de BI

Arquitetura dbt Mesh para configurações multiprojeto, referências cross-project, contratos de modelos para interfaces públicas, modificadores de acesso e groups para delimitação de equipes

Engine MetricFlow, métricas derivadas, métricas cumulativas, métricas de conversão, consultas de métricas, API do Semantic Layer e integração com ferramentas de BI

Construção de um semantic layer com MetricFlow do dbt e integração com ferramentas de BI para definições consistentes de métricas de negócio

Gerenciamento de linhagem de dados com dbt docs, linhagem em nível de coluna, políticas de acesso e integração com catálogos de dados

Aplicação de contratos entre equipes, modelos versionados para compatibilidade retroativa, detecção de breaking changes, políticas de aplicação de contratos e interfaces de modelos estilo API

Referências cross-project do dbt Mesh, gestão de dependências entre projetos, bibliotecas de modelos compartilhados, fronteiras de projetos e governança multi-projeto em escala

Classificação e tagueamento de PII, linhagem em nível de coluna para conformidade, logging de auditoria de transformações, controles de acesso para dados sensíveis e relatórios regulatórios

Jobs de CI do dbt Cloud, slim CI com comparação de estado, integração com GitHub Actions, promoção de ambientes (dev, staging, prod), comando dbt build

Artefatos do dbt (manifest.json, catalog.json, run_results.json, sources.json), comparação de estado, seleção baseada em artefatos, execuções deferidas

Orquestração de jobs no dbt Cloud, integração com Airflow/Dagster, paralelismo de modelos, otimização de warehouse, configuração de threads, profiling de desempenho

IDE do dbt Cloud, agendador de jobs, jobs de CI/CD, slim CI, dbt Explorer, gestão de ambientes e recursos específicos do Cloud vs. dbt Core CLI

Estruturação de projetos dbt grandes: modularização, divisão de projetos, pacotes dbt-core e otimização de desempenho

Orquestração de jobs no dbt Cloud: dependências de jobs, integração CI/CD, slim CI e monitoramento com APIs do dbt Cloud

Técnicas de otimização de modelos, seleção de estratégia incremental para grandes datasets, tuning específico de warehouse (clustering no Snowflake, particionamento no BigQuery, sort keys no Redshift), configuração de threads e profiling de builds

Slim CI com comparação de estado, execuções deferidas contra artefatos de produção, ambientes efêmeros baseados em PR, seletores state:modified e pipelines de promoção multi-ambiente

Atribuição de custos de warehouse por modelo, estratégias de otimização de custo de queries, métricas de eficiência de builds, escolhas de materialização conscientes de custo e alertas de orçamento