Trilha de estudo
Trilha Databricks: tudo o que estudar, tópico por tópico
Avaliação abrangente de Databricks cobrindo fundamentos de lakehouse, Apache Spark e PySpark, Delta Lake e Unity Catalog, SQL e análise de dados, ML e engenharia de features, e gerenciamento e operações de cluster.
Resposta curta
Para aprender Databricks, percorra 6 módulos e 28 tópicos na ordem em que um apoia o próximo. Comece por Fundamentos de Lakehouse e siga para Spark & PySpark e Delta Lake & Unity Catalog. Use o mapa como checklist, ou meça seu nível e estude só o que falta.
O que você vai estudar
Os tópicos estão agrupados por módulo. Abra um para ver os objetivos e os conceitos-chave.
1 · Fundamentos de Lakehouse4 tópicos
Arquitetura Lakehouse
Conceito de lakehouse Databricks, combinando data warehouse e data lake, benefícios sobre arquiteturas tradicionais e princípios fundamentais
Objetivos
- Explicar a arquitetura lakehouse e suas vantagens
- Comparar lakehouse com abordagens tradicionais de data warehouse e data lake
Conceitos-chave
- paradigma lakehouse
- data lake vs data warehouse
- análise unificada
- transações ACID
- imposição de schema
Configuração do Workspace Databricks
Organização de workspace, clusters, notebooks, jobs e administração de workspace
Objetivos
- Navegar e configurar um workspace Databricks
- Criar e gerenciar notebooks e jobs
Conceitos-chave
- hierarquia de workspace
- notebooks
- clusters
- jobs
- gerenciamento de workspace
- permissões
Governança de Dados
Qualidade de dados, gerenciamento de metadados, linhagem de dados e boas práticas de governança
Objetivos
- Implementar padrões de governança de dados no Databricks
- Rastrear linhagem de dados e métricas de qualidade
Conceitos-chave
- qualidade de dados
- gerenciamento de metadados
- linhagem de dados
- tratamento de PII
- políticas de retenção
Arquitetura Medallion
Camadas Bronze-Silver-Gold, padrão medallion, fluxo de transformação de dados e portões de qualidade
Objetivos
- Projetar uma arquitetura medallion para processamento de dados
- Definir lógica de transformação para cada camada
Conceitos-chave
- camada bronze
- camada silver
- camada gold
- transformação de dados
- portões de qualidade
- pipelines ELT
2 · Spark & PySpark5 tópicos
Conceitos Principais do Apache Spark
RDDs, partições, executores, drivers, DAGs, avaliação preguiçosa e princípios de computação distribuída
Objetivos
- Explicar o modelo de computação distribuída do Spark
- Compreender RDDs e particionamento
Conceitos-chave
- RDD
- partições
- executor
- driver
- DAG
- avaliação preguiçosa
- shuffle
Fundamentos de PySpark
API PySpark, inicialização de sessão, criação de RDDs e DataFrames, transformações e ações
Objetivos
- Escrever scripts básicos de PySpark
- Compreender a diferença entre transformações e ações
Conceitos-chave
- SparkSession
- criação de RDD
- criação de DataFrame
- transformações
- ações
- contexto PySpark
API DataFrame & Operações
Schema de DataFrame, operações de coluna, filtragem, seleção, agrupamento e funções de janela
Objetivos
- Executar operações complexas com DataFrame
- Utilizar funções de janela para análise avançada
Conceitos-chave
- schema
- operações de coluna
- filtragem
- select
- groupBy
- agregação
- funções de janela
Spark SQL & Otimizador Catalyst
Registro de views temporárias, escrita de SQL em DataFrames, otimização de consultas pelo Catalyst e planos de execução
Objetivos
- Escrever consultas Spark SQL em DataFrames
- Compreender otimização de consultas via Catalyst
Conceitos-chave
- view temporária
- registro de tabela
- consultas SQL
- otimizador Catalyst
- plano de execução
- otimização de consulta
Desempenho & Ajuste de Spark
Estratégias de particionamento, otimização de shuffle, gerenciamento de memória, cache e variáveis de broadcast
Objetivos
- Otimizar o desempenho de trabalhos Spark
- Gerenciar memória e reduzir operações de shuffle
Conceitos-chave
- particionamento
- otimização de shuffle
- gerenciamento de memória
- cache
- variáveis de broadcast
- spillover
3 · Delta Lake & Unity Catalog5 tópicos
Fundamentos de Delta Lake
Transações ACID, imposição de schema, time travel, versionamento e propriedades de tabelas Delta
Objetivos
- Criar e gerenciar tabelas Delta
- Aproveitar garantias ACID em fluxos de trabalho ETL
Conceitos-chave
- propriedades ACID
- imposição de schema
- time travel
- versionamento
- log de transação
- evolução de schema
Otimização de Delta Lake
Comando OPTIMIZE, clusterização Z-order, vacuum, compactação e ajuste de desempenho
Objetivos
- Otimizar o desempenho de tabelas Delta
- Implementar estratégias de compactação eficientes
Conceitos-chave
- OPTIMIZE
- Z-order
- clusterização
- vacuum
- compactação
- poda de arquivos
Compartilhamento Delta
Compartilhamento de tabelas Delta com parceiros externos, destinatários de compartilhamento e colaboração entre workspaces
Objetivos
- Configurar compartilhamento Delta para colaboradores externos
- Gerenciar controle de acesso para tabelas compartilhadas
Conceitos-chave
- compartilhamento Delta
- destinatários de compartilhamento
- compartilhamento entre workspaces
- colaboração com parceiros
- controle de acesso
Unity Catalog
Governança de dados unificada, metastore, catálogos, schemas, gerenciamento de tabelas e controle de acesso
Objetivos
- Organizar dados usando a estrutura do Unity Catalog
- Implementar governança unificada entre workspaces
Conceitos-chave
- metastore
- catálogo
- schema
- gerenciamento de tabela
- controle de acesso
- rastreamento de linhagem
Políticas de Governança & Controle de Acesso
Políticas de acesso a dados, segurança em nível de linha, mascaramento em nível de coluna, registro de auditoria e aplicação de conformidade
Objetivos
- Implementar políticas de controle de acesso granular
- Garantir conformidade através de auditoria e mascaramento
Conceitos-chave
- políticas de acesso
- segurança em nível de linha
- mascaramento de coluna
- registro de auditoria
- conformidade
- RBAC
4 · SQL & Análise de Dados5 tópicos
Fundamentos SQL
SELECT, WHERE, ORDER BY, LIMIT, fundamentos de GROUP BY e consultas de tabela única
Objetivos
- Escrever consultas SQL básicas
- Filtrar e ordenar dados de forma eficaz
Conceitos-chave
- SELECT
- WHERE
- ORDER BY
- LIMIT
- GROUP BY
- HAVING
- filtragem
Joins SQL & Consultas Multi-Tabela
INNER JOIN, LEFT JOIN, RIGHT JOIN, FULL OUTER JOIN, CROSS JOIN e otimização de join
Objetivos
- Escrever consultas complexas multi-tabela usando joins
- Otimizar operações de join para melhor desempenho
Conceitos-chave
- INNER JOIN
- LEFT JOIN
- RIGHT JOIN
- FULL OUTER JOIN
- CROSS JOIN
- condições de join
- otimização de join
Agregações SQL & Análise de Dados
Funções de agregação, GROUP BY, HAVING, funções de janela, CTEs e consultas analíticas
Objetivos
- Utilizar funções de agregação e funções de janela
- Escrever consultas analíticas avançadas
Conceitos-chave
- SUM, AVG, COUNT, MIN, MAX
- GROUP BY
- HAVING
- funções de janela
- CTEs
- PARTITION BY
- ROW_NUMBER
Dashboards & Relatórios
Criação de visualizações em Databricks SQL, design de dashboard, acompanhamento de KPI e boas práticas de relatórios
Objetivos
- Projetar dashboards e relatórios eficazes
- Criar pipelines de relatórios automatizados
Conceitos-chave
- dashboard SQL
- visualização
- KPI
- alertas
- narrativa de dados
- automação de relatórios
Otimização de Consultas & Desempenho
Planos de consulta, estratégias de indexação, estatísticas, estatísticas de tabela e ajuste de desempenho SQL
Objetivos
- Analisar e otimizar consultas com baixo desempenho
- Utilizar estatísticas para melhorar o desempenho de consultas
Conceitos-chave
- plano de execução
- otimização de consulta
- estatísticas
- indexação
- dicas de otimização
- identificação de gargalos
5 · ML & Engenharia de Features5 tópicos
Fundamentos de ML
Aprendizado supervisionado vs não supervisionado, divisão de treinamento e teste, validação cruzada e métricas de avaliação
Objetivos
- Compreender os conceitos principais de ML
- Avaliar o desempenho de modelos corretamente
Conceitos-chave
- aprendizado supervisionado
- aprendizado não supervisionado
- divisão treino-teste
- validação cruzada
- métricas de avaliação
- sobreajuste
Feature Store
Engenharia de features, arquitetura de feature store, gerenciamento de features, servimento e features de série temporal
Objetivos
- Projetar um feature store para fluxos de trabalho de ML
- Gerenciar features de forma consistente entre treinamento e servimento
Conceitos-chave
- engenharia de features
- feature store
- armazenamento online
- armazenamento offline
- registro de features
- servimento de features
Treinamento de Modelo em Escala
Treinamento de modelo distribuído, ajuste de hiperparâmetros, pipelines Spark ML e estratégias de treinamento paralelo
Objetivos
- Treinar modelos em escala usando Spark ML
- Executar ajuste de hiperparâmetros de forma eficiente
Conceitos-chave
- Spark ML
- pipeline
- ajuste de hiperparâmetros
- treinamento distribuído
- GridSearchCV
- RandomSearchCV
MLflow & Gerenciamento de Modelos
Rastreamento MLflow, registro de experimentos, registro de modelos, versionamento e fluxo de promoção de modelo
Objetivos
- Configurar MLflow para rastreamento de experimentos
- Gerenciar o ciclo de vida de modelos usando o registro de modelos
Conceitos-chave
- MLflow
- rastreamento de experimentos
- registro de modelos
- registro de versões
- versionamento
- transições de estágio
Implantação & Servimento de Modelos
Infraestrutura de servimento de modelos, predições em lote, endpoints em tempo real, testes A/B e monitoramento em produção
Objetivos
- Implantar modelos para inferência em lote e em tempo real
- Monitorar o desempenho de modelos em produção
Conceitos-chave
- inferência em lote
- servimento em tempo real
- endpoints de modelo
- testes A/B
- monitoramento
- detecção de desvio
6 · Gerenciamento & Operações de Cluster4 tópicos
Configuração de Cluster
Tipos de cluster, tipos de nó, dimensionamento de workers, configuração de driver e scripts de inicialização
Objetivos
- Configurar clusters para cargas de trabalho específicas
- Selecionar tipos e tamanhos de nó apropriados
Conceitos-chave
- tipo de cluster
- tipo de nó
- auto-scaling
- dimensionamento de driver
- configuração de worker
- scripts de inicialização
Otimização de Cluster & Gerenciamento de Custos
Dimensionamento adequado de clusters, políticas de auto-scaling, instâncias spot, otimização de custos e agrupamento de recursos
Objetivos
- Otimizar custos de cluster mantendo o desempenho
- Implementar políticas eficazes de auto-scaling
Conceitos-chave
- auto-scaling
- instâncias spot
- otimização de custos
- alocação de recursos
- agrupamento de recursos
- políticas de escalabilidade
Monitoramento & Solução de Problemas
Métricas de cluster, monitoramento de jobs, análise de logs, técnicas de depuração e configuração de alertas
Objetivos
- Monitorar a saúde do cluster e o desempenho de jobs
- Depurar e resolver problemas de forma eficaz
Conceitos-chave
- métricas de cluster
- monitoramento de jobs
- logs
- depuração
- alertas
- logs de eventos
Operações em Produção & Boas Práticas
Gerenciamento de cargas de trabalho em produção, alta disponibilidade, recuperação de desastres, fortalecimento de segurança e excelência operacional
Objetivos
- Projetar e gerenciar ambientes Databricks em produção
- Implementar boas práticas de HA/DR e segurança
Conceitos-chave
- HA/DR
- recuperação de desastres
- fortalecimento de segurança
- gerenciamento de SLA
- estratégias de backup
- excelência operacional
Níveis: Júnior, Pleno, Sênior e Especialista
Explique com suas palavras
Corrigido por IA · sem cadastro · 1 perguntaSem alternativas para chutar: você escreve, a IA corrige com a rubrica do tópico e diz em que nível sua resposta está.
Já estuda Databricks?
A avaliação mede tópico por tópico, e o plano pula o que você já sabe.
Aberto para ler. A conta só é necessária para ser medido.
Perguntas frequentes
Por onde começar a estudar Databricks?
Comece por Fundamentos de Lakehouse: Arquitetura Lakehouse, Configuração do Workspace Databricks e Governança de Dados. O mapa ordena os tópicos pelo que depende de quê, então cada um prepara o seguinte.
Quanto tempo leva uma avaliação completa de Databricks?
Uma avaliação completa desta trilha leva cerca de 50 minutos. O tempo de estudo depende de onde você começa; o diagnóstico mostra quais tópicos você pode pular.
Preciso de conta para usar esta página?
Não. O mapa, os objetivos e os conceitos-chave são abertos. A conta só é necessária para ser medido, ver seu gap por tópico e receber um plano.