Trilha de estudo
Trilha Apache Kafka: tudo o que estudar, tópico por tópico
Domine streaming de eventos distribuído com Apache Kafka. Aprenda arquitetura principal, APIs de produtor e consumidor, processamento de fluxos com Kafka Streams e KSQL, operações de cluster, segurança e otimização de desempenho para construir pipelines de dados em tempo real escaláveis.
Resposta curta
Para aprender Apache Kafka, percorra 6 módulos e 26 tópicos na ordem em que um apoia o próximo. Comece por Conceitos Principais & Arquitetura e siga para Produtores & Configuração de Cliente e Consumidores & Grupos de Consumidores. Use o mapa como checklist, ou meça seu nível e estude só o que falta.
O que você vai estudar
Os tópicos estão agrupados por módulo. Abra um para ver os objetivos e os conceitos-chave.
1 · Conceitos Principais & Arquitetura4 tópicos
Fundamentos de Kafka
Entenda a arquitetura principal de Kafka: modelo publish-subscribe, log distribuído imutável e papel em ecossistemas de streaming de eventos.
Objetivos
- Explicar o papel de Kafka em streaming de eventos
- Compreender o modelo publish-subscribe
- Identificar casos de uso de Kafka
Conceitos-chave
- Streaming de eventos
- Publish-subscribe
- Log distribuído
- Registros imutáveis
Tópicos & Partições
Domine tópicos, partições e como Kafka distribui dados em partições para paralelismo.
Objetivos
- Projetar estruturas de tópicos
- Compreender distribuição de partições
- Aplicar chaves de partição efetivamente
Conceitos-chave
- Tópicos
- Partições
- Chaves de partição
- Garantias de ordenação
Brokers & Arquitetura de Cluster
Aprenda como brokers formam um cluster, eleição de líder e coordenação de cluster.
Objetivos
- Compreender funções de broker
- Explicar coordenação de cluster
- Identificar pontos únicos de falha
Conceitos-chave
- Brokers
- Cluster
- Eleição de líder
- Metadados
Replicação & Réplicas em Sincronização
Aprofundamento em estratégia de replicação, réplicas em sincronização (ISR) e garantias de durabilidade.
Objetivos
- Configurar replicação
- Monitorar saúde de ISR
- Compreender compensações de durabilidade
Conceitos-chave
- Fator de replicação
- ISR
- Durabilidade
- Atraso de réplica
2 · Produtores & Configuração de Cliente5 tópicos
API de Produtor & Uso
Use a API KafkaProducer para enviar registros: padrões síncronos e assíncronos.
Objetivos
- Enviar registros com KafkaProducer
- Tratar callbacks de envio
- Implementar tratamento de erros
Conceitos-chave
- KafkaProducer
- send()
- Callbacks
- Assíncrono vs síncrono
Configuração de Produtor
Domine configurações de produtor: acks, compressão, gerenciamento de buffer e semântica de entrega.
Objetivos
- Definir configurações de produtor
- Ajustar para throughput vs latência
- Compreender semântica de entrega
Conceitos-chave
- acks
- compressão
- buffer.memory
- delivery.timeout.ms
Serialização & Formatos de Dados
Escolha e implemente serializadores: JSON, Avro, Protobuf. Gerenciamento de schema.
Objetivos
- Implementar serializadores personalizados
- Utilizar registros de schema
- Comparar formatos de dados
Conceitos-chave
- Serialização
- Avro
- Protobuf
- Registro de schema
Confiabilidade de Produtor & Retentativas
Garanta entrega confiável: retentativas, produtor idempotente, escritas transacionais.
Objetivos
- Configurar produtores idempotentes
- Implementar escritas transacionais
- Tratar falhas graciosamente
Conceitos-chave
- Retentativas
- Produtor idempotente
- Transações
- Semântica exatamente uma vez
Agrupamento em Lotes & Estratégia de Particionamento
Otimize throughput via agrupamento em lotes, seleção de particionador e projeto de chave de partição.
Objetivos
- Implementar particionadores personalizados
- Projetar chaves de partição
- Evitar problemas de partição quente
Conceitos-chave
- Agrupamento em lotes
- Particionador
- Seleção de partição
- Partições quentes
3 · Consumidores & Grupos de Consumidores5 tópicos
API de Consumidor & Uso
Implemente KafkaConsumer: subscribe, poll e padrões de processamento de mensagens.
Objetivos
- Utilizar API KafkaConsumer
- Processar registros de tópicos
- Tratar ciclo de vida do consumidor
Conceitos-chave
- KafkaConsumer
- subscribe()
- poll()
- Laço de eventos
Grupos de Consumidores & Rebalanceamento
Gerenciar grupos de consumidores, mecanismos de rebalanceamento e coordenação de grupo.
Objetivos
- Projetar grupos de consumidores
- Compreender gatilhos de rebalanceamento
- Minimizar impacto de rebalanceamento
Conceitos-chave
- Grupo de consumidor
- Rebalanceamento
- Coordenador de grupo
- Associação estática
Gerenciamento de Offset & Commits
Gerenciar offsets: auto-commit vs manual, estratégias de commit e consistência.
Objetivos
- Implementar commits de offset
- Escolher estratégias de commit
- Tratar cenários de reset de offset
Conceitos-chave
- Offsets
- Auto-commit
- Commit manual
- Reset de offset
Atraso de Consumidor & Monitoramento
Monitore atraso de consumidor, detecte gargalos e otimize throughput do consumidor.
Objetivos
- Calcular atraso de consumidor
- Monitorar atraso em produção
- Identificar consumidores lentos
Conceitos-chave
- Atraso de consumidor
- Métricas de atraso
- Monitoramento
- Alertas
Configuração de Consumidor
Ajuste configurações de consumidor para throughput, latência e confiabilidade.
Objetivos
- Configurar consumidor para caso de uso
- Ajustar para desempenho
- Balancear confiabilidade e latência
Conceitos-chave
- fetch.min.bytes
- fetch.max.wait.ms
- max.poll.records
- session.timeout.ms
4 · Streams & KSQL5 tópicos
Fundamentos de Kafka Streams
Introdução a Kafka Streams: topologia, DSL e padrões de processamento de fluxos.
Objetivos
- Construir topologias básicas
- Compreender KStream vs KTable
- Aplicar padrões de processamento de fluxos
Conceitos-chave
- Topologia
- DSL
- KStream
- KTable
- GlobalKTable
Topologia de Stream & Operadores
Projete topologias complexas: filter, map, flatMap, branch e joins.
Objetivos
- Projetar topologias complexas
- Implementar joins eficientemente
- Otimizar cadeias de processadores
Conceitos-chave
- Operadores
- Joins de KStream
- Consultas interativas
- Ramificação
Gerenciamento de Estado & Armazenamento
Gerencie estado: armazenamentos de estado, tópicos de changelog, consultas interativas e restauração de estado.
Objetivos
- Implementar operações com estado
- Consultar armazenamentos de estado
- Tratar restauração de estado
Conceitos-chave
- Armazenamento de estado
- Tópico de changelog
- Consultas interativas
- Restauração de estado
KSQL & SQL em Streams
Escreva consultas SQL de streaming com KSQL: SELECT, JOIN, agregação.
Objetivos
- Escrever consultas KSQL
- Agregar streams
- Unir streams e tabelas
Conceitos-chave
- KSQL
- Consultas de stream
- Agregações
- Joins KSQL
Testando Aplicações de Streams
Teste unitário da lógica de topologia, teste de integração com Kafka embutido e teste de desempenho.
Objetivos
- Escrever testes unitários de topologia
- Realizar testes de integração de aplicações de streams
- Validar correção
Conceitos-chave
- TopologyTestDriver
- Kafka embutido
- Dados de teste
- Teste de desempenho
5 · Operações de Cluster4 tópicos
Configuração & Instalação de Cluster
Implante e configure Kafka: propriedades de broker, ajuste de JVM e infraestrutura.
Objetivos
- Implantar cluster Kafka
- Configurar brokers
- Otimizar configurações de JVM
Conceitos-chave
- broker.id
- log.dirs
- JVM heap
- Coordenação ZooKeeper
Gerenciamento de Broker & Escalabilidade
Adicione/remova brokers, rebalanceamento, liderança e desligamento controlado.
Objetivos
- Escalar clusters horizontalmente
- Gerenciar falhas de broker
- Otimizar distribuição de liderança
Conceitos-chave
- Escalabilidade de broker
- Reatribuição de partição
- Eleição de líder
- Líderes preferidos
Monitoramento & Métricas
Monitore saúde de cluster: métricas JMX, métricas de broker, métricas de grupo de consumidor.
Objetivos
- Coletar métricas de Kafka
- Configurar dashboards de monitoramento
- Definir regras de alertas
Conceitos-chave
- JMX
- Prometheus
- Métricas de broker
- Limiares de alerta
Resolução de Problemas & Depuração
Depure problemas comuns: falhas de broker, tempestades de rebalanceamento, perda de mensagens, liderança de partição.
Objetivos
- Diagnosticar problemas de broker
- Resolver problemas de rebalanceamento
- Investigar perda de mensagens
Conceitos-chave
- Análise de logs
- Diagnósticos de broker
- Problemas de rede
- Ferramentas de depuração
6 · Segurança & Desempenho3 tópicos
Segurança & Autenticação
Proteja Kafka: SASL/SSL, ACLs e autorização.
Objetivos
- Configurar autenticação SASL
- Configurar ACLs
- Ativar criptografia e autorização
Conceitos-chave
- SASL
- SSL/TLS
- ACLs
- Criptografia em trânsito
Ajuste de Desempenho
Otimize Kafka: ajuste de rede, I/O de disco, uso de CPU e gerenciamento de memória.
Objetivos
- Analisar e otimizar desempenho
- Reduzir latência
- Maximizar throughput
Conceitos-chave
- num.network.threads
- num.io.threads
- Compressão
- Afinidade de CPU
Projeto de Escalabilidade & Multi-Cluster
Escale Kafka para produção: configurações multi-cluster, MirrorMaker, replicação entre data centers.
Objetivos
- Projetar arquiteturas escaláveis
- Implementar configurações multi-cluster
- Tratar distribuição geográfica
Conceitos-chave
- Multi-cluster
- MirrorMaker
- Replicação entre data centers
- Federação
Níveis: Júnior
Explique com suas palavras
Corrigido por IA · sem cadastro · 1 perguntaSem alternativas para chutar: você escreve, a IA corrige com a rubrica do tópico e diz em que nível sua resposta está.
Já estuda Apache Kafka?
A avaliação mede tópico por tópico, e o plano pula o que você já sabe.
Aberto para ler. A conta só é necessária para ser medido.
Perguntas frequentes
Por onde começar a estudar Apache Kafka?
Comece por Conceitos Principais & Arquitetura: Fundamentos de Kafka, Tópicos & Partições e Brokers & Arquitetura de Cluster. O mapa ordena os tópicos pelo que depende de quê, então cada um prepara o seguinte.
Quanto tempo leva uma avaliação completa de Apache Kafka?
Uma avaliação completa desta trilha leva cerca de 60 minutos. O tempo de estudo depende de onde você começa; o diagnóstico mostra quais tópicos você pode pular.
Preciso de conta para usar esta página?
Não. O mapa, os objetivos e os conceitos-chave são abertos. A conta só é necessária para ser medido, ver seu gap por tópico e receber um plano.