Trilha Design de Sistemas: tudo o que estudar, tópico por tópico

Requisitos funcionais vs não funcionais, estimativa de capacidade, definição de SLA e identificação de restrições

Convenções REST, modelagem de recursos, métodos HTTP, códigos de status, versionamento e paginação

Relacionamentos entre entidades, normalização, desnormalização, design de esquema e fundamentos de indexação

Padrões cache-aside, write-through, write-behind, TTL, políticas de despejo e invalidação de cache

Proteção de APIs e recursos compartilhados contra tráfego excessivo com token bucket, leaky bucket, janela fixa e deslizante, contadores distribuídos, headers de rate limit e respostas HTTP 429

Geração de identificadores globalmente únicos em sistemas distribuídos: versões de UUID, ticket servers em banco de dados, layouts de bits no estilo Snowflake, IDs ordenados por tempo e k-ordenáveis, e o papel dos relógios na ordenação

Estimativa de envelope (back-of-the-envelope) de taxa de requisições, armazenamento, banda e ordens de grandeza de latência, usada para dimensionar um sistema e checar um design antes de construí-lo.

Por que os relógios em sistemas distribuídos derivam, saltam e discordam, e como relógio de parede versus monotônico, segundos bissextos, relógios lógicos, tempo com incerteza limitada como o TrueTime e a expiração de certificados moldam a correção de timeouts, leases, ordenação e transações.

Estratégias de scale-up vs scale-out, design stateless, gerenciamento de sessão e auto-scaling

Camada 4 vs camada 7, algoritmos (round-robin, menor conexões, hashing consistente) e verificações de saúde

Estratégias de sharding, chaves de shard, rebalanceamento, consultas entre shards e replicação

Redes de distribuição de conteúdo, cache de borda, CDN push vs pull, proteção de origem e funções de borda

Verificações de saúde, coleta de métricas, rastreamento distribuído, agregação de logs, alertas, SLI/SLO/SLA e pilares de observabilidade

Como anéis de hash, nós virtuais e esquemas relacionados distribuem chaves por um conjunto variável de servidores com remapeamento mínimo, e como tratar hot spots, replicação e limites de carga em caches, stores particionados e balanceadores de carga.

Como os servidores mantêm muitas conexões de longa duração abertas e enviam dados por elas: WebSocket, long polling e server-sent events, presença, distribuição (fan-out) de mensagens entre servidores que mantêm conexões, roteamento e comportamento de reconexão

Como a resolução de DNS, o cache, o GeoDNS, os anúncios de rotas BGP e o anycast decidem como o tráfego dos usuários chega a um sistema, e como falhas em nomes ou rotas podem tirar um serviço saudável da internet.

Compromissos entre consistência, disponibilidade e tolerância a partições, PACELC e consistência eventual

Paxos, Raft, eleição de líder, replicação baseada em quórum e prevenção de split-brain

Two-phase commit, padrão saga, transações compensatórias, idempotência e padrão outbox

Pub/sub, ponto a ponto, Kafka, RabbitMQ, SQS, garantias de ordenação e filas de mensagens mortas

Consistência forte vs eventual, consistência causal, linearizabilidade, leituras/escritas por quórum e compromissos entre consistência e disponibilidade

Topologias ativo-ativo e ativo-passivo, estratégias de replicação, failover, verificações de saúde, degradação graciosa e disjuntores

REST vs RPC, gRPC, WebSocket, Server-Sent Events, GraphQL, message brokers e padrões de API gateway

Chaves de idempotência, entrega ao menos uma vez, semântica exactly-once, deduplicação, idempotência de métodos HTTP e segurança de retentativa

Replicação sem um líder designado: quóruns de leitura/escrita ajustáveis, quórum relaxado (sloppy quorum) com hinted handoff, vector clocks para detectar conflitos, membership por gossip e anti-entropia com Merkle trees

Executar trabalho mais tarde ou periodicamente em muitas máquinas: cron distribuído, filas atrasadas, visibility timeout, entrega at-least-once e deduplicação para que retentativas e failovers permaneçam seguros

Como leases, fencing tokens e serviços de lock apoiados em consenso, como Chubby, ZooKeeper e etcd, dão exclusão mútua entre máquinas, e por que pausas de processo, atrasos de rede e erros de relógio tornam locks baseados em timeout inseguros, a menos que o recurso protegido os verifique.

SQL vs NoSQL, bancos de documentos, chave-valor, família de colunas, bancos de grafos e persistência poliglota

Processamento em lote vs em fluxo, ETL/ELT, arquitetura Lambda/Kappa, data lakes e data warehouses

Índices invertidos, Elasticsearch, busca de texto completo, algoritmos de ranqueamento e relevância de busca

Bancos de dados de séries temporais, redução de amostragem, políticas de retenção, InfluxDB, Prometheus e agregação de métricas

Partidas dobradas, livros-razão imutáveis somente de inserção, lançamentos idempotentes e conciliação dos registros internos com os dados de liquidação do provedor de serviços de pagamento

Como impedir que dois compradores fiquem com o mesmo assento, quarto ou unidade de estoque: escritas condicionais atômicas, lock otimista e pessimista, restrições que rejeitam sobreposições e holds com prazo que expiram e liberam com segurança.

Como mover dados em produção para um novo esquema ou datastore sem downtime nem perda: dupla escrita, backfill, shadow reads, verificação, cutover e rollback, e como sequenciá-los para que cada etapa permaneça reversível.

Como edições concorrentes em um documento compartilhado convergem em todos os clientes: transformação operacional versus CRDTs, last-writer-wins por propriedade, ordenação por servidor central, tombstones, estrutura de árvore e de sequência, e reconciliação offline.

Como montar timelines e feeds de notícias para muitos leitores: fan-out na escrita versus fan-out na leitura, os problemas da celebridade e da hot key, timelines híbridas, caches de feed pré-computados, workers assíncronos de fan-out e a etapa de ranking sobre os posts candidatos.

Como bancos de dados organizam os dados em disco e os mantêm duráveis e consistentes: projetos B-tree e LSM-tree, write-ahead log, memtables, SSTables e compactação, amplificação de escrita, leitura e espaço, e controle de concorrência multiversão, além de como escolher um motor para cada carga de trabalho.

Como geohash, quadtrees e os sistemas de células S2 e H3 transformam localizações em identificadores de células indexáveis, de modo que a busca por proximidade vire um punhado de consultas por chave, e como tratar bordas de células, densidade desigual, escolha de resolução e particionamento de dados espaciais.

Como Bloom filters, HyperLogLog e Count-Min Sketch respondem a perguntas de pertinência, contagem de distintos e frequência com memória pequena e fixa ao aceitar um erro controlado, e como dimensioná-los, combiná-los e decidir onde a aproximação é segura em sistemas reais.

Decomposição de serviços, contextos delimitados, API gateways, service mesh e estratégias de migração

Separação de comandos e consultas, armazenamento de eventos, projeções, snapshots e consultas temporais

Contextos delimitados, agregados, eventos de domínio, linguagem ubíqua e mapeamento de contextos

FaaS, padrões orientados a eventos, cold starts, funções de orquestração e armazenamento serverless

Erros comuns de desempenho incluindo consultas N+1, I/O excessivo, ausência de cache, gargalos síncronos e thundering herd

Ambassador, sidecar, strangler fig, bulkhead, saga, implementação de CQRS, event sourcing e padrões de retentativa para sistemas nativos de nuvem

Manter um serviço útil quando a demanda excede a capacidade: contrapressão, descarte de carga, orçamentos de retries, falhas metaestáveis e prevenção de manadas durante a recuperação.

Particionar um sistema em células (ou pods) isoladas e independentes e usar shuffle sharding para reduzir o raio de impacto das falhas, com uma camada de roteamento fina e uma separação clara entre plano de controle e plano de dados.

Como levar mudanças de código, configuração e dados para produção com raio de impacto limitado: releases blue-green, graduais (rolling) e canary, feature flags e kill switches, rollback automático, bake time, mudanças retrocompatíveis e implantações escalonadas por região, zona e célula.

Projetando para bilhões de usuários, particionamento de dados em escala, consenso global e arquiteturas de borda

Ativo-ativo, ativo-passivo, replicação de dados, otimização de latência e estratégias de failover

RPO/RTO, estratégias de backup, engenharia do caos, runbooks e planejamento de continuidade de negócios

Modelagem de custos, capacidade reservada, instâncias spot, dimensionamento adequado e práticas de FinOps

Projetando sistemas de ML de ponta a ponta: feature stores, pipelines de treinamento, infraestrutura de servir modelos e gerenciamento do ciclo de vida de modelos

Construindo sistemas em conformidade com GDPR, PCI-DSS, SOC 2 e HIPAA -- dos fluxos de dados às trilhas de auditoria

Projetando e executando experimentos de caos para descobrir proativamente fraquezas do sistema antes que causem incidentes em produção

Projetando sistemas de análise em tempo real usando processamento em fluxo, CQRS e arquiteturas lambda/kappa

Projetando arquiteturas eficientes em custo: economia unitária, dimensionamento adequado, instâncias spot e padrões de colaboração FinOps

Como objetos binários grandes e vídeo trafegam do cliente ao armazenamento e de volta: uploads multipart e retomáveis, pipelines de transcodificação, streaming adaptativo via HLS ou DASH, hierarquias de cache em CDN e armazenamento de objetos que equilibra custo de metadados, durabilidade e temperatura de acesso.

Como recomendadores em larga escala reduzem um catálogo enorme com a geração de candidatos e depois ordenam uma lista curta com um ranker, e como lidar com feedback implícito, cold start, objetivos, combinação de fontes de candidatos e avaliação offline versus online.

Como a recuperação baseada em embeddings é servida em produção: índices de vizinhos mais próximos aproximados (famílias de grafo, arquivo invertido e quantização), o trade-off entre recall e latência, manter índices atualizados sob inserções, remoções e trocas de modelo, e combinar busca vetorial com filtros e correspondência de termos.

Como servidores de inferência de LLMs agrupam requisições no nível da iteração, gerenciam o KV cache com memória paginada, separam prefill de decode, enviam tokens em streaming aos clientes e equilibram tempo até o primeiro token, latência por token e throughput em GPUs.

Como projetar sistemas de geração aumentada por recuperação de ponta a ponta: ingestão e divisão de documentos em chunks, recuperação híbrida com fusão e reranking, respostas fundamentadas e citadas, avaliação de qualidade e manutenção de um índice atualizado e com controle de acesso.

Como transformers e atenção, tokenização, janela de contexto e modelos de difusão funcionam por dentro e o que isso implica para o desenho de sistemas que servem modelos generativos: latência, memória, custo e qualidade.

Como julgar sistemas de machine learning e LLM antes e depois do lançamento: métricas offline versus online, testes A/B, releases shadow e canary, detecção de drift e falhas silenciosas, portões de regressão de modelo e evals de LLM, incluindo as armadilhas de modelos-juízes.

Como projetar defesas em camadas para aplicações e agentes com LLM: filtros de entrada e saída, classificadores de segurança, defesas contra prompt injection, política de moderação, red teaming, aprovação humana e limites de autonomia, além dos modos de falha tanto de guardrails frouxos quanto de guardrails excessivamente rígidos.

Como feature stores e os pipelines de dados por trás delas entregam as mesmas features ao treinamento e à inferência online: stores offline e online, consistência entre treino e serving, joins corretos no ponto no tempo, backfills, materialização e freshness das features.

Como modelos grandes são treinados em muitos aceleradores: combinar paralelismo de dados, tensor e pipeline, particionar e recomputar memória, fazer checkpoint sem travar o job, escalonar GPUs compartilhadas com gang scheduling, sobreviver a falhas e stragglers, e ler métricas de utilização para controlar custo.

Como serviços de texto para imagem, vídeo e áudio são construídos sobre pipelines de difusão, e como filas de jobs, workers de GPU e batching, controle de latência, moderação e custo unitário moldam a arquitetura de serviço.

Como projetar sistemas em que um LLM dirige um loop de ferramentas: planejamento, memória, orquestração multiagente, confiabilidade, avaliação, observabilidade e limites de autonomia e permissões.