Trilha Projetando Sistemas de Machine Learning: tudo o que estudar, tópico por tópico

Avaliar se um problema é adequado para ML: necessidade de padrões, disponibilidade de dados, escala, repetição e tolerância a erros.

Traduzir objetivos de negócio em objetivos de ML: classificação vs regressão, desacoplar objetivos e definir métricas.

Fontes e formatos de dados, modelos de dados, OLTP vs OLAP e processos ETL/ELT que alimentam sistemas de ML.

Por que a qualidade dos dados de treino domina a qualidade do modelo, pensamento centrado em dados e armadilhas comuns.

Amostragem não probabilística vs aleatória, estratificada, ponderada, por reservatório e por importância, e os vieses de cada uma.

Rótulos manuais, rótulos naturais, multiplicidade de rótulos, tamanho do ciclo de feedback e divergência entre anotadores.

Rotulagem programática com funções de rotulagem, aprendizado semissupervisionado, por transferência e ativo.

Reamostragem, aprendizado em duas fases, aprendizado sensível a custo e métricas que sobrevivem ao desbalanceamento.

Valores ausentes, escalonamento, discretização, codificação de categóricas (incluindo hashing trick) e cruzamento de features.

Causas comuns de vazamento: escalonar antes do split, usar estatísticas do teste, vazamento de grupo e de geração de dados.

Escolher entre algoritmos por tradeoffs, evitar viés de estado da arte e equilibrar complexidade com dados e latência.

Estabelecer baselines significativos (aleatório, heurística, humano, solução existente) e ensembles via bagging, boosting e stacking.

Avaliar modelos antes do deploy com testes de perturbação, invariância, expectativa direcional e calibração.

Calibração do modelo para probabilidades confiáveis e avaliação por fatias para detectar baixo desempenho em subgrupos.

Predição em lote (assíncrona) vs online (síncrona), o papel das features de streaming e unificação de pipelines.

Tradeoffs entre nuvem e edge: latência, conectividade, custo, privacidade e hardware necessário em dispositivos.

Reduzir tamanho e latência com fatoração de baixo posto, destilação de conhecimento, poda e quantização.

Drift de covariável, de rótulo e de conceito, por que modelos degradam em produção e como detectar e tratar cada tipo.

Monitorar métricas operacionais e específicas de ML (acurácia, predições, features, entradas brutas) e observabilidade.

Treino sem estado vs com estado (incremental), frequência de retreino, os quatro estágios e desafios de manter modelos atualizados.

Avaliar modelos com tráfego real via shadow deployment, testes A/B, canary, experimentos intercalados e bandits.

Gestão e reuso de features e consistência entre treino e serving, reduzindo o skew entre treino e produção.

Componentes de uma plataforma de ML: deploy de modelos, serving, metadados e decisões de construir vs comprar.

Fontes de dano como dados e design enviesados, framework de IA responsável, transparência e tradeoffs como privacidade vs acurácia.