Pular para o conteúdo

Trilha de estudo

Trilha Desenvolvimento de Aplicações com IA: tudo o que estudar, tópico por tópico

Avaliação abrangente de competências em desenvolvimento de aplicações com IA, cobrindo fundamentos de LLM, sistemas RAG, frameworks de agentes, avaliação e segurança, implantação em produção e engenharia avançada de IA incluindo fine-tuning e RLHF.

Resposta curta

Para aprender Desenvolvimento de Aplicações com IA, percorra 7 módulos e 27 tópicos na ordem em que um apoia o próximo. Comece por Fundamentos de LLM e siga para RAG e Sistemas de Conhecimento e Frameworks de Agentes. Use o mapa como checklist, ou meça seu nível e estude só o que falta.

7
módulos
27
tópicos
60
min para avaliar

O que você vai estudar

Os tópicos estão agrupados por módulo. Abra um para ver os objetivos e os conceitos-chave.

1 · Fundamentos de LLM4 tópicos
  • Tokenização e Embeddings

    Como LLMs tokenizam texto, algoritmos BPE/SentencePiece, espaços de embedding, similaridade semântica e representações vetoriais de linguagem

    Objetivos

    • Explicar como a tokenização afeta os limites de entrada do modelo
    • Utilizar embeddings para tarefas de similaridade semântica

    Conceitos-chave

    • Tokenização BPE
    • SentencePiece
    • Limites de tokens
    • Dimensões de embedding
    • Similaridade cosseno
    • Busca semântica
    • Contagem de tokens
  • Fundamentos de Design de Prompts

    Criação de prompts eficazes, papéis de sistema/usuário/assistente, exemplos few-shot, prompting com cadeia de pensamento e templates de prompts

    Objetivos

    • Projetar prompts que produzam saídas consistentes e de alta qualidade
    • Aplicar cadeia de pensamento para tarefas de raciocínio complexo

    Conceitos-chave

    • Prompts de sistema
    • Prompting few-shot
    • Cadeia de pensamento
    • Prompting zero-shot
    • Atribuição de papéis
    • Formatação de saída
    • Conscientização sobre injeção de prompts
  • Seleção de Modelos

    Escolha do LLM adequado para cada tarefa — comparação de capacidades, custo, latência, janelas de contexto e especialização entre provedores

    Objetivos

    • Selecionar modelos apropriados com base nos requisitos e restrições da tarefa
    • Comparar trade-offs entre tamanho do modelo, custo e capacidade

    Conceitos-chave

    • Janela de contexto
    • Quantidade de parâmetros
    • Custo de inferência
    • Benchmarks de modelos
    • Código aberto vs proprietário
    • Modelos específicos por tarefa
    • Capacidades multimodais
  • Padrões de Integração de API

    Trabalho com APIs de provedores de LLM — autenticação, formatos de requisição/resposta, streaming, limitação de taxa, tratamento de erros e uso de SDK

    Objetivos

    • Integrar APIs de LLM com tratamento de erros e retentativas adequados
    • Implementar respostas em streaming para experiência do usuário em tempo real

    Conceitos-chave

    • API de chat completions
    • Respostas em streaming
    • Limitação de taxa
    • Estratégias de retry
    • Gestão de chaves de API
    • Saída estruturada
    • Fundamentos de chamada de funções
2 · RAG e Sistemas de Conhecimento4 tópicos
  • Bancos de Dados Vetoriais

    Armazenamento e consulta de embeddings em bancos de dados vetoriais — Pinecone, Weaviate, Qdrant, pgvector, algoritmos de indexação e métricas de distância

    Objetivos

    • Escolher o banco de dados vetorial e o tipo de índice adequados para uma determinada carga de trabalho
    • Configurar métricas de distância e compreender seus trade-offs

    Conceitos-chave

    • Índice HNSW
    • Índice IVF
    • Distância cosseno
    • Distância L2
    • Filtragem por metadados
    • Isolamento por namespace
    • Ajuste de índice
  • Estratégias de Chunking

    Divisão de documentos para recuperação eficaz — chunking de tamanho fixo, recursivo, semântico e abordagens com reconhecimento de estrutura de documento

    Objetivos

    • Selecionar estratégias de chunking com base no tipo de documento e necessidades de recuperação
    • Ajustar tamanho e sobreposição de chunk para qualidade de recuperação ideal

    Conceitos-chave

    • Chunking de tamanho fixo
    • Divisão recursiva por caracteres
    • Chunking semântico
    • Sobreposição de chunks
    • Análise de estrutura de documento
    • Otimização do tamanho de chunk
    • Chunking pai-filho
  • Pipelines de Recuperação

    Construção de pipelines de recuperação ponta a ponta — pré-processamento de consultas, embedding, recuperação top-k, re-ranking e montagem da janela de contexto

    Objetivos

    • Projetar um pipeline RAG completo da ingestão de documentos até a geração de respostas
    • Aplicar re-ranking para melhorar a precisão da recuperação

    Conceitos-chave

    • Expansão de consulta
    • Embeddings de documentos hipotéticos
    • Modelos de re-ranking
    • Recuperação top-k
    • Empacotamento de janela de contexto
    • Rastreamento de citações
    • Pipeline de geração aumentada por recuperação
  • Busca Híbrida

    Combinação de recuperação densa e esparsa — BM25 + busca vetorial, fusão de ranking recíproco, combinação keyword-semântica e roteamento de consultas

    Objetivos

    • Implementar busca híbrida combinando recuperação semântica e baseada em palavras-chave
    • Configurar pesos de fusão de ranking recíproco para necessidades específicas de domínio

    Conceitos-chave

    • BM25
    • Embeddings esparsos
    • Fusão de ranking recíproco
    • Roteamento de consultas
    • Combinação denso-esparso
    • Fallback por palavras-chave
    • Léxico específico de domínio
3 · Frameworks de Agentes4 tópicos
  • Arquiteturas de Agentes

    Projeto de agentes baseados em LLM — ReAct, planejar-e-executar, loops de reflexão, máquinas de estado e padrões de orquestração de fluxos de trabalho

    Objetivos

    • Projetar arquiteturas de agentes para diferentes complexidades de tarefas
    • Implementar padrões ReAct e planejar-e-executar

    Conceitos-chave

    • Padrão ReAct
    • Planejar-e-executar
    • Loops de reflexão
    • Máquinas de estado
    • Memória do agente
    • Loops de agente
    • Frameworks de orquestração
  • Uso de Ferramentas e Chamada de Funções

    Habilitação de LLMs para uso de ferramentas externas — APIs de chamada de funções, definição de esquema de ferramentas, análise de resultados e recuperação de erros

    Objetivos

    • Definir esquemas de ferramentas que LLMs possam utilizar de forma confiável
    • Tratar erros de execução de ferramentas de forma elegante em loops de agentes

    Conceitos-chave

    • Esquema de chamada de funções
    • Design de descrição de ferramentas
    • Validação de parâmetros
    • Chamadas de ferramentas em paralelo
    • Injeção de resultados de ferramentas
    • Recuperação de erros
    • Estratégias de seleção de ferramentas
  • Sistemas Multiagentes

    Coordenação de múltiplos agentes de IA — delegação, padrões de supervisão, protocolos de comunicação, memória compartilhada e resolução de conflitos

    Objetivos

    • Projetar sistemas multiagentes com padrões claros de delegação e comunicação
    • Escolher entre orquestração e coreografia para coordenação de agentes

    Conceitos-chave

    • Agente supervisor
    • Padrões de delegação
    • Comunicação entre agentes
    • Memória compartilhada
    • Mecanismos de consenso
    • Agentes especializados
    • Orquestração vs coreografia
  • Planejamento e Raciocínio

    Raciocínio avançado de agentes — decomposição de tarefas, autocrítica, árvore de pensamento, retrocesso e estratégias de replanejamento dinâmico

    Objetivos

    • Implementar estratégias de decomposição de tarefas para problemas complexos de múltiplas etapas
    • Projetar mecanismos de autocrítica que melhorem a confiabilidade do agente

    Conceitos-chave

    • Decomposição de tarefas
    • Árvore de pensamento
    • Autocrítica
    • Retrocesso
    • Replanejamento dinâmico
    • Verificação de objetivos
    • Raciocínio em cadeia de pensamento
4 · Avaliação e Segurança4 tópicos
  • Métricas de Avaliação de LLM

    Medição da qualidade de saída de LLM — métricas automatizadas (BLEU, ROUGE, BERTScore), LLM-como-juiz, avaliação humana e frameworks de testes A/B

    Objetivos

    • Selecionar métricas de avaliação apropriadas para diferentes tarefas de LLM
    • Projetar pipelines de avaliação com LLM-como-juiz

    Conceitos-chave

    • Pontuação BLEU
    • Pontuação ROUGE
    • BERTScore
    • LLM-como-juiz
    • Rubricas de avaliação humana
    • Concordância entre anotadores
    • Curadoria de datasets de avaliação
  • Detecção de Alucinações

    Identificação e mitigação de alucinações de LLM — fundamentação factual, verificação de citações, verificações de autoconsistência e calibração de confiança

    Objetivos

    • Implementar mecanismos de detecção de alucinações em sistemas em produção
    • Projetar estratégias de fundamentação que reduzam confabulações

    Conceitos-chave

    • Fundamentação factual
    • Verificação de citações
    • Autoconsistência
    • Pontuações de confiança
    • Conflitos de conhecimento
    • Estratégias de abstenção
    • Verificação de fatos aumentada por recuperação
  • Segurança de Conteúdo

    Construção de aplicações de IA seguras — moderação de conteúdo, filtragem de saída, detecção de PII, mitigação de viés e frameworks de conformidade

    Objetivos

    • Implementar sistemas de segurança de conteúdo em múltiplas camadas
    • Projetar guardrails que equilibrem segurança com usabilidade

    Conceitos-chave

    • APIs de moderação de conteúdo
    • Filtragem de saída
    • Detecção de PII
    • Detecção de viés
    • Classificação de toxicidade
    • Frameworks de guardrails
    • Requisitos de conformidade
  • Red-Teaming

    Testes adversariais de sistemas de IA — ataques de injeção de prompt, jailbreaking, extração de dados e avaliação sistemática de vulnerabilidades

    Objetivos

    • Conduzir exercícios sistemáticos de red-teaming contra aplicações de LLM
    • Projetar estratégias de defesa em profundidade contra ataques adversariais

    Conceitos-chave

    • Injeção de prompt
    • Técnicas de jailbreaking
    • Ataques de extração de dados
    • Injeção indireta de prompt
    • Red-teaming automatizado
    • Taxonomias de vulnerabilidades
    • Defesa em profundidade
5 · Sistemas de IA em Produção4 tópicos
  • Otimização de Latência

    Redução de tempos de resposta em sistemas de IA — streaming, processamento paralelo, decodificação especulativa, compressão de prompts e implantação na borda

    Objetivos

    • Otimizar a latência ponta a ponta em aplicações baseadas em LLM
    • Aplicar técnicas de compressão de prompts e quantização de modelos

    Conceitos-chave

    • Respostas em streaming
    • Compressão de prompts
    • Decodificação especulativa
    • Chamadas de API em paralelo
    • Inferência na borda
    • Quantização de modelos
    • Estratégias de batching
  • Gestão de Custos

    Controle de custos de infraestrutura de IA — otimização de tokens, escalonamento de modelos, cache de prompts, monitoramento de uso e alertas de orçamento

    Objetivos

    • Projetar arquiteturas de IA com custo eficiente utilizando escalonamento de modelos
    • Implementar sistemas de monitoramento de uso e alertas de orçamento

    Conceitos-chave

    • Otimização de tokens
    • Escalonamento de modelos
    • Cache de prompts
    • Medição de uso
    • Alertas de orçamento
    • Análise de custo por consulta
    • Trade-offs entre batch e tempo real
  • Estratégias de Cache

    Cache para aplicações de IA — cache semântico, cache por correspondência exata, consulta de cache baseada em embeddings, políticas de TTL e invalidação de cache

    Objetivos

    • Implementar cache semântico para reduzir chamadas redundantes ao LLM
    • Projetar estratégias de invalidação de cache para bases de conhecimento dinâmicas

    Conceitos-chave

    • Cache semântico
    • Cache por correspondência exata
    • Limiar de similaridade de embedding
    • Políticas de TTL de cache
    • Invalidação de cache
    • Aquecimento de cache
    • Cache em múltiplas camadas
  • Observabilidade para IA

    Monitoramento de sistemas de IA em produção — rastreamento de chamadas ao LLM, registro de prompts e completions, dashboards de métricas de qualidade e detecção de desvio

    Objetivos

    • Construir pipelines de observabilidade para aplicações baseadas em LLM
    • Detectar degradação de qualidade e desvio de modelo em produção

    Conceitos-chave

    • Rastreamento de chamadas ao LLM
    • Registro de prompts/completions
    • Dashboards de qualidade
    • Percentis de latência
    • Rastreamento de uso de tokens
    • Detecção de desvio de modelo
    • Integração de loop de feedback
6 · Engenharia Avançada de IA2 tópicos
  • Pipelines de Fine-Tuning

    Adaptação de modelos fundacionais — preparação de dados, LoRA/QLoRA, loops de treinamento, ajuste de hiperparâmetros, avaliação e destilação de modelos

    Objetivos

    • Projetar pipelines de fine-tuning ponta a ponta com avaliação adequada
    • Aplicar LoRA/QLoRA para fine-tuning eficiente em parâmetros

    Conceitos-chave

    • Adaptadores LoRA
    • QLoRA
    • Curadoria de dados de treinamento
    • Ajuste de hiperparâmetros
    • Esquecimento catastrófico
    • Destilação de modelos
    • Avaliação durante o treinamento
  • RLHF e DPO

    Alinhamento de modelos com preferências humanas — modelagem de recompensa, treinamento PPO, DPO, coleta de dados de preferência e avaliação de alinhamento

    Objetivos

    • Projetar fluxos de coleta de dados de preferência para alinhamento
    • Comparar abordagens de RLHF e DPO para alinhamento de modelos

    Conceitos-chave

    • Modelagem de recompensa
    • Treinamento PPO
    • DPO
    • Datasets de preferência
    • Penalidade de divergência KL
    • Custo de alinhamento
    • Trade-offs entre RLHF e DPO
7 · Engenharia Especialista de Aplicações de IA5 tópicos
  • Padrões de Arquitetura RAG

    Projeto de sistemas RAG em produção: estratégias de chunking, modelos de embedding, otimização de recuperação, re-ranking e avaliação

    Objetivos

    • Projetar um sistema RAG em produção otimizado para qualidade de recuperação e latência
    • Avaliar pipelines RAG usando RAGAS e identificar modos de falha

    Conceitos-chave

    • Estratégias de chunking
    • Modelos de embedding
    • Busca vetorial
    • Recuperação híbrida
    • Re-ranking
    • Avaliação RAG (RAGAS)
    • Gestão de janela de contexto
  • Design de Agentes de IA

    Construção de agentes de IA em produção com uso de ferramentas, gestão de memória, loops de planejamento e orquestração multiagente

    Objetivos

    • Projetar agentes de IA em produção com arquiteturas adequadas de memória e ferramentas
    • Avaliar e garantir a segurança de agentes de IA em ambientes de produção

    Conceitos-chave

    • Padrão ReAct
    • Chamada de ferramentas
    • Tipos de memória (episódica/semântica)
    • Planejamento de agentes
    • Frameworks multiagentes
    • Avaliação de agentes
    • Guardrails de segurança
  • Aplicações de IA Multimodal

    Construção de aplicações que combinam texto, visão, áudio e dados estruturados usando modelos fundacionais multimodais

    Objetivos

    • Projetar pipelines de IA multimodal para compreensão de documentos e QA visual
    • Avaliar trade-offs entre abordagens unimodais e multimodais

    Conceitos-chave

    • Modelos de visão e linguagem
    • Compreensão de documentos
    • Integração de geração de imagens
    • Transcrição de áudio
    • Recuperação multimodal
    • Fusão de modalidades
  • Confiabilidade de LLM em Produção

    Construção de aplicações confiáveis baseadas em LLM: fallbacks, estratégias de retry, limitação de taxa, gestão de custos e validação de saída

    Objetivos

    • Projetar padrões de confiabilidade para aplicações LLM incluindo fallbacks e circuit breakers
    • Implementar estratégias de validação de saída para aplicações LLM em produção

    Conceitos-chave

    • Modelos de fallback
    • Retry com backoff
    • Tratamento de limite de taxa
    • Gestão de custo por token
    • Validação de saída
    • Saídas estruturadas
    • Circuit breakers para LLMs
  • Gateway de IA e Padrões de Roteamento

    Implementação de gateways de IA para roteamento centralizado de modelos, atribuição de custos, cache semântico e observabilidade

    Objetivos

    • Projetar um gateway de IA que centralize roteamento, cache e observabilidade de LLM
    • Implementar estratégias de roteamento de modelos baseadas em custo, latência e capacidade

    Conceitos-chave

    • Gateway de IA
    • Roteamento de modelos
    • Cache semântico
    • Atribuição de custos
    • Roteamento por latência
    • LiteLLM
    • Portkey
    • Observabilidade para LLMs

Níveis: Júnior, Pleno, Sênior e Especialista

Explique com suas palavras

Corrigido por IA · sem cadastro · 1 pergunta

Sem alternativas para chutar: você escreve, a IA corrige com a rubrica do tópico e diz em que nível sua resposta está.

0 / 600

Já estuda Desenvolvimento de Aplicações com IA?

A avaliação mede tópico por tópico, e o plano pula o que você já sabe.

Aberto para ler. A conta só é necessária para ser medido.

Perguntas frequentes

Por onde começar a estudar Desenvolvimento de Aplicações com IA?

Comece por Fundamentos de LLM: Tokenização e Embeddings, Fundamentos de Design de Prompts e Seleção de Modelos. O mapa ordena os tópicos pelo que depende de quê, então cada um prepara o seguinte.

Quanto tempo leva uma avaliação completa de Desenvolvimento de Aplicações com IA?

Uma avaliação completa desta trilha leva cerca de 60 minutos. O tempo de estudo depende de onde você começa; o diagnóstico mostra quais tópicos você pode pular.

Preciso de conta para usar esta página?

Não. O mapa, os objetivos e os conceitos-chave são abertos. A conta só é necessária para ser medido, ver seu gap por tópico e receber um plano.