Trilha Engenharia de Prompts: tudo o que estudar, tópico por tópico

Criação de prompts eficazes sem exemplos, aproveitando o conhecimento do modelo por meio de instruções claras, enquadramento de tarefas e especificação de restrições

Uso de exemplos para guiar o comportamento do modelo, selecionando exemplos representativos, formatando demonstrações e gerenciando efeitos de ordenação de exemplos

Redação de instruções sem ambiguidade, decomposição de tarefas complexas, uso de delimitadores, especificação de tamanho de saída e gerenciamento da estrutura do prompt

Controle do formato de saída do modelo incluindo JSON, XML, tabelas, markdown e extração de dados estruturados por meio do design de prompts

Compreensão de temperatura, top-p, top-k, penalidade de frequência, penalidade de presença e seus efeitos na criatividade versus determinismo da saída

Comparação dos principais provedores de LLM (OpenAI, Anthropic, Google), compreensão de economia de tokens, faixas de preço, tamanhos de janela de contexto e seleção do modelo adequado para diferentes tarefas

Controle granular da saída de LLM usando sequências de parada, penalidade de repetição, penalidade de frequência, máximo de tokens, interação entre top_p e temperatura e viés de logit

Elicitação de raciocínio passo a passo dos modelos, CoT zero-shot, CoT manual e compreensão de quando cadeias de raciocínio melhoram a precisão

Amostragem de múltiplos caminhos de raciocínio e seleção da resposta mais consistente, votação por maioria e calibração de confiança por meio de repetição

Atribuição de personas e papéis aos modelos, prompts de sistema, design de persona e simulação de especialista de domínio para melhor desempenho nas tarefas

Imposição de esquemas JSON, chamada de funções para dados estruturados, geração com gramática restrita e integração com modelos Pydantic

Decomposição de tarefas complexas em chamadas sequenciais de LLM, passagem de contexto entre etapas e projeto de pipelines de prompts com múltiplas etapas

Técnicas avançadas de raciocínio além da cadeia de pensamento: exploração por Árvore de Pensamentos, padrão ReAct, prompting de recuo, autoconsistência e estratégias de planejar e resolver

Combinação de múltiplos prompts para maior confiabilidade: votação por autoconsistência, verificadores diversos, portfólios de prompts e estratégias de agregação de múltiplos prompts

Fragmentação de tamanho fixo, fragmentação semântica, divisão recursiva, fragmentação com reconhecimento de estrutura do documento e estratégias de sobreposição para geração aumentada por recuperação

Modelos de embedding de texto, similaridade vetorial, dimensões de embedding, critérios de seleção de modelo e ajuste fino de embeddings para recuperação em domínio específico

Combinação de busca baseada em palavras-chave (BM25) e busca semântica, fusão de classificação recíproca, pontuação ponderada e roteamento de consultas para recuperação otimizada

Reclassificação com cross-encoder, reclassificação baseada em LLM, ColBERT, calibração de pontuação e equilíbrios entre custo e qualidade em pipelines de recuperação

Gerenciamento de janelas de contexto limitadas, compressão de contexto, efeitos de perda no meio, rastreamento de citações e orçamentação de prompts para sistemas RAG

Medição da qualidade de prompts com métricas automatizadas, avaliação humana, LLM como juiz, BLEU, ROUGE e critérios de avaliação específicos de domínio

Projeto de experimentos controlados para variantes de prompt, significância estatística, divisão de tráfego e abordagens multi-armed bandit para otimização de prompts

Construção de suítes de testes de prompts, conjuntos de dados de referência, avaliação contínua, comparação de versões e detecção de degradação de prompts ao longo do tempo

Projeto de benchmarks específicos de domínio, avaliação de capacidades do modelo, construção de rankings e comparação de modelos para tarefas específicas de prompt

Testes adversariais de prompts, detecção de jailbreak, ataques de injeção de prompt, testes de limites e descoberta sistemática de vulnerabilidades

Identificação e mitigação de vieses em sistemas baseados em prompts por meio de técnicas de calibração, exemplos balanceados, prompting de perspectiva e testes sistemáticos de equidade

Uso de RAGAS e TruLens para avaliação sistemática de LLM: fidelidade, relevância, métricas de recuperação de contexto, padrões de LLM como juiz e construção de pipelines de avaliação

Definição de esquemas de ferramentas, APIs de chamada de funções, extração de parâmetros, tratamento de erros em chamadas de ferramentas e execução paralela de funções

Padrão ReAct, planejar e executar, geração aumentada por ferramentas, sistemas de memória e comparação de frameworks agênticos como LangGraph, CrewAI e AutoGen

Planejamento de tarefas, autorreflexão, autocrítica, refinamento iterativo e prompting metacognitivo para melhor desempenho de agentes

Padrões de colaboração entre agentes, debate e consenso, papéis especializados de agentes, protocolos de comunicação e orquestração de fluxos de trabalho multiagentes

Validação de entrada/saída, filtragem de conteúdo, classificadores de segurança, detecção de alucinação e construção de pipelines de guardrails robustos para sistemas LLM

Construção de fluxos de trabalho de agentes com o modelo de máquina de estados do LangGraph, arestas condicionais, padrões com humano no loop, persistência e streaming para sistemas agênticos complexos

Orquestração multiagente com CrewAI: definição de papéis de agentes, delegação de tarefas, hierarquias de equipe, integração de ferramentas de agentes e padrões de colaboração

Controle de versão de prompts, registros de prompts, estratégias de rollback, caminhos de migração e gerenciamento da evolução de prompts entre implantações

Otimização de uso de tokens, estratégias de cache, roteamento de modelos, compressão de prompts e construção de pipelines LLM com consciência de custos

Respostas em streaming, inferência paralela, decodificação especulativa, agrupamento de requisições e otimização do tempo até o primeiro token para sistemas em produção

Registro e rastreamento de LLM, análise de prompts, painéis de monitoramento de qualidade, sistemas de alerta e depuração de falhas de prompts em produção

Princípios de IA constitucional, conceitos de RLHF, implantação responsável de IA, detecção de viés, políticas de conteúdo e frameworks de governança para sistemas LLM

Otimização sistemática da seleção de exemplos few-shot e prompts de cadeia de pensamento para desempenho consistente em escala

Geração confiável de saídas estruturadas (JSON, XML) usando decodificação restrita, chamada de funções e estratégias de validação

Projeto de arquiteturas de prompts para sistemas agênticos: ReAct, Árvore de Pensamentos, Planejar e Resolver e loops de autorreflexão

Identificação e mitigação de ataques de injeção de prompts em aplicações LLM: sanitização de entrada, separação de privilégios e detecção

Construção de pipelines sistemáticos de avaliação de LLM: LLM como juiz, conjuntos de dados de preferência humana, design de benchmarks e testes de regressão