Papers
ReAct: Synergizing Reasoning and Acting in Language Models
Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao · ICLR 2023, 2023
O problema: raciocinar e agir eram estudados separadamente
Quando o paper foi escrito, os modelos de linguagem grandes (LLMs) já mostravam bom desempenho em raciocínio, por exemplo com chain-of-thought (CoT), e em tomada de decisão interativa, por exemplo gerando planos de ação. Mas essas duas capacidades vinham sendo estudadas como temas separados. Os autores apontam o limite de cada lado. O CoT é, nas palavras deles, uma caixa-preta estática: o modelo usa apenas suas representações internas, sem se ancorar no mundo externo, e por isso não consegue reagir a informação nova nem atualizar o que sabe. Isso leva a alucinação de fatos e à propagação de erros ao longo da cadeia de raciocínio. Já os trabalhos que usam modelos de linguagem para agir em ambientes interativos tendem a prever ações a partir de conhecimento prévio da linguagem, sem usar o modelo para raciocinar de forma abstrata sobre objetivos de alto nível nem para manter uma memória de trabalho que apoie a ação. A motivação vem de uma observação sobre pessoas: entre duas ações concretas, como ao cozinhar, falamos conosco para acompanhar o progresso, ajustar o plano diante de uma exceção e perceber quando falta informação externa. O paper pergunta se combinar raciocínio e ação em modelos de linguagem traz benefícios sistemáticos em relação a usar só um dos dois.
A ideia central: pensamentos como ações que não mexem no ambiente
A formulação do paper é simples. Um agente recebe observações de um ambiente e escolhe ações com base em um contexto que acumula tudo o que já aconteceu. O ReAct amplia o espaço de ações do agente para incluir também a linguagem livre. Uma ação nesse espaço de linguagem é chamada de pensamento (ou traço de raciocínio): ela não altera o ambiente externo e, por isso, não gera nenhuma observação em retorno. Em vez disso, o pensamento é adicionado ao contexto para apoiar o raciocínio e as ações seguintes. Os autores listam usos variados de pensamentos: decompor o objetivo em um plano, injetar conhecimento de senso comum, extrair o que importa de uma observação, acompanhar o progresso e mudar de plano, e tratar exceções. Na prática, o trabalho usa um modelo grande congelado, o PaLM-540B, e o orienta apenas com poucos exemplos no prompt (few-shot). Cada exemplo é uma trajetória escrita por humanos com pensamentos, ações e observações. Em tarefas em que o raciocínio é central, pensamento e ação se alternam em vários passos de pensamento-ação-observação. Em tarefas com muitas ações, os pensamentos aparecem de forma esparsa, e o próprio modelo decide onde inseri-los.
Usando ferramentas: a API da Wikipedia em HotpotQA e FEVER
Para tarefas intensivas em conhecimento, os autores usam duas bases: HotpotQA, de perguntas que exigem raciocínio sobre dois ou mais trechos da Wikipedia, e FEVER, de verificação de fatos, em que cada afirmação é marcada como suportada, refutada ou sem informação suficiente. O modelo recebe só a pergunta ou a afirmação e precisa recorrer ao conhecimento interno ou buscar o que falta. A ferramenta é uma API simples da Wikipedia com três ações. A ação search[entidade] devolve as primeiras 5 frases da página, ou sugere entidades parecidas se a página não existir. A ação lookup[texto] devolve a próxima frase da página que contém o texto, simulando um Ctrl+F. A ação finish[resposta] encerra a tarefa. Os autores notam que essa API é bem mais fraca que recuperadores modernos e dizem que o propósito do desenho é simular como pessoas interagem com a Wikipedia e forçar o modelo a decidir o que buscar por meio de raciocínio explícito. Os prompts usaram 6 exemplos manuais no HotpotQA e 3 no FEVER. O ciclo resultante é: o pensamento decide o que buscar, a ação consulta a Wikipedia, a observação traz o resultado, e o próximo pensamento o interpreta, o que pode levar a reformular a busca antes da resposta final.
Resultados e modos de falha: factualidade versus flexibilidade
Com o PaLM-540B, o ReAct supera o Act (só ações, sem pensamentos) nas duas tarefas: 27,4 contra 25,7 de exact match no HotpotQA e 60,9 contra 58,9 de acurácia no FEVER. Contra o CoT, o resultado é misto: o ReAct vence no FEVER (60,9 contra 56,3) e fica um pouco atrás no HotpotQA (27,4 contra 29,4). Os autores analisaram à mão 200 trajetórias do HotpotQA, 50 de cada combinação entre método e acerto ou erro. O CoT sofre mais com alucinação: 14% de falsos positivos contra 6% do ReAct, e alucinação é 56% das falhas do CoT, contra 0% das amostras de falha do ReAct. Em troca, a estrutura rígida do ReAct reduz a flexibilidade do raciocínio, e ele tem mais erros de raciocínio (47% das falhas contra 16%). Um padrão típico é repetir os mesmos pensamentos e ações sem sair do laço. Além disso, 23% das falhas do ReAct vêm de buscas que não retornam informação útil, o que desorienta o modelo. Por isso os autores propõem combinar os métodos: voltar ao CoT com autoconsistência (CoT-SC) se o ReAct não responder em 7 passos no HotpotQA ou 5 no FEVER, ou voltar ao ReAct quando a maioria do CoT-SC for fraca. As melhores combinações chegaram ao desempenho do CoT-SC com 21 amostras usando só 3 a 5.
Tomada de decisão, limites e trabalhos futuros
O ReAct também foi testado em dois ambientes interativos. O ALFWorld é um jogo de texto que simula uma casa, em que o agente cumpre objetivos navegando e manipulando objetos. O WebShop é um site de compras com 1,18 milhão de produtos reais e instruções de usuários. No ALFWorld, avaliado em 134 jogos não vistos, a melhor tentativa do ReAct teve 71% de sucesso, contra 45% do melhor Act e 37% do melhor BUTLER, um agente treinado por imitação. Até a pior tentativa do ReAct (48%) superou os melhores dos outros dois. Uma variante que só reage a feedback do ambiente (ReAct-IM) teve 53%, e os autores atribuem a diferença à falta de decomposição de objetivos e de raciocínio de senso comum. No WebShop, o ReAct teve 40,0% de sucesso, melhorando 10 pontos absolutos sobre os métodos de imitação e de imitação mais aprendizado por reforço, mas humanos especialistas chegaram a 59,6%. Como limites, os autores notam que tarefas com espaços de ação grandes exigem mais demonstrações, que podem ultrapassar o limite de entrada do aprendizado em contexto. Em um teste inicial, ajustar modelos menores (PaLM-8B e 62B) com 3.000 trajetórias corretas fez o ReAct virar o melhor método no HotpotQA. O paper também ressalva que conectar um LLM a ações no mundo traz riscos, e por isso restringiu os experimentos a Wikipedia e WebShop.
Veja as ideias em ação
Pratique na escola de System Design os desenhos que usam este paper.