Agente de atendimento com LLM e ferramentas

01 · CONTEXTO

Um agente de atendimento é pergunta de risco

O guia de entrevistas da Exponent, compilado a partir de perguntas relatadas por candidatos, diz que projetar um agente virou pergunta padrão, sobretudo em empresas cujo produto é um agente (Sierra, Scale e Glean).

Entre as perguntas listadas estão construir um agente de atendimento ao cliente para uma empresa fictícia de artigos outdoor e projetar um sistema agêntico de suporte para o Spotify, ambas atribuídas à Sierra.

O mesmo guia resume que essas perguntas premiam guardrails, controle de custo e fallback humano, e que perguntas de agente são, no fundo, perguntas de gestão de risco.

02 · AGENTE OU FLUXO FIXO

Quando o LLM dirige o processo

A Anthropic distingue dois arranjos: fluxos de trabalho, em que LLMs e ferramentas são orquestrados por caminhos de código predefinidos, e agentes, em que o LLM dirige dinamicamente o próprio processo e o uso de ferramentas.

Para a Anthropic, o atendimento ao cliente combina a interface familiar de chatbot com integração de ferramentas. Elas podem puxar dados do cliente, histórico de pedidos e artigos da base de conhecimento; ações como reembolsos ou atualização de tickets podem ser tratadas por código; e o sucesso é mensurável por resoluções definidas pelo usuário.

Um padrão útil nesse domínio é o roteamento: direcionar tipos diferentes de consulta (perguntas gerais, pedidos de reembolso, suporte técnico) para processos, prompts e ferramentas distintos, e mandar perguntas fáceis a modelos menores e mais baratos.

Agentes servem a problemas abertos em que é difícil ou impossível prever o número de passos e fixar o caminho. Em contrapartida, a autonomia traz custos maiores e risco de erros que se acumulam, e a Anthropic recomenda testes extensos em ambientes isolados, com guardrails adequados.

03 · ARQUITETURA BÁSICA

Conhecimento, ferramentas e laço do agente

Um desenho de RAG segue etapas: fragmentar e indexar os documentos de origem em um repositório vetorial com metadados e, na consulta, converter a pergunta em vetor e trazer um conjunto enxuto dos melhores trechos, com busca híbrida se necessário.

Segundo a Anthropic, agentes costumam ser apenas LLMs usando ferramentas com base no retorno do ambiente, em laço; por isso as definições das ferramentas merecem tanta atenção de engenharia de prompt quanto o prompt geral.

1. O cliente chega ao sistema pelo gateway de entrada, ponto único de acesso neste desenho.

2. O orquestrador mantém o laço em que o modelo usa ferramentas com base no retorno do ambiente.

3. Os documentos de ajuda são fragmentados e indexados com metadados; na consulta, o sistema traz um conjunto enxuto dos melhores trechos.

4. O gateway de ferramentas expõe consultas a dados do cliente e histórico de pedidos e ações como reembolsos e atualização de tickets, tratadas por código.

5. O banco de pedidos e tickets é o nó que as ferramentas consultam e alteram neste desenho.

A cada passo, o agente precisa obter a verdade de campo do ambiente, como resultados de chamadas de ferramenta, para avaliar o progresso.

04 · AÇÕES, GUARDRAILS E HANDOFF

Quem pode fazer o quê, e quando chamar uma pessoa

A dica do guia é projetar sempre o fallback humano e os guardrails: recusa de assuntos fora de escopo, validação da saída e limiares de confiança.

No quadro de referência do guia, a etapa de ação define, para agentes, as ferramentas e os portões de aprovação, e a etapa de guardrails recusa o que está fora de escopo, valida a saída e encaminha a um humano acima de limiares.

No exemplo de um agente de sinistros de seguro, o modelo propõe uma decisão, mas o que passa de um limiar de confiança ou de valor em dinheiro vai para uma pessoa, porque uma aprovação automática errada sai cara.

A Anthropic descreve ainda um guardrail em que uma instância do modelo processa as consultas e outra as examina quanto a conteúdo ou pedidos inadequados; segundo o texto, isso tende a funcionar melhor do que o mesmo chamado de LLM cuidar dos dois.

1. Uma instância do modelo examina consultas quanto a conteúdo ou pedidos inadequados, separada da instância que cuida da resposta principal.

2. O nó de política representa o portão de aprovação, definido junto com as ferramentas do agente.

3. No exemplo de sinistros do guia, o que passa de um limiar de confiança ou de valor em dinheiro vai para uma pessoa; aqui a fila de aprovação cumpre esse papel.

4. O agente pode pausar para feedback humano em checkpoints ou diante de bloqueios; o atendente é quem decide nesses casos.

5. As decisões são registradas com suas citações para auditoria.

Os agentes podem pausar para feedback humano em checkpoints ou diante de bloqueios, e é comum incluir condições de parada, como um número máximo de iterações, para manter o controle.

05 · AVALIAÇÃO E CUSTO

Medir o agente sem se enganar

O guia manda separar a avaliação da recuperação da avaliação da decisão ou resposta e registrar as decisões com suas citações, para auditoria. Se um LLM atuar como juiz, ele deve ser validado contra rótulos humanos, pois juízes derivam e carregam vieses.

O guia também pede que o custo de tokens e a latência fiquem explícitos: cache, recuperação enxuta, roteamento de modelos e orçamentos por requisição.

O passo de escopo do quadro do guia cobre entradas, saídas, orçamento de latência, teto de custo e quanto custa uma resposta errada.

06 · FECHAMENTO

Premissas em voz alta

Limiares de confiança, limites de valor e metas de custo dependem do negócio. Declare suas premissas ao entrevistador, justifique cada limite e mostre como o desenho muda se o risco aumentar.