QuintoAndar: busca conversacional com re-ranking por LLM

01 · CONTEXTO

Por que reordenar com um LLM

O Concierge, do QuintoAndar, é um assistente multiagente que cuida da descoberta de imóveis, de dúvidas sobre anúncios e do agendamento de visitas por diálogo em linguagem natural.

Segundo os autores, esses sinais de preferência ficam essencialmente invisíveis à busca facetada tradicional, e a recuperação por filtros estruturados gera um conjunto de candidatos razoável, mas não distingue imóveis que satisfazem nominalmente as mesmas restrições.

A escolha do artigo foi atuar no estágio de re-ranking: ele opera sobre um conjunto pequeno e tolerante a latência, integra-se à infraestrutura de recuperação existente e consegue raciocinar sobre restrições rígidas, preferências suaves e valor relativo. Com isso, o LLM melhora a busca sem exigir recuperação generativa ponta a ponta nem a reescrita da pilha de serving.

02 · ARQUITETURA

Do pedido em linguagem natural à lista final

O pipeline segue uma arquitetura de recuperação seguida de re-ranking: o primeiro estágio produz os candidatos e o segundo refina a ordem por uma função de pontuação ponto a ponto feita por LLM sobre pares consulta-imóvel.

1. Um planejador baseado em LLM é a porta de entrada de cada interação: ele classifica a intenção do usuário e encaminha o pedido ao agente de domínio mais adequado.

2. Quando o planejador roteia a consulta ao agente de recomendação, a requisição entra no pipeline de recuperação; os agentes de detalhes e de visitas cuidam de outros fluxos.

3. O Text2Filter converte o texto livre do usuário em filtros estruturados de busca.

4. Os filtros resultantes são usados para recuperar e ranquear os imóveis candidatos no sistema de busca existente, que serve como estágio de recuperação de base.

5. O estágio de re-ranking refina a ordem dos candidatos com uma função de pontuação ponto a ponto por LLM aplicada a pares consulta-imóvel.

6. Só os cinco primeiros imóveis do ranking chegam ao usuário.

O Text2Filter é um pipeline de LLM em dois estágios baseado no GPT-4o: no primeiro, o modelo identifica quais atributos de filtro aparecem na consulta; no segundo, gera os valores estruturados de cada atributo identificado.

03 · O RE-RANKER

Pontuar um imóvel por vez, com contexto

A pontuação foi feita ponto a ponto. A tabela resume o que os autores dizem sobre as estratégias de ranking com LLM.

Como exemplo do custo quadrático, ranquear vinte imóveis exigiria cento e noventa comparações par a par.

1. Para cada requisição, monta-se um contexto de pontuação combinando as entradas que o LLM vai receber.

2. As estatísticas do conjunto permitem julgar se um candidato é comparativamente caro, equipado acima do comum ou diferenciado dentro do conjunto recuperado.

3. O perfil textual do usuário é um resumo, gerado por LLM, das interações históricas do usuário.

4. Os metadados do candidato incluem comodidades, instalações, atributos do imóvel e descrições da casa.

5. Cada candidato é pontuado pelo LLM, e as notas são calculadas de forma assíncrona entre todos os candidatos.

6. Os imóveis são ordenados por nota decrescente, e os empates são desfeitos pelo escore original de recuperação.

O prompt de pontuação considera três dimensões complementares: satisfação das restrições rígidas, alinhamento com as preferências declaradas e inferidas e valor relativo dentro do conjunto. Já o perfil do usuário trata os sinais comportamentais como preferências suaves, e não como restrições rígidas.

04 · AVALIAÇÃO OFFLINE

Um dataset próprio e um juiz LLM

Para avaliar offline, os autores montaram um dataset próprio. Partiram de uma amostra aleatória de anúncios ativos, trataram cada anúncio como âncora e definiram uma taxonomia de seis tipos de consulta, gerando uma consulta sintética por categoria para cada imóvel.

1. Os dados dos imóveis são amostrados do data lake e cada anúncio serve de âncora para gerar consultas sintéticas.

2. Candidatos semanticamente parecidos são recuperados com embeddings densos, para incluir negativos difíceis em vez de negativos aleatórios triviais.

3. Os rótulos de relevância são atribuídos por um LLM atuando como juiz.

4. O dataset é enriquecido com consultas reais de produção.

A recuperação de vizinhos expandiu o dataset de sessenta mil para seiscentos mil pares. O dataset final reúne novecentos e sessenta mil pares consulta-imóvel; a parte de produção vem de trinta mil consultas únicas dos logs. A distribuição de relevância é de 33% de pares positivos e 67% de negativos.

Os rótulos binários de relevância são atribuídos por um LLM (Claude Sonnet 4) atuando como juiz. Para validar esse uso, os autores compararam rótulos com avaliação humana: em uma amostra de mil pares, houve 94% de concordância com os rótulos gerados por LLM na validação das consultas sintéticas e, em outra amostra de mil pares, 96% de concordância com os julgamentos do LLM.

05 · EXPERIMENTO ONLINE

O ganho medido e o custo pago

O re-ranker foi para produção em um experimento A/B randomizado entre 7 de abril e 8 de maio de 2026, com divisão de 50% para tratamento e 50% para controle e mais de 200 mil traces de recomendação reais. O grupo de tratamento recebeu os resultados reordenados por LLM, e o de controle recebeu a ordem da recuperação de base.

Um detalhe importante: a versão testada online foi a segunda melhor configuração offline, a que não usava o perfil textual do usuário, e o perfil ainda não estava integrado ao serving de produção na época da implantação.

Os autores consideram que esses custos ficaram dentro dos limites aceitáveis de produção e foram superados pelo ganho de engajamento e de visitas agendadas, e afirmam que a latência de produção se manteve estável durante o experimento.

Em paralelo, um juiz LLM comparou, em amostras de traces de produção, a ordem antes e depois do re-ranking, em formato de preferência par a par, com listas anonimizadas para reduzir vieses de posição e apresentação. Em 3.944 traces, o juiz preferiu a lista reordenada em 95% dos casos.

06 · FECHAMENTO

Próximos passos e limites

Entre os próximos passos, os autores citam testar em A/B a adição do perfil de usuário gerado por LLM como sinal de personalização.