Booking.com: 150 modelos, 6 lições

01 · CONTEXTO

Um resumo sobre muitos modelos, não sobre um

Este caso parte de um resumo público do artigo do Booking.com apresentado na KDD. O resumo trata das lições da integração de cerca de 150 aplicações de aprendizado de máquina voltadas ao cliente.

Segundo o resumo, as seis lições do título não aparecem listadas no corpo do artigo, mas podem ser inferidas da divisão em seções. A conclusão principal citada é que um processo iterativo, guiado por hipóteses e integrado a outras disciplinas foi fundamental para construir 150 produtos habilitados por aprendizado de máquina.

O resumo também lembra por que recomendar é difícil nesse domínio: reservar uma hospedagem errada é bem pior do que assistir a um filme de que você não gosta.

02 · MODELOS EM PRODUÇÃO

Muitos modelos, vários papéis

Com cerca de 150 modelos em produção, o aprendizado de máquina tocou muitas partes da experiência do Booking.com. Alguns modelos são específicos de um caso de uso em um contexto; outros formam uma camada semântica, modelando conceitos úteis em vários contextos. O resumo agrupa os modelos em seis grandes categorias.

Entre elas estão os modelos de otimização de interface. Nesses, segundo o resumo, raramente um único valor é ótimo para todos, e por isso os modelos consideram o contexto e as informações do usuário para decidir a melhor interface.

Na primeira lição, o resumo afirma que, comparados a outros projetos bem-sucedidos que não usaram aprendizado de máquina, os projetos com aprendizado de máquina tendem a entregar retornos maiores.

03 · MÉTRICA E NEGÓCIO

Modelo melhor não é negócio melhor

O Booking.com estima o valor entregue por um modelo por meio de experimentos controlados aleatorizados, que medem o impacto em métricas de negócio. Um achado destacado no resumo é que melhorar o desempenho de um modelo não se traduz necessariamente em ganho de valor de negócio.

04 · PROBLEMA E LATÊNCIA

Definir bem o problema e servir rápido

A terceira lição é definir o problema com cuidado antes de construir modelos. O resumo destaca que algumas das maiores melhorias vêm de mudar a formulação, e não de melhorar o modelo dentro de uma formulação dada. O exemplo citado é trocar um modelo de preferência do usuário baseado em dados de cliques por um problema de processamento de linguagem natural baseado em avaliações dos hóspedes. Segundo o resumo, muitas vezes o melhor problema não é o que vem à mente primeiro.

A quarta lição é que a latência de predição importa. Em um experimento com latência sintética, o resumo relata que um aumento de cerca de 30% na latência custou cerca de 0.5% nas taxas de conversão.

1. O pedido do usuário chega à aplicação, que precisa de predições para decidir o que mostrar.

2. Pré-computação e cache são duas das táticas citadas no resumo para reduzir a latência dos modelos; aqui o cache guarda predições já calculadas.

3. Cópias do modelo distribuídas horizontalmente, atrás de um balanceador, são outra tática citada no resumo.

4. Favorecer modelos com menos parâmetros e usar um motor de predição linear próprio também constam da lista de táticas do resumo.

5. O esforço se justifica porque, no experimento de latência sintética, mais latência custou conversão.

05 · FEEDBACK CEDO

Saber cedo se o modelo está mal

A quinta lição é obter feedback cedo sobre a qualidade do modelo. Com o modelo atendendo pedidos, monitorar a qualidade da saída é crucial e traz pelo menos dois desafios. O primeiro é o feedback incompleto, pela dificuldade de observar os rótulos verdadeiros. O segundo é o feedback atrasado: a previsão feita na hora da reserva sobre se o usuário deixará uma avaliação só pode ser conferida depois da viagem.

Para classificadores binários, uma tática é olhar a distribuição das respostas do modelo. Segundo o resumo, distribuições bimodais suaves, com um ponto estável claro, são sinal de um modelo que separa bem as duas classes, e outros formatos podem indicar um modelo com dificuldade. A análise da distribuição das respostas se mostrou muito útil para detectar defeitos nos modelos bem cedo.

1. A aplicação pede a predição e o modelo devolve uma pontuação para cada pedido.

2. Cada pontuação é registrada sem esperar o rótulo verdadeiro, que pode demorar a chegar.

3. O analisador monta a distribuição das pontuações e procura o formato bimodal suave; outros formatos sugerem um modelo com dificuldade.

4. O resultado vai para o monitoramento, o que permite detectar defeitos cedo.

06 · EXPERIMENTOS

A prova é o experimento controlado

A sexta lição é testar o impacto de negócio com experimentos controlados aleatorizados. Segundo o resumo, a grande maioria dos casos de sucesso estudados foi viabilizada por desenhos de experimento sofisticados, seja para guiar o desenvolvimento, seja para detectar o impacto.

1. Quando nem todos podem ser expostos à mudança, os grupos de tratamento e de não tratamento são criados dentro do subconjunto elegível.

2. Ao comparar modelos, o interesse está nos casos em que os dois discordam, e a linha de base é um grupo de controle que invoca o modelo atual.

3. Para avaliar o impacto do desempenho, acrescenta-se um terceiro grupo de controle em que o modelo não é invocado.

4. O que se compara são métricas de negócio, que é o que os experimentos controlados medem no Booking.com.