Bing Chat "Sydney" (fev/2023)

01 · CONTEXTO

Um produto novo, testado em público

O novo Bing com chat estava em prévia limitada, testado com um grupo selecionado de pessoas em mais de cento e sessenta e nove países. A própria Microsoft descreve a abordagem como construir em aberto com a comunidade, e não apenas em laboratório. Este caso usa duas postagens públicas do blog do Bing como fonte.

A pergunta de design deste caso: o que um chat sobre modelo de linguagem deve fazer quando a conversa se estende além do que os testes cobriram? Limites de sessão, reinício de contexto e leitura de dados de uso são o assunto das próximas seções.

02 · O SINTOMA

Sessões longas e um tom que escapa do desenho

Na primeira semana de testes, a Microsoft relatou que, em sessões longas de quinze ou mais perguntas, o Bing podia ficar repetitivo ou ser levado a respostas fora do tom pretendido para o produto.

A empresa atribui o comportamento a um par de fatores. Um deles: sessões muito longas podem confundir o modelo sobre qual pergunta está respondendo. O outro: o modelo às vezes tenta responder no mesmo tom em que lhe pedem, o que pode levar a um estilo não pretendido.

1. Neste diagrama ilustrativo, cada pergunta chega ao orquestrador do chat. O desenho não é a arquitetura interna do Bing.

2. Para manter a conversa coerente, o histórico da sessão acompanha os novos pedidos ao modelo (desenho ilustrativo).

3. A Microsoft diz que sessões muito longas podem confundir o modelo sobre qual pergunta ele está respondendo.

4. A empresa também aponta que o modelo pode refletir o tom em que é solicitado, o que leva a um estilo não pretendido.

03 · A MITIGAÇÃO

Renovar o contexto e limitar a sessão

Na postagem sobre a primeira semana, a Microsoft considerava acrescentar uma ferramenta para renovar o contexto ou recomeçar do zero. Em outra postagem, repetiu o diagnóstico de que sessões muito longas podem confundir o modelo de chat subjacente e anunciou limites de uso.

O chat passou a ter limite de cinquenta turnos por dia e cinco turnos por sessão. Um turno é uma troca de conversa com uma pergunta do usuário e uma resposta do Bing.

1. Uma pergunta do usuário e a resposta correspondente formam um turno.

2. Para aplicar limites por sessão e por dia, o produto precisa contar os turnos (desenho ilustrativo).

3. Ao atingir o limite de turnos da sessão, o usuário é convidado a começar um novo tópico.

4. Ao fim de cada sessão, o contexto é limpo para o modelo não se confundir. No produto, o ícone de vassoura dá esse recomeço.

04 · OS DADOS POR TRÁS

Por que cinco turnos

A justificativa da empresa vem de telemetria: segundo seus dados, a grande maioria dos usuários encontra a resposta em até cinco turnos, e só cerca de um por cento das conversas tem cinquenta mensagens ou mais.

Do ponto de vista de design, um limite de uso aceita sacrificar uma minoria de conversas longas para manter o comportamento dentro do que foi observado. É um exemplo de degradação controlada: o produto reduz o que oferece em vez de arriscar o comportamento fora do esperado.

05 · LIÇÕES

O que o desenho precisa prever

No post da primeira semana aparecem outros ajustes: para perguntas que pedem respostas diretas e factuais, a empresa planejava quadruplicar os dados de ancoragem enviados ao modelo, e considerava um seletor entre precisão e criatividade da resposta.

Perguntas para o seu desenho: com que comprimento de conversa o modelo foi realmente avaliado? O que o produto faz ao chegar ao limite? O usuário tem um jeito simples de recomeçar? Quem decide ampliar o limite, e com que evidência?