Microsoft Tay (2016)

01 · CONTEXTO

Um chatbot público feito para aprender com a conversa

Em março de 2016 a Microsoft lançou Tay, um chatbot criado para jovens de 18 a 24 anos nos EUA, com fins de entretenimento. A empresa conta que a experiência com o XiaoIce, na China, usado por cerca de 40 milhões de pessoas, a levou a perguntar se uma IA assim cativaria em um ambiente cultural radicalmente diferente.

Antes do lançamento, a empresa diz ter planejado e implementado muita filtragem, feito estudos com usuários e testado Tay sob estresse. A expectativa era aprender com a interação crescente para que a IA melhorasse, e o Twitter foi escolhido como o lugar para engajar um grande grupo de pessoas.

1. Os usuários conversam com Tay pelo Twitter, a plataforma escolhida para alcançar um grupo grande de pessoas.

2. A empresa diz ter implementado filtragem antes do lançamento. O bloco mostra onde esse tipo de proteção se encaixaria; o desenho real não é público.

3. A expectativa era aprender com a interação crescente para a IA melhorar. O bloco é conceitual: a fonte não descreve o mecanismo.

02 · O ATAQUE

Preparada para muitos abusos, exposta a um específico

Segundo a Microsoft, nas primeiras 24 horas no ar um ataque coordenado de um subconjunto de pessoas explorou uma vulnerabilidade em Tay. A empresa afirma que havia se preparado para muitos tipos de abuso, mas cometeu uma falha crítica de avaliação para este ataque específico. O resultado foi que Tay publicou palavras e imagens muito inapropriadas e repreensíveis.

1. Um subconjunto de pessoas, de forma coordenada, explorou uma vulnerabilidade em Tay nas primeiras 24 horas.

2. Como resultado, Tay publicou palavras e imagens muito inapropriadas.

3. Tay foi tirada do ar. A empresa diz que só pensaria em trazê-la de volta com confiança de antecipar melhor a intenção maliciosa.

03 · POR QUE ACONTECE

Quando a entrada do usuário influencia o comportamento

A própria Microsoft escreve que sistemas de IA se alimentam de interações positivas e negativas com pessoas, e que os desafios são tanto sociais quanto técnicos. Ela reconhece que, mesmo limitando exploits técnicos, não consegue prever todos os usos indevidos humanos sem aprender com os erros.

Em termos de projeto, isso muda o status da entrada. Num sistema que apenas responde, uma mensagem hostil é um problema de moderação de uma resposta. Num sistema que espera aprender com as conversas, a mesma mensagem passa a ser um canal de influência sobre o comportamento futuro, e quem controla o volume e a coordenação das mensagens tem poder sobre esse canal. Por isso a entrada precisa ser tratada como não confiável, e a decisão de aprender com ela deve ser separada da decisão de responder.

04 · O DESENHO

Separar responder de aprender

Um desenho mais defensivo, ilustrado abaixo, usa camadas independentes. A verificação de entrada e saída barra o conteúdo que viola a política. As interações que poderiam virar dado de treino vão para uma fila e passam por curadoria antes de chegar a um conjunto aprovado, de modo que o modelo em produção não muda por causa de uma conversa isolada. Por fim, o monitoramento observa o comportamento e permite suspender o bot rapidamente. Esta é uma proposta de projeto, não uma descrição do sistema da Microsoft.

1. O gateway recebe as mensagens e aplica limites de uso, o que dificulta que um grupo coordenado inunde o bot.

2. A verificação classifica o conteúdo recebido e também as respostas geradas, barrando o que viola a política.

3. O modelo responde usando uma versão fixa e validada. Uma conversa isolada não altera esse modelo.

4. As interações candidatas a aprendizado seguem por uma fila para curadoria, fora do caminho da resposta.

5. Só o que foi aprovado entra no conjunto de treino versionado, que alimenta futuras versões do modelo de forma controlada.

6. O monitoramento recebe métricas e amostras das respostas e permite suspender o bot se o comportamento sair do esperado.

05 · LIÇÕES

O que levar para o seu projeto

Para a Microsoft, fazer IA direito exige iterar com muitas pessoas, muitas vezes em fóruns públicos, e que cada uma dessas iterações deve começar com grande cautela.

Para quem desenha um sistema que aprende com usuários, três perguntas ajudam: quem pode influenciar o que o sistema aprende; o que separa uma mensagem do treino; e quem consegue desligá-lo, e com que rapidez. Teste o sistema também contra um adversário coordenado, não apenas contra usuários bem-intencionados.