Google Photos: rotulagem racista

01 · CONTEXTO

Rotular fotos automaticamente

O Google Photos é um serviço de fotos pessoais que usa aprendizado de máquina para agrupar fotos de conteúdo parecido e para permitir a busca nas coleções dos usuários. Este caso trata de um incidente de rotulagem nesse serviço e da mitigação que o Google adotou.

A pergunta de design é: o que fazer quando um classificador de imagens produz um rótulo ofensivo e não existe correção imediata do modelo? O caso mostra uma resposta prática e o custo dela.

1. Neste desenho ilustrativo, o app envia a foto ao armazenamento.

2. O classificador consome a foto nova e grava os rótulos propostos no índice.

3. A busca do usuário consulta o índice de rótulos e devolve as fotos correspondentes.

02 · O INCIDENTE

O rótulo errado e a primeira resposta

O incidente de 2015 envolveu o Photos rotulando fotos de um usuário com um amigo negro como “gorilas”.

Um engenheiro que virou a face pública da limpeza disse que o rótulo “gorilla” deixaria de ser aplicado a grupos de imagens, e o Google afirmou que trabalhava em correções de longo prazo.

Mais de dois anos depois, uma dessas correções era apagar gorilas e alguns outros primatas do vocabulário do serviço, segundo a Wired.

03 · A MITIGAÇÃO

Bloquear termos em vez de corrigir o modelo

A Wired testou o Photos com uma coleção de 40.000 imagens com muitos animais. Buscas por “gorilla”, “chimp”, “chimpanzee” e “monkey” retornaram “no results”.

Um porta-voz do Google confirmou que “gorilla” foi censurado das buscas e dos rótulos de imagem depois do incidente de 2015, e que “chimp”, “chimpanzee” e “monkey” também estão bloqueados.

1. Neste desenho, o classificador propõe rótulos candidatos e os entrega ao filtro.

2. O filtro descarta os rótulos que estão na lista de bloqueio e deixa passar os demais ao índice.

3. Na busca, o termo digitado também passa pelo filtro; um termo bloqueado não encontra fotos.

04 · POR QUE É DIFÍCIL

Limites do treino e escala

Segundo a Wired, com dados e poder de computação suficientes um software pode ser treinado para categorizar imagens com alta precisão, mas não vai facilmente além da experiência desse treino.

Engenheiros que colocam modelos em produção precisam se preocupar com “casos de canto” ausentes dos dados de treino. Um professor citado pela reportagem diz que é muito difícil modelar tudo o que o sistema verá em produção.

Com uma base enorme de imagens, uma chance minúscula de confundir um tipo de grande símio com outro pode virar quase certeza.

1. No Photos, o termo da busca passa por um filtro de termos bloqueados.

2. A API para empresas é outro produto; no teste da Wired, ela identificou fotos de gorila e de chimpanzé.

3. Dois produtos da mesma empresa deram respostas diferentes para o mesmo tipo de imagem.

05 · LIÇÕES

O que levar para o design

O porta-voz destacou um recurso do Photos que permite aos usuários reportar erros e disse que a tecnologia de rotulagem de imagens ainda é imatura e longe de perfeita.

Para o design de um sistema de rotulagem, ajudam camadas que se complementam: avaliar o modelo por subgrupos antes do lançamento, bloquear termos como contenção quando o modelo erra de forma grave, e manter monitoramento com um canal de denúncia para achar o que o teste não achou. Uma camada não substitui as outras; o impacto sobre pessoas também entra no escopo de conformidade e responsabilidade.