Amazon (2018): IA de recrutamento penaliza mulheres

01 · CONTEXTO

Uma máquina para escolher currículos

Segundo a Reuters, em reportagem reproduzida pela CNBC, especialistas em machine learning da Amazon descobriram um problema grande: o novo motor de recrutamento da empresa não gostava de mulheres. A Amazon recusou-se a comentar o motor ou seus desafios; o relato vem de pessoas familiarizadas com o projeto, que falaram sob anonimato.

A equipe vinha construindo programas para avaliar currículos desde 2014, com o objetivo de mecanizar a busca por talentos. A ferramenta experimental dava aos candidatos notas de uma a cinco estrelas, e o objetivo declarado era uma IA capaz de varrer a web e encontrar candidatos que valiam ser recrutados.

O trabalho ficou a cargo de uma equipe no polo de engenharia de Edimburgo, que chegou a cerca de uma dúzia de pessoas.

02 · O SISTEMA

Do histórico de currículos à nota em estrelas

No desenho simplificado abaixo, há duas entradas: os currículos já recebidos, que servem de exemplo para o treino, e os candidatos encontrados na web, que os modelos pontuam. O recrutador vê a nota; o diagrama é nossa simplificação do que a reportagem descreve.

1. A busca de candidatos alimenta os modelos, que devolvem ao recrutador uma nota de uma a cinco estrelas.

2. Os modelos foram treinados observando padrões em currículos enviados à empresa ao longo de um período de dez anos.

3. O grupo criou 500 modelos, focados em funções e locais específicos.

4. Os recrutadores olhavam as recomendações da ferramenta, mas nunca confiavam apenas nesses rankings.

03 · O VIÉS

O que o modelo aprendeu com o passado

Em 2015, a empresa percebeu que o sistema não avaliava candidatos a vagas de desenvolvedor e outros postos técnicos de forma neutra em relação a gênero.

A reportagem explica a origem: os modelos foram treinados com currículos enviados ao longo de um período de dez anos, e a maioria vinha de homens, reflexo do predomínio masculino no setor de tecnologia. Na prática, o sistema aprendeu sozinho que candidatos homens eram preferíveis.

1. Os exemplos de treino vinham em sua maioria de homens.

2. A partir desses exemplos, o sistema aprendeu sozinho que candidatos homens eram preferíveis.

3. Os modelos penalizavam termos como a palavra women's e rebaixavam egressas de faculdades só de mulheres.

4. As notas chegavam ao recrutador já carregando esse padrão, embora ele nunca se apoiasse apenas nelas.

Dois conceitos ajudam a ler o caso. Viés histórico é o padrão do passado que fica registrado nos dados de treino; proxy de atributo protegido é um sinal que acompanha esse atributo mesmo sem nomeá-lo. Os nomes dos conceitos são nossos.

04 · A CORREÇÃO

Neutralizar termos não bastou

A Amazon editou os programas para ficarem neutros àqueles termos específicos. Segundo as fontes, isso não garantia que as máquinas não criassem outras formas de ordenar candidatos que também fossem discriminatórias.

O viés de gênero não era o único problema. Falhas nos dados que sustentavam os julgamentos dos modelos faziam com que candidatos sem qualificação fossem recomendados com frequência para todo tipo de vaga, e, com resultados quase aleatórios, a Amazon encerrou o projeto.

Segundo fontes anônimas, a equipe foi desfeita porque os executivos perderam a esperança no projeto. A reportagem situa isso até o início do ano anterior ao da publicação.

05 · LIÇÕES

Equidade como requisito de projeto

A reportagem apresenta o caso como um estudo das limitações do aprendizado de máquina. Um professor da Carnegie Mellon disse que garantir um algoritmo justo, interpretável e explicável ainda estava muito distante, e um executivo do LinkedIn disse que não confiaria em nenhum sistema de IA de hoje para tomar sozinho uma decisão de contratação.

Há também uma dificuldade de controle externo: críticos reconhecem que pode ser extremamente difícil processar um empregador por triagem automatizada, porque candidatos podem nunca saber que ela foi usada.

Da Amazon, a reportagem diz que parte do aprendizado foi aproveitada, e que uma versão muito reduzida do motor faz tarefas rudimentares, como eliminar perfis duplicados. Outra fonte disse que uma nova equipe em Edimburgo foi formada para tentar de novo, desta vez com foco em diversidade.

O diagrama abaixo é um desenho de referência nosso, não o que a Amazon construiu. Ele mostra onde uma auditoria de equidade poderia entrar: nos dados, antes do treino, e nas notas por grupo, depois dele.

1. Os dados passam por uma auditoria antes do treino, que mede a composição e procura sinais que denunciem um atributo protegido.

2. Só os dados auditados chegam ao treino, e o modelo resultante é tratado como candidato, não como versão final.

3. As notas por grupo vão para um painel de métricas que compara a distribuição entre grupos de candidatos.

4. Uma disparidade entre grupos gera alerta que volta para a auditoria, fechando o ciclo.

5. O recrutador usa a nota como apoio e decide com outras evidências.