Polícia do Reino Unido (NDAS): bug infla a acurácia

01 · CONTEXTO

O que o modelo tentava prever

O sistema de previsão chamado Most Serious Violence (MSV) fazia parte do projeto National Data Analytics Solution (NDAS). O modelo foi desenhado para prever se uma pessoa cometeria o primeiro crime violento com arma de fogo ou faca nos dois anos seguintes. Pessoas que já tinham tido contato com as duas polícias envolvidas no desenvolvimento recebiam uma pontuação de risco, e quanto maior a pontuação, mais provável seria o crime.

Para desenvolver o sistema, foram usados dados históricos de 2,4 milhões de pessoas na base de West Midlands e de 1,1 milhão na de West Yorkshire. Eles vinham de registros de crime e de custódia, de relatórios de inteligência e da base nacional da polícia. Este é um caso de pipeline de dados, de sistema de machine learning e de monitoramento da qualidade do que o modelo entrega.

O sistema nunca foi usado em operações policiais. O caso, portanto, não trata de dano causado por um modelo em produção, e sim de um número de avaliação que não resistiu à checagem antes de chegar lá.

02 · O ERRO

Uma falha na definição do treino

1. Registros de crime e de custódia, relatórios de inteligência e a base nacional da polícia alimentam a ingestão de dados.

2. Um erro de codificação na definição do conjunto de treino tornou inviável o enunciado do problema. Um porta-voz do NDAS o descreveu como um problema de ingestão de dados.

3. Antes de o erro ser achado, o NDAS alegava precisão de até 75 por cento.

4. Com o sistema refeito, a precisão no caso de West Midlands caiu para uma faixa entre 14 e 19 por cento.

5. A proposta de levar o sistema adiante foi recusada por unanimidade pelo comitê de ética.

Um briefing do NDAS, publicado pelo comitê de ética da polícia de West Midlands, registra que um erro de codificação na definição do conjunto de treino tornou inviável o enunciado do problema do MSV. Um porta-voz do NDAS disse à reportagem que o erro foi um problema de ingestão de dados descoberto durante o desenvolvimento.

03 · OS NÚMEROS

O que o erro fez com a precisão

O NDAS reconheceu que o nível real de precisão era significativamente menor, e a reportagem resume que o desempenho original havia sido superestimado. O sistema refeito foi mais preciso quando os critérios originais (primeiro crime, tipo de arma e uso da arma) foram removidos,.

Para dar peso a um número, é preciso uma referência. O documento do NDAS ao comitê compara a precisão menor com a escolha ao acaso: em cerca de 400 mil pessoas, a chance de sortear um autor de crime violento grave seria de 1,9%. Já uma pesquisadora ouvida pela reportagem lembra que eventos raros são muito mais difíceis de prever do que eventos comuns.

04 · GOVERNANÇA

O comitê de ética como portão

O comitê de ética da polícia de West Midlands viu como positivo que a equipe tivesse avaliado o próprio trabalho e identificado falhas. Pediu também que se avaliasse se os dados policiais disponíveis representam toda a informação relevante para esse tipo de modelo. A proposta de seguir com o sistema foi recusada por unanimidade, e o comitê aconselhou que o projeto, como estava, fosse descontinuado.

No documento ao comitê, o próprio NDAS afirma que estar na lista de alto risco não bastaria para justificar o uso de recursos policiais numa intervenção. Para outro caso de uso do programa (escravidão moderna), o comitê recomendou comunicar o erro em um formato fixo: de uma população de N pessoas, quantas se espera identificar, quantas dessas terão sido falsamente identificadas e quantas o modelo deixará de identificar.

05 · LIÇÕES DE DESENHO

Como o pipeline poderia se defender

1. Neste desenho de exemplo, entre a ingestão e o treino há uma conferência: a definição do conjunto (quem entra e qual é o resultado a prever) é comparada com os registros de origem.

2. A avaliação compara o modelo com uma linha de base simples, como sortear pessoas ao acaso, para que o número tenha referência.

3. A avaliação usa dados posteriores aos do treino, para se parecer com o uso real.

4. O portão libera o modelo só se a medida se sustenta e o erro esperado está escrito de um jeito que quem decide entende.

5. Uma pessoa revisa cada indicação e justifica a ação, e o monitor compara a previsão com o que de fato aconteceu.

A lição geral do caso é que o número da avaliação é produto de um pipeline, e o pipeline também precisa ser testado. Conferir a definição do conjunto de treino contra a origem, comparar com uma referência simples, avaliar em dados posteriores e exigir um portão antes do uso são camadas independentes de defesa.