IB 2020: notas previstas por modelo

01 · CONTEXTO

Notas atribuídas sem prova

Com as provas finais canceladas, a International Baccalaureate (IB) iria usar um modelo estatístico para atribuir as notas dos alunos. O artigo que fundamenta este caso fala em mais de 160 mil estudantes afetados, e a IB tinha 166 mil candidatos em 144 países na turma anterior.

A nota final importa muito: segundo o artigo, ela permite que o aluno se forme, se candidate a universidades e aceite ofertas de admissão.

As falas atribuídas à IB neste caso aparecem citadas pelo autor do artigo, não vêm de documentos da própria IB. O texto é uma crítica ao método anunciado, e este caso o usa para estudar o desenho e os riscos de uma decisão automatizada de alto impacto como essa.

Na citação do artigo, a IB afirmou que esses arranjos de avaliação representavam a abordagem mais justa que ela podia adotar para todos os seus alunos.

1. Duas entradas descritas no artigo: as notas de projetos e tarefas entregues antes da interrupção e a nota prevista, que é o que o professor acredita que o aluno teria obtido se as provas ocorressem como planejado.

2. O método também usa dados históricos e da sessão atual, além de outros dados sempre que existirem.

3. O modelo prevê a nota final a partir das notas de trabalhos e das notas previstas.

4. A nota prevista é depois combinada com as notas dos trabalhos para obter a nota final: os trabalhos entram nas duas etapas, o que o autor chama de dupla penalidade.

5. A nota final é o que permite ao aluno se formar, se candidatar a universidades e aceitar ofertas de admissão.

02 · AS ENTRADAS

O que entra no modelo e onde ele se repete

Segundo o artigo, o método da IB usa dados históricos e da sessão atual. Entre as entradas descritas estão as notas dos trabalhos entregues antes da interrupção, a nota prevista pelo professor e outros dados, sempre que existirem.

O autor aponta uma dupla penalidade: o modelo prevê a nota final a partir dos trabalhos e das notas previstas, e essa previsão é depois combinada com as notas dos trabalhos. Para ele, quem foi mal nos trabalhos é penalizado duas vezes.

O autor cita um estudo segundo o qual professores do ensino médio tendem a ter previsões mais baixas para estudantes não brancos e de contextos desfavorecidos, e diz que isso é problemático porque a nota prevista tem papel de destaque no modelo.

Sobre os dados adicionais, o autor diz que eles podem induzir vieses e tornar as previsões de algumas escolas mais exatas que as de outras.

03 · ERROS DESIGUAIS

O mesmo modelo, erros diferentes por escola

Para o autor, escolas pequenas, de 15% a 30% das escolas da IB, teriam erros maiores e mais frequentes do que as grandes. O princípio é simples: quanto mais dados de uma escola, mais exatas as previsões.

Para dar uma ordem de grandeza, o autor supõe que a maior turma de uma escola da IB tem 300 alunos. Nessa conta, um aluno de uma turma de 5 teria erro médio cerca de 25% maior do que o de alunos da escola com 300.

04 · SEM GABARITO

Acertar a distribuição não é acertar o aluno

A IB cancelou as provas finais da turma. O autor diz que ela não pode garantir que os alunos ficariam na mesma posição da distribuição em que estariam se as provas tivessem ocorrido.

A IB, segundo o autor, garantiu aos alunos que casaria a distribuição de notas do ano anterior. Para ele, isso é uma melhoria cosmética, que ainda dá à IB certa negação plausível.

Para mostrar o limite desse ajuste, o autor imagina um modelo que dá notas aleatórias a cada aluno e depois ajusta as faixas de nota para casar a distribuição do ano anterior. Para ele, isso não compensa o fato de o modelo dar notas desligadas da realidade.

O autor propõe supor um modelo com 90% de acurácia, meta que ele chama de quase irrealisticamente ambiciosa. Nesse caso, a IB atribuiria nota errada a ao menos 1 em cada 10 alunos.

O autor lembra ainda que um modelo ser preditivo não significa que ele esteja correto: um modelo acurado pode ser ruim, e correlações espúrias são problemáticas se não forem detectadas.

05 · O EXPERIMENTO

Mesmo sem atributos sensíveis, o modelo os infere

O autor cita especialistas para dizer que ignorar atributos sensíveis é, em geral, uma prática entre ineficaz e prejudicial. Para demonstrar, ele monta um experimento que diz ser muito parecido com o que a IB faz, mas com dados de escolas de Nova York.

1. O autor treina um modelo com o condado de cada escola e as notas em 3 testes, sem nenhum dado sobre raça, situação socioeconômica ou gênero.

2. Esse modelo prevê com quase 80% de acurácia se a taxa de graduação fica acima ou abaixo da média nacional.

3. Na sonda, o autor pergunta ao mesmo modelo se a maioria dos alunos da escola é negra ou hispânica, e o modelo acerta isso com mais acurácia do que a taxa de graduação; o autor conclui que ele é consciente de raça.

4. Para situação socioeconômica, o modelo reconhece as escolas de maioria economicamente desfavorecida e as detecta com cerca de 75% de acurácia.

5. Para gênero majoritário, a acurácia fica abaixo de 50%, e o autor conclui que o modelo não usa esse atributo.

6. Quando o autor dá a raça majoritária a um modelo alternativo, a acurácia da previsão de graduação sobe só cerca de 1%, o que ele lê como indício de que o modelo original já era consciente de raça.

Por fim, o autor afirma que há três critérios de justiça para previsões e que nenhum modelo satisfaz os três ao mesmo tempo. Por isso, em sua leitura, qualquer modelo da IB discriminaria de duas das três formas descritas.

06 · LIÇÕES DE DESENHO

O que levar para um sistema de decisão automatizada

O autor descreve o contexto como um modelo terceirizado e caixa-preta, com dados históricos limitados, sem supervisão do mecanismo de decisão e com 3 meses para pesquisa e produção.

A conclusão dele é que a situação pede uma solução de processo, não uma solução de modelagem, e que é melhor uma solução atrasada e subótima do que uma discriminatória e cheia de erros.

Para o aluno de design: conformidade e governança entram no desenho desde o começo. Defina o caminho de contestação humana, o registro de entradas e versão do modelo por decisão e o monitoramento de erro por grupo.