Uber ATG (Tempe, 2018): carro autônomo atropela pedestre

01 · CONTEXTO

Um carro em teste e uma travessia fora da faixa

Em 18 de março de 2018, um veículo de teste automatizado da divisão de tecnologias avançadas da Uber (ATG) atingiu uma pedestre em Tempe, Arizona. O relatório do NTSB é a fonte principal deste caso. O que interessa para quem projeta sistemas é como uma cadeia de percepção, previsão e decisão foi montada, e como as camadas de proteção ao redor dela foram organizadas.

A pedestre atravessava a avenida empurrando uma bicicleta, em um local sem faixa de pedestres.

02 · A CADEIA DE DECISÃO

Detectar não bastou: classificar, prever e frear

O diagrama abaixo é uma abstração didática da cadeia de decisão descrita no relatório, não um esquema interno do sistema da Uber.

1. O sistema detectou a pedestre 5,6 segundos antes do impacto.

2. A classificação da pedestre mudou várias vezes, alternando entre veículo, bicicleta e outro.

3. O desenho excluía o histórico de rastreio de objetos cuja classificação mudava, e o sistema não conseguiu prever corretamente a trajetória da pedestre.

4. O sistema só reconheceu a emergência 1,2 segundo antes do impacto.

5. O ADS foi projetado para suprimir a frenagem por 1 segundo após detectar uma situação perigosa em que evitar a colisão exigia frenagem forte, acima de 0,71 g.

6. Em vez de frear, o sistema emitiu um alerta sonoro ao operador e iniciou um plano de desaceleração gradual.

O relatório explica também por que a previsão falhou: o desenho do sistema não previa pedestres atravessando fora da faixa.

Reportagens da época, baseadas no relatório preliminar, diziam que o carro avistou a mulher cerca de seis segundos antes do impacto e que a frenagem de emergência não era habilitada sob controle do computador, com a justificativa de reduzir o potencial de comportamento errático do veículo.

03 · CAMADAS DE SEGURANÇA

Frenagem de emergência e o humano como fallback

Quando o componente principal é um sistema em desenvolvimento, que pode errar, o que protege as pessoas são as camadas independentes ao redor dele. Os passos a seguir mostram as camadas descritas no relatório. Padrões de disponibilidade falam de redundância para manter o serviço no ar; aqui a mesma ideia serve para manter as pessoas em segurança.

O desenho do sistema impedia a frenagem de emergência apenas para mitigar a colisão e contava com a intervenção do operador.

1. O diagrama mostra as camadas que podiam acionar o freio: o sistema automatizado, o freio automático de fábrica e o operador a bordo.

2. O ATG desativou o alerta de colisão e a frenagem automática de fábrica durante a operação do ADS, para evitar possível interferência entre sinais de radar.

3. Simulações da Volvo sugerem que um XC90 padrão com esses sistemas poderia ter evitado ou ao menos mitigado a colisão.

4. Meses antes do acidente o ATG passou a testar com apenas um operador por veículo; ao remover o segundo operador, também removeu uma camada de redundância de segurança.

5. O vídeo da câmera interna mostra a operadora desviando o olhar da via por um período prolongado enquanto o veículo se aproximava da pedestre.

04 · CULTURA DE SEGURANÇA

O que o NTSB apontou além do software

O NTSB descreve que o ATG tinha uma cultura de segurança inadequada, com falta de mecanismos de avaliação de risco e de supervisão dos operadores. A organização também não tinha uma divisão de segurança corporativa nem um gerente de segurança dedicado.

05 · O QUE MUDOU

Depois do acidente

06 · LIÇÕES

O que levar para o seu próximo design

Quando um sistema com falhas esperadas depende de um humano como última camada, a atenção desse humano passa a ser um requisito do sistema e precisa ser medida e protegida como qualquer outro. Uma camada de proteção só conta como redundância se continuar ativa e independente das demais.

Suprimir uma ação para evitar falsos alarmes é um trade-off legítimo, mas ele precisa vir acompanhado de uma alternativa segura para o caso de o alarme ser verdadeiro. A gestão de risco, a supervisão dos operadores e a responsabilidade sobre segurança também são parte do design do sistema.