Percepção de veículo autônomo

01 · CONTEXTO

A pilha de um carro autônomo

Projetar a percepção de um veículo autônomo é um problema de ML system design: dados brutos de vários sensores precisam virar decisões de condução. A fonte organiza a pilha em quatro blocos. A percepção transforma dados brutos de sensores em entendimento do mundo, a previsão estima a trajetória futura dos agentes, o planejamento toma decisões e gera a trajetória e o controlador gera os comandos de acelerar, frear e virar.

1. Os dados brutos dos sensores chegam à percepção, que os transforma em entendimento do mundo.

2. A previsão recebe os objetos detectados e estima a trajetória futura de cada agente.

3. O planejamento recebe a rota, o mapa e a previsão dos vizinhos e gera a trajetória.

4. O controlador traduz a trajetória em comandos de aceleração, freio e direção.

A mesma fonte observa que a latência tem ordem de milissegundos para algumas tarefas.

02 · SENSORES

Câmera, LiDAR e RADAR

Nenhum sensor cobre todas as condições, e é por isso que o sistema combina vários. A tabela resume o que a fonte diz de cada um.

03 · PERCEPÇÃO

Detectar, segmentar e rastrear

A percepção detecta semáforos, pedestres, placas, faixas e vagas. Na detecção em imagem, os detectores de dois estágios usam uma rede de proposta de regiões para achar regiões de interesse, e os de um estágio pulam a geração de propostas e produzem direto as caixas, o que os torna atraentes para tempo real.

Com a nuvem de pontos, a detecção em três dimensões herda ideias da detecção em imagem e exige muita computação. Para acompanhar os objetos no tempo, o rastreamento pode usar métodos probabilísticos como o EKF ou modelos de ML.

Na segmentação, a semântica classifica cada pixel da imagem em uma classe, e a de instâncias combina detecção de objetos com segmentação semântica para classificar os pixels de cada instância. A descrição pública do módulo da Educative sobre este tema trata de segmentação de imagem em carros autônomos.

04 · PREVISÃO E PLANEJAMENTO

Do movimento à decisão

A previsão de movimento estima onde cada objeto estará, dados vários quadros passados, e recebe como entrada a percepção e o mapa de alta definição. O desafio citado é a multimodalidade: o futuro é incerto.

O planejamento recebe a rota, o mapa de contexto e a previsão dos agentes vizinhos. A fonte descreve ainda uma validação de movimento que checa colisão e semáforo vermelho, rejeitando e ranqueando as opções.

05 · DADOS E ROTULAGEM

De onde vêm os rótulos

Para o exemplo de prever travessia de pedestres, a fonte lembra que prever a ação de pedestres é mais difícil que a de veículos, pois depende de pose e atividade. A coleta deve ser diversa, com locais, comportamentos, tráfego e iluminação variados.

Na rotulagem a anotação começa com rotuladores humanos e evolui para um sistema de rotulagem automática. Cada quadro recebe caixa, pose, tags de atividade e atributos do pedestre, e cada vídeo recebe condições climáticas e hora do dia. O aumento de dados inclui rotação, espelhamento e ajuste de brilho.

1. A frota envia seus registros de sensores para o armazenamento.

2. Os registros entram numa fila e o serviço de rotulagem consome essa fila.

3. Com os dados rotulados, o treino gera modelos que vão para o registro de modelos.

4. A avaliação compara as decisões do sistema com as de um motorista especialista em registros históricos.

5. Os modelos aprovados voltam para a frota, e a fonte recomenda atualizar e retreinar com dados novos.

Em iterações posteriores, os casos em que o motorista precisou intervir são enviados aos rotuladores e entram no conjunto de dados. Para rodar em tempo real, a fonte sugere otimizar o modelo com poda, quantização e TensorRT.

06 · AVALIAÇÃO CRÍTICA

Métricas por componente e de ponta a ponta

A fonte separa métricas por componente e de ponta a ponta. Nos componentes, a detecção de objetos usa o mAP e a detecção de travessia usa precisão, recall e F1. De ponta a ponta, a métrica é a intervenção manual, além de erros de simulação sobre registros históricos de cenas gravadas com um motorista especialista, comparando a decisão do sistema com a dele.