Incidente · Júnior
Moffatt v. Air Canada (2024): chatbot inventa política
Incidente real. Pontos centrais: alucinação com responsabilidade legal, grounding, citação de fonte e handoff humano.
Resposta curta
Incidente real. Pontos centrais: alucinação com responsabilidade legal, grounding, citação de fonte e handoff humano. O caso Moffatt contra Air Canada trata da responsabilidade por um chatbot. Jake Moffatt pediu reembolso à companhia dizendo ter confiado numa orientação incorreta do chatbot dela sobre tarifas de luto.
01 · CONTEXTO
Um chatbot responde sobre tarifa de luto
O caso Moffatt contra Air Canada trata da responsabilidade por um chatbot. Jake Moffatt pediu reembolso à companhia dizendo ter confiado numa orientação incorreta do chatbot dela sobre tarifas de luto.
O chatbot sugeriu que a tarifa de luto podia ser pedida retroativamente, e outra página do site da própria companhia contradizia isso. O tribunal decidiu que a Air Canada era responsável pela informação enganosa dada pelo chatbot.
O cliente pergunta ao chatbot do site sobre tarifas de luto.
O chatbot sugere que a tarifa de luto pode ser pedida retroativamente, e o tribunal concluiu que a informação era incorreta.
Outra página do site da companhia contradizia o que o chatbot havia dito.
02 · A DECISÃO
A empresa responde pelo que o chatbot diz
A Air Canada argumentou que o chatbot seria uma entidade separada, o que a isentaria de responsabilidade por suas imprecisões. O tribunal rejeitou o argumento: o chatbot é apenas uma parte do site, e a empresa é responsável por toda a informação dele.
| Argumento da empresa | Posição do tribunal | |
|---|---|---|
| Natureza do chatbot | Seria uma entidade separada, isentando a empresa | É apenas uma parte do site da companhia |
| Página correta no site | A informação certa estava em outra página | A empresa não explicou por que essa página seria mais confiável que o chatbot |
| Conferência pelo cliente | O cliente poderia conferir em outra parte do site | A empresa não explicou por que o cliente teria de conferir a informação em outra parte do site |
O tribunal aplicou um padrão de cuidado que exige da empresa cuidado razoável para que suas declarações sejam precisas e não enganosas, e concluiu que a Air Canada não tomou esse cuidado com a precisão do chatbot. Também considerou razoável que o cliente confiasse na informação que o chatbot deu.
03 · O QUE FICOU EM ABERTO
O que o caso não esclarece sobre o sistema
A decisão diz pouco sobre o próprio chatbot: a Air Canada não forneceu informação sobre a natureza dele. O comentarista que serve de fonte lamenta a falta de informação sobre por que o tribunal considerou a empresa negligente, e observa que ela poderia ter tentado se defender explicando como o chatbot foi treinado e testado.
Por isso, este artigo não descreve a arquitetura real do chatbot: a fonte não a descreve. O desenho da próxima seção é uma proposta didática, não um relato do que a companhia tinha.
04 · DESENHO MAIS SEGURO
Ancorar a resposta na política e saber quando parar
Um chatbot que fala em nome da empresa precisa de uma fonte única para o que afirma. Uma saída é responder apenas com trechos recuperados da política vigente, indicar a fonte na resposta e transferir para uma pessoa quando não houver trecho que sustente o que o cliente pergunta. Esse desenho se liga ao tema de conformidade regulatória no desenho de sistemas, em que a responsabilidade legal vira requisito de projeto.
O cliente pergunta ao chatbot; ele ainda não responde nada.
O chatbot busca na base o trecho vigente da política e monta a resposta só com ele, mostrando a fonte.
Sem trecho que sustente a resposta, ou diante de um pedido de reembolso, o chatbot transfere a conversa a uma pessoa pela fila.
Toda conversa é registrada para auditoria e revisão por amostragem.
| Risco | Controle de design | |
|---|---|---|
| Resposta sem respaldo | O texto da política não sustenta a resposta | Responder só com trecho recuperado da versão vigente e recusar sem trecho |
| Origem opaca | O cliente não sabe de onde veio a resposta | Mostrar a fonte e o link da página de política na própria resposta |
| Pedido de alto impacto | Reembolso ou exceção à regra | Transferir para atendimento humano em vez de prometer |
| Erro descoberto tarde | Ninguém revisa as conversas | Registrar conversas e revisar amostras e reclamações |
05 · LIÇÕES
O que levar para o seu desenho
O comentarista conclui que a decisão reforça a importância de garantir a precisão da informação em todas as interfaces com o cliente. O chatbot é uma dessas interfaces.
Perguntas frequentes
O que é Moffatt v. Air Canada (2024): chatbot inventa política?
Incidente real. Pontos centrais: alucinação com responsabilidade legal, grounding, citação de fonte e handoff humano.
O que o design de Moffatt v. Air Canada (2024): chatbot inventa política cobre?
Ele está organizado nestas seções: Um chatbot responde sobre tarifa de luto, A empresa responde pelo que o chatbot diz, O que o caso não esclarece sobre o sistema, Ancorar a resposta na política e saber quando parar e O que levar para o seu desenho.
Quanto tempo leva Moffatt v. Air Canada (2024): chatbot inventa política e qual é o nível?
Leva cerca de 9 minutos para ler e tem nível Júnior.
Agora projete você mesmo
Rode este caso como uma entrevista na escola de System Design: você toma as decisões, o tutor as questiona e você vê a nota do seu desenho.