Incidente · Júnior
Mata v. Avianca (2023): jurisprudência inventada
Incidente real. Pontos centrais: citações alucinadas e humano no loop.
Resposta curta
Incidente real. Pontos centrais: citações alucinadas e humano no loop. Em Mata v. Avianca, um advogado usou o ChatGPT para pesquisar jurisprudência. O modelo inventou decisões judiciais, o advogado as apresentou ao tribunal e o tribunal concluiu que os casos não existiam.
01 · CONTEXTO
Um processo comum e uma petição com casos que não existem
Em Mata v. Avianca, um advogado usou o ChatGPT para pesquisar jurisprudência. O modelo inventou decisões judiciais, o advogado as apresentou ao tribunal e o tribunal concluiu que os casos não existiam.
Roberto Mata alegou ter se machucado quando um carrinho de serviço de metal atingiu seu joelho esquerdo durante um voo. A Avianca pediu a rejeição do processo, argumentando que os pedidos estavam prescritos pela Convenção de Montreal.
Steven Schwartz fez todo o trabalho jurídico de mérito. Peter LoDuca assinou e protocolou a petição de oposição, mas não foi seu autor, e antes de assinar não revisou nenhuma das autoridades citadas.
A petição citava e transcrevia supostas decisões judiciais, ditas publicadas no Federal Reporter, no Federal Supplement e no Westlaw.
Schwartz pesquisa no Fastcase, mas a conta da firma tinha acesso limitado a casos federais.
Schwartz usa o ChatGPT, que ele mesmo diz ter suposto, erradamente, ser uma espécie de super buscador.
Quando ele pede casos que sustentem a tese, o ChatGPT atende inventando decisões, e Schwartz não tinha o texto completo de nenhuma delas.
A petição, redigida por Schwartz, é assinada e protocolada por LoDuca, que não revisou as autoridades citadas.
A defesa da Avianca informa que não localizou a maior parte da jurisprudência citada, e o próprio tribunal não consegue localizar várias das autoridades.
Em nenhum momento os envolvidos escreveram ao tribunal pedindo para retirar a petição.
02 · O QUE O CHATGPT PRODUZIU
Decisões com aparência de verdadeiras
Quando Schwartz pediu casos que sustentassem a tese, o ChatGPT respondeu inventando-os. Ao preparar a petição, Schwartz não tinha o texto completo de nenhuma das decisões geradas.
| Aparência | O que o tribunal apurou | |
|---|---|---|
| Origem de Varghese | Apresentada como decisão de um painel de juízes do tribunal de apelações do Décimo Primeiro Circuito | A secretaria do tribunal de apelações confirmou que a decisão não era autêntica |
| Qualidade do texto | Traços superficialmente compatíveis com decisões judiciais reais | Análise jurídica descrita pelo tribunal como gibberish |
| Citações internas | Citações e trechos de outras decisões | Entre elas, decisões que também não existem |
Em audiência, Schwartz declarou que nunca lhe ocorreu que o caso pudesse ser inventado.
03 · COMO O CASO ESCALOU
Do alerta da defesa às sanções
A Avianca disse não localizar a maior parte dos casos citados, e o tribunal emitiu ordens em 11 e 12 de abril exigindo a apresentação dos casos reais. O primeiro reconhecimento de que a petição citava casos falsos gerados pelo ChatGPT veio numa declaração de Schwartz de 25 de maio.
No depoimento, Schwartz admitiu ter inserido a citação de Varghese para buscá-la e não a ter encontrado. O tribunal concluiu que ele sabia de fatos que indicavam alta probabilidade de Varghese e Zicherman não existirem e evitou conscientemente confirmar isso.
Schwartz também afirmou por escrito que o ChatGPT apenas complementou sua pesquisa. O tribunal considerou a afirmação enganosa, pois o ChatGPT foi a única fonte dos argumentos de mérito dele.
As sanções incluíram uma multa de 5.000 dólares, solidária entre os respondentes e paga ao tribunal, além de cartas ao autor Roberto Mata e a cada juiz falsamente apontado como autor das decisões falsas.
04 · DESENHO MAIS SEGURO
Citação só entra se alguém conferir a fonte
Um assistente de pesquisa jurídica pode ser útil, mas o texto que ele gera deve ser tratado como hipótese, não como fonte. Uma saída é separar a geração do texto da verificação: cada citação passa por um verificador que a procura numa base de jurisprudência autorizada, e uma pessoa lê a decisão completa antes de a peça sair. Esse desenho se liga ao tema de conformidade regulatória no desenho de sistemas, em que a responsabilidade profissional vira requisito de projeto.
O desenho abaixo é uma proposta didática, não um relato do que a firma tinha: as fontes não descrevem um sistema de verificação.
O advogado pede a pesquisa ao assistente, que devolve um rascunho com as citações marcadas como propostas, ainda não verificadas.
Cada citação proposta passa pelo verificador, que a procura por identificador na base de jurisprudência autorizada.
Citação que não é encontrada fica barrada: o rascunho não avança com ela, e a opinião do próprio modelo sobre ela não conta como prova.
As citações encontradas seguem para uma pessoa, que lê a decisão completa e confirma ou descarta cada uma.
Cada verificação é registrada, com quem aprovou, e a peça só sai com as citações confirmadas.
| Falha possível | Controle de design | |
|---|---|---|
| Citação sem origem | O modelo gera um caso que parece real, mas não existe | Verificador procura cada citação numa base autorizada e barra o que não achar |
| Verificação de fachada | Quem assina não lê as autoridades | Revisão humana obrigatória, com o texto completo da decisão, antes de protocolar |
| Pergunta ao próprio modelo | Pedir que o modelo confirme se o caso é real | Tratar a resposta do modelo como não verificada; só vale a base autorizada |
| Erro descoberto tarde | Ninguém sabe o que foi conferido | Registrar cada verificação e quem aprovou |
05 · LIÇÕES
O que levar para o seu desenho
O tribunal listou danos de submeter decisões falsas: a parte contrária perde tempo e dinheiro para expor o engano, e há potencial de prejuízo à reputação de juízes e tribunais cujos nomes são invocados falsamente como autores.
Corvino, integrante da firma, reconheceu a responsabilidade e apontou medidas corretivas, entre elas uma assinatura ampliada do Fastcase e programas de educação continuada.
Perguntas frequentes
O que é Mata v. Avianca (2023): jurisprudência inventada?
Incidente real. Pontos centrais: citações alucinadas e humano no loop.
O que o design de Mata v. Avianca (2023): jurisprudência inventada cobre?
Ele está organizado nestas seções: Um processo comum e uma petição com casos que não existem, Decisões com aparência de verdadeiras, Do alerta da defesa às sanções, Citação só entra se alguém conferir a fonte e O que levar para o seu desenho.
Quanto tempo leva Mata v. Avianca (2023): jurisprudência inventada e qual é o nível?
Leva cerca de 9 minutos para ler e tem nível Júnior.
Agora projete você mesmo
Rode este caso como uma entrevista na escola de System Design: você toma as decisões, o tutor as questiona e você vê a nota do seu desenho.