AI Overviews (mai/2024): "cola na pizza"

01 · CONTEXTO

Um resumo gerado que depende da busca

Em 30 de maio de 2024, o Google publicou um texto explicando por que alguns resultados de AI Overviews viraram assunto nas redes sociais. O recurso tinha sido anunciado semanas antes para todos nos EUA. O texto é a fonte deste caso, então o que segue é o que a empresa diz, sem reconstruir bastidores.

Segundo o Google, o recurso não gera saída apenas a partir do treinamento do modelo. Um modelo de linguagem customizado é integrado aos sistemas centrais de ranking da web e foi feito para tarefas de busca, como identificar resultados relevantes no índice. Ele só deve mostrar informação sustentada pelos principais resultados, com links para a pessoa aprofundar.

1. A consulta passa pelos sistemas centrais de ranking da web, aos quais o modelo é integrado.

2. O ranking cumpre a tarefa tradicional de busca: identificar no índice os resultados relevantes e de qualidade.

3. O modelo resume o que os principais resultados sustentam, em vez de responder só com o que aprendeu no treinamento.

4. A resposta sai com links para a pessoa explorar as fontes.

02 · O QUE DEU ERRADO

Fontes fracas, perguntas improváveis

O Google atribui as respostas estranhas a razões que não são invenção pura do modelo: interpretar mal a consulta, interpretar mal uma nuance de linguagem da web ou haver pouca informação boa disponível. A empresa diz que testou antes do lançamento, com red-teaming, avaliações com amostras de consultas típicas e testes em parte do tráfego, mas que nada se compara a milhões de pessoas fazendo buscas inéditas.

O exemplo mais claro é a pergunta sobre quantas pedras comer. Antes de as capturas de tela viralizarem, praticamente ninguém fazia essa pergunta, e havia pouco conteúdo sério sobre ela: um vazio de dados. Havia, porém, conteúdo satírico sobre o tema, e a visão geral apontou fielmente para um dos poucos sites que tratavam da pergunta.

1. Uma pergunta que quase ninguém fazia cai num vazio de dados: há pouco conteúdo de qualidade sobre o tema.

2. O conteúdo disponível sobre o tema era satírico.

3. Em outros casos, a visão geral trouxe conteúdo sarcástico de fóruns, que levou a conselhos pouco úteis, como usar cola para o queijo grudar na pizza.

4. A visão geral reflete o que as fontes disponíveis dizem: no exemplo das pedras, apontou fielmente para um dos poucos sites que tratavam da pergunta.

Outro padrão foi o conteúdo sarcástico de fóruns de discussão, que podem ser ótimas fontes de relato em primeira mão, mas às vezes levam a conselhos pouco úteis, como usar cola para o queijo grudar na pizza. O Google também menciona poucos casos em que a visão geral interpretou mal a linguagem de páginas e apresentou informação incorreta.

03 · O QUE MUDOU

Menos casos isolados, mais regras de acionamento

A empresa diz que não consertou consultas uma a uma: atualizou os sistemas para ajudar conjuntos amplos de consultas, inclusive novas, e cita mais de uma dúzia de melhorias técnicas. O texto lista uma amostra dessas mudanças, mostradas abaixo em um diagrama didático.

1. Foram criados mecanismos melhores de detecção de consultas sem sentido, que não deveriam mostrar visão geral.

2. A inclusão de conteúdo de sátira e humor foi limitada.

3. O uso de conteúdo gerado por usuários foi limitado em respostas que poderiam dar conselho enganoso.

4. Foram adicionadas restrições de acionamento para consultas em que a visão geral não ajudava tanto.

5. Para notícias de peso e saúde: a meta é não mostrar visão geral em notícias de peso, e em saúde houve refinamentos adicionais de acionamento.

04 · LIÇÕES

Quando não responder também é uma decisão de design

O Google informa ter encontrado violação de política de conteúdo em menos de uma a cada 7 milhões de consultas únicas em que a visão geral apareceu. Nesse texto, violação significa uma visão geral com informação potencialmente nociva, obscena ou violadora.