Gemini (fev/2024): geração de imagem pausada

01 · CONTEXTO

Um recurso novo num assistente de IA

O aplicativo conversacional Gemini ganhou um recurso de geração de imagens, com a capacidade de criar imagens de pessoas, construído sobre um modelo de imagem. Na construção, a equipe ajustou o recurso para evitar armadilhas conhecidas da tecnologia, como imagens violentas ou sexualmente explícitas e representações de pessoas reais.

O produto atende usuários do mundo todo. Para um pedido genérico, como jogadores de futebol ou alguém passeando com um cachorro, o usuário pode querer uma gama de pessoas; para um pedido de um tipo específico de pessoa, ou em um contexto cultural ou histórico particular, a resposta deve refletir exatamente o que foi pedido.

02 · O QUE DEU ERRADO

Duas falhas, uma em cada direção

O post da empresa aponta duas causas. A primeira: o ajuste para mostrar uma gama de pessoas não considerou casos que claramente não deveriam mostrar uma gama. A segunda: com o tempo, o modelo ficou mais cauteloso do que o pretendido e recusou certos pedidos por inteiro, tomando como sensíveis pedidos bem inofensivos.

1. O usuário envia o pedido ao aplicativo.

2. No diagrama, uma camada de cautela avalia se o pedido pode ser atendido.

3. Segundo o post, o modelo ficou mais cauteloso do que o pretendido e recusou alguns pedidos inteiros, tomando pedidos inofensivos como sensíveis.

4. No diagrama, outra camada ajusta o pedido para devolver uma gama de pessoas, algo que pode fazer sentido para pedidos genéricos.

5. O ajuste não considerou casos que claramente não deveriam mostrar uma gama.

6. As duas falhas, uma em cada direção, terminam em imagens embaraçosas e erradas.

Juntas, as duas falhas levaram o modelo a compensar demais em alguns casos e a ser conservador demais em outros, o que, nas palavras da empresa, resultou em imagens embaraçosas e erradas.

03 · COMPORTAMENTO ESPERADO

A regra certa depende do pedido

O ponto de design é que a regra adequada depende do tipo de pedido, então uma regra única aplicada a todos os pedidos merece desconfiança.

04 · A RESPOSTA

Pausar o recorte problemático

A empresa reconheceu que algumas imagens eram imprecisas ou até ofensivas e pausou a geração de imagens de pessoas no Gemini, enquanto trabalhava em uma versão melhorada. A cobertura da época descreve a resposta como uma desativação temporária dessa capacidade.

Desligar rapidamente uma funcionalidade específica por meio de uma chave de desligamento (kill switch) é um recurso de disponibilidade que vale prever no desenho.

1. Os usuários relatam imagens imprecisas ou até ofensivas.

2. No diagrama, uma chave fica entre o aplicativo e a geração de imagens de pessoas.

3. A chave é desligada e a geração de imagens de pessoas fica pausada.

4. Antes de religar, a empresa diz que vai melhorar a funcionalidade de forma significativa, com testes extensos.

A empresa afirma que vai melhorar a funcionalidade de forma significativa antes de religá-la, com testes extensos, e a cobertura relata que ela planeja reativar a capacidade depois disso.

05 · LIÇÕES DE DESIGN

O que levar para o seu projeto

Ao projetar um sistema de geração de imagens, vale perguntar onde cada correção de segurança ou de diversidade é aplicada e quais pedidos ela nunca deveria alcançar.

Vale prever uma chave de desligamento por recorte de funcionalidade e um conjunto de testes que inclua pedidos que a correção não deveria alterar e pedidos inofensivos que não deveriam ser recusados.