Busca de vídeos no YouTube

01 · CONTEXTO E ESCOPO

Buscar vídeos por um texto

Num serviço de vídeo, o usuário digita um texto na caixa de busca e o sistema mostra os vídeos mais relevantes para esse texto. O capítulo da ByteByteGo fixa o escopo para simplificar: só consultas em texto, só inglês e sem personalização. A relevância é decidida pelo conteúdo visual e pelos dados textuais do vídeo.

Os números do exercício são um bilhão de vídeos na plataforma e dez milhões de pares de vídeo e consulta para treinar o modelo. As notas de um repositório público de entrevistas de ML acrescentam um requisito de escala de 50M DAU.

02 · FORMULAÇÃO

Duas buscas que se complementam

O objetivo de ML é ranquear os vídeos pela relevância para a consulta. O capítulo divide o trabalho em dois componentes: uma busca visual, que compara a consulta com o conteúdo visual dos vídeos, e uma busca textual, que compara a consulta com títulos, descrições e tags.

O índice invertido não é baseado em ML, então a busca textual não tem custo de treino, e o treino se concentra nos codificadores da busca visual. Juntar as duas listas é o papel da camada de fusão, tratada mais adiante.

03 · MODELOS E TREINO

Codificadores de texto e de vídeo

Antes de entrar no modelo, o texto vira um vetor numérico em três passos: normalização, tokenização e conversão de tokens em IDs. Como o conjunto de dados já vem anotado, o capítulo dispensa a etapa de engenharia de dados.

Para o texto, os métodos estatísticos são rápidos, mas não captam o sentido contextual e geram representações esparsas. Os Transformers geram embeddings diferentes para a mesma palavra conforme o contexto, e o capítulo escolhe uma arquitetura como o BERT.

O capítulo adota um modelo de nível de quadro, como o ViT, e treina os dois codificadores com aprendizado contrastivo.

1. Os dados já chegam anotados como pares de vídeo e consulta, o que dispensa engenharia de dados.

2. O texto passa por normalização, tokenização e conversão de tokens em IDs antes de chegar ao codificador de texto.

3. No lado do vídeo, o modelo por quadros começa pré-processando o vídeo e amostrando quadros.

4. O texto vira embedding num Transformer como o BERT, e o vídeo vira embedding num modelo por quadros como o ViT, com os embeddings de quadro agregados.

5. Os codificadores de texto e de vídeo são treinados com aprendizado contrastivo.

04 · AVALIAÇÃO

Como medir uma busca

No conjunto de avaliação, cada consulta tem um único vídeo associado. Por isso o numerador de precision@k vale no máximo 1, e precision@k e mAP pouco ajudam. O recall@k também falha: se um modelo põe o vídeo relevante na posição 15 e outro na posição 50, os dois têm recall@10=0. O MRR corrige as falhas do recall@k e é a métrica offline escolhida.

05 · SERVIÇO

Consulta, fusão e indexação

No serviço de predição, a busca visual codifica a consulta e usa o serviço de vizinho mais próximo, com algoritmos aproximados (ANN) para acelerar a busca. A busca textual usa o Elasticsearch. A camada de fusão combina as duas listas e o serviço de reranking aplica a lógica e as políticas de negócio.

1. O diagrama começa pelo serviço de busca, que recebe a consulta de texto.

2. Pelo lado visual, a consulta é codificada em um embedding.

3. O serviço de vizinho mais próximo usa algoritmos aproximados (ANN) para achar os embeddings de vídeo mais parecidos com o da consulta.

4. Pelo lado textual, o Elasticsearch devolve vídeos cujos títulos e tags se sobrepõem à consulta.

5. A camada de fusão recebe as duas listas e as combina numa só.

6. O reranking ajusta a lista com lógica e políticas de negócio, e a lista final volta ao usuário.

Do outro lado da busca há a indexação. Um codificador de vídeo treinado calcula os embeddings, que são indexados, e o Elasticsearch indexa títulos, tags manuais e tags geradas automaticamente. Quando o vídeo chega sem tags, um modelo independente, o auto-tagger, gera tags que podem ser mais ruidosas, mas ainda valem.

1. O criador envia o vídeo e, em geral, informa tags para identificá-lo.

2. Um codificador de vídeo treinado calcula os embeddings, que são então indexados.

3. Quando faltam tags manuais, o auto-tagger gera tags, que podem ser mais ruidosas, mas ainda valem.

4. Títulos, tags manuais e tags automáticas vão para o índice textual do Elasticsearch.

06 · PRÓXIMOS PASSOS

O que o capítulo deixa para depois

O próprio capítulo reconhece que o desenho foi simplificado e que na prática o sistema é muito mais complexo. Entre as melhorias que ele lista estão um desenho em vários estágios, com geração de candidatos e ranqueamento, mais atributos do vídeo, como duração e popularidade, e o uso de interações, como cliques e curtidas, para construir e rotular dados.

Outro ponto levantado é a presença de vídeos quase duplicados na saída final, que podem prejudicar a experiência de quem busca.