Texto→vídeo

01 · CONTEXTO

O problema de gerar vídeo a partir de texto

O relatório técnico da OpenAI sobre o Sora explora o treino em larga escala de modelos generativos de vídeo. São modelos de difusão condicionados a texto, treinados em conjunto com vídeos e imagens de durações, resoluções e proporções variadas; o maior deles é capaz de gerar um minuto de vídeo de alta fidelidade.

O tema também é um capítulo do livro de entrevistas de GenAI da ByteByteGo, dedicado à geração de texto para vídeo. O relatório avisa que não inclui detalhes do modelo nem da implementação; por isso, o que vai além dele neste caso é desenho proposto, e não descrição do Sora.

02 · DO VÍDEO AOS PATCHES

Uma representação única para vídeo e imagem

A ideia central é tratar vídeo como um modelo de linguagem trata texto: em vez de tokens de texto, o Sora usa patches visuais. Para chegar a eles, o vídeo é primeiro comprimido para um espaço latente de menor dimensão e depois decomposto em patches espaçotemporais.

Uma rede de compressão recebe o vídeo bruto e devolve um latente comprimido no tempo e no espaço. O Sora é treinado e gera dentro desse espaço comprimido, e um decodificador correspondente leva os latentes gerados de volta a pixels.

A partir do vídeo comprimido, extrai-se uma sequência de patches espaçotemporais que servem de tokens do transformer. Como essa representação aceita resoluções, durações e proporções variadas, ela também serve para imagens, que são vídeos de um único quadro.

1. O legendador descritivo produz legendas de texto para os vídeos do conjunto de treino.

2. A rede de compressão leva o vídeo bruto a uma representação latente comprimida no tempo e no espaço.

3. Do latente comprimido saem os patches espaçotemporais, que atuam como tokens do transformer.

4. O transformer recebe patches com ruído e o condicionamento de texto, e é treinado para prever os patches limpos.

03 · TREINO E ESCALA

Difusão com transformer e tamanho nativo

O modelo é um transformer de difusão: recebe patches com ruído, mais condicionamento como o prompt de texto, e é treinado para prever os patches limpos originais. O relatório conclui que transformers de difusão escalam bem também como modelos de vídeo, e que a qualidade das amostras melhora marcadamente com mais computação de treino.

Abordagens anteriores costumam redimensionar, cortar ou aparar os vídeos para um tamanho padrão. O relatório diz que treinar no tamanho nativo traz vários benefícios.

Outro benefício é a flexibilidade na amostragem: dá para prototipar em tamanhos menores antes de gerar em resolução total, com o mesmo modelo.

04 · LEGENDAS, CONSISTÊNCIA E LIMITES

O que o texto controla e onde o modelo falha

Treinar texto-para-vídeo exige muitos vídeos com legendas correspondentes. O relatório treina um legendador muito descritivo e o usa para legendar todos os vídeos do conjunto de treino; legendas descritivas melhoram a fidelidade ao texto e a qualidade geral.

No uso, um GPT converte prompts curtos do usuário em legendas mais longas e detalhadas, que são enviadas ao modelo de vídeo.

Manter consistência temporal em vídeos longos é um desafio conhecido da geração de vídeo. O relatório diz que o Sora muitas vezes, mas nem sempre, consegue modelar dependências de curto e longo alcance.

05 · SERVIR UM PEDIDO

Um desenho de serviço para a entrevista

Este desenho de serviço é uma proposta para a entrevista, montada com as peças descritas no relatório; ele não descreve a infraestrutura da OpenAI. A proposta usa uma fila de jobs, entrega o resultado por CDN e trata o custo por segundo de vídeo como métrica de projeto.

1. O usuário envia um prompt curto; um expansor, no papel do GPT do relatório, o converte em uma legenda detalhada para o modelo de vídeo.

2. Em destaque no diagrama: a fila de jobs e o worker de GPU, ligados por uma aresta assíncrona.

3. No worker, o tamanho do vídeo é definido ao dispor patches inicializados aleatoriamente em uma grade do tamanho adequado, e o modelo, treinado para prever patches limpos, os processa.

4. O decodificador leva os latentes gerados de volta ao espaço de pixels.

5. Em destaque no diagrama: o armazenamento do vídeo final e a CDN que o entrega ao usuário.