ChatGPT: chatbot assistente pessoal

01 · CONTEXTO

Um assistente conversacional em duas metades

O ByteByteGo inclui no curso Generative AI System Design Interview um capítulo chamado “ChatGPT: Personal Assistant Chatbot”. A Educative tem, no curso de design de sistemas de IA generativa, um capítulo de geração texto-para-texto, descrito como o design de treino e implantação de um sistema de IA conversacional eficiente.

O problema pode ser lido em duas metades: como o modelo é treinado para ajudar o usuário e como ele é servido a muitos usuários ao mesmo tempo. Ambas pertencem ao design de sistemas de machine learning.

02 · TREINO

Do modelo pré-treinado ao modelo alinhado

O artigo do InstructGPT parte de uma constatação: tornar os modelos maiores não os faz, por si só, seguir melhor a intenção do usuário, e modelos grandes podem gerar saídas falsas, tóxicas ou pouco úteis.

1. O ponto de partida é um modelo de linguagem já pré-treinado.

2. Rotuladores demonstram o comportamento desejado sobre os prompts, e o modelo pré-treinado é ajustado com aprendizado supervisionado nesses dados.

3. Rotuladores comparam saídas do modelo e indicam qual preferem; essas comparações treinam um modelo de recompensa que prevê a saída preferida.

4. A saída do modelo de recompensa vira recompensa escalar, e a política supervisionada é ajustada com PPO para otimizá-la.

5. As etapas de comparação e de otimização podem ser repetidas continuamente; a maior parte dos dados de comparação vem das políticas supervisionadas, e uma parte vem das políticas PPO.

6. No teste do artigo, saídas do InstructGPT de 1.3B parâmetros foram preferidas às do GPT-3 de 175B, com mais de 100x mais parâmetros.

Os prompts de treino enviados a versões anteriores do InstructGPT no API Playground passam por um filtro que remove os que contêm PII.

03 · SERVIÇO

Servir o modelo a muitos usuários

Depois do treino, o modelo precisa ser servido a vários usuários ao mesmo tempo. O desenho de referência coloca um balanceador diante dos servidores de inferência e uma camada de guardrails entre a entrada e o modelo.

1. O diagrama começa pelo usuário, que envia a mensagem à entrada da API.

2. O diagrama mostra uma camada de guardrails entre a entrada da API e o balanceador.

3. O diagrama coloca um balanceador diante do servidor de inferência.

4. O diagrama liga o servidor de inferência a um armazenamento com o histórico da conversa.

5. Em Transformers, os estados das requisições são os tensores de chave e valor da atenção, o cache KV, e a gestão desse cache é determinante para o tamanho máximo do lote.

6. O diagrama termina em um destino de métricas ligado ao servidor de inferência.

A geração token a token torna a carga memory-bound, subutiliza a computação da GPU e limita a vazão. No exemplo do artigo do vLLM, um LLM de 13B parâmetros em uma GPU NVIDIA A100 com 40GB de memória, aproximadamente 65% da memória fica com os pesos do modelo e perto de 30% guarda os estados dinâmicos das requisições.

04 · LOTE

Agrupar requisições sem fazer ninguém esperar

A vazão melhora ao agrupar várias requisições em lote. Como elas compartilham os mesmos pesos, o custo de mover pesos é amortizado entre as requisições do lote.

1. As requisições dos usuários podem chegar em momentos diferentes.

2. Uma estratégia de lote ingênua faz as requisições antigas esperarem as novas, ou atrasa as novas até as antigas terminarem, com atrasos significativos de fila.

3. As requisições podem ter comprimentos de entrada e saída muito diferentes, e uma técnica direta de lote preenche entradas e saídas para igualar comprimentos, desperdiçando computação e memória da GPU.

4. Com lote de granularidade fina, após cada iteração as requisições concluídas saem do lote e novas entram, e uma nova requisição espera uma única iteração, não o lote inteiro.

5. A gestão do cache KV é determinante para o tamanho máximo do lote.

05 · DECISÕES

Pontos para discutir na prática

Guardrails de entrada e saída, memória de conversa e o custo por resposta, ligado a custo de GPU, ficam como pontos de discussão para a prática. Este artigo não afirma como o ChatGPT os implementa.