Meta: clusters de 24 mil GPUs para Llama 3

01 · CONTEXTO

Dois clusters para treinar o Llama 3

A Meta anunciou dois clusters de 24k GPUs, descritos como duas versões de um cluster de escala de data center com 24.576 GPUs cada. O post afirma que esse desenho de cluster é usado no treino do Llama 3.

O ponto de partida foi o RSC, divulgado em 2022 com 16 mil GPUs NVIDIA A100. Segundo o post, os clusters novos partem dos sucessos e das lições do RSC, com ênfase em sistemas de ponta a ponta e na experiência e produtividade de pesquisadores e desenvolvedores.

1. O diagrama começa pelo pesquisador, cujo job de treino passa pelo escalonador antes de chegar às GPUs.

2. O escalonador interno de jobs foi alterado para considerar a topologia da rede ao alocar os jobs.

3. Os nós de GPU usam a plataforma Grand Teton, projetada pela Meta e contribuída ao OCP.

4. Dados e checkpoints passam por uma API FUSE própria sobre uma versão do Tectonic otimizada para Flash.

5. O sistema de arquivos paralelo da Hammerspace deixa as mudanças de código imediatamente acessíveis a todos os nós, o que permite depuração interativa.

6. A Meta está construindo ferramentas de depuração distribuída, como desync debug e um flight recorder de coletivas.

02 · REDE

RoCE contra InfiniBand, lado a lado

A Meta construiu um cluster com rede RoCE (RDMA sobre Ethernet convergido), baseada em switches Arista 7800 com Wedge400 e Minipack2 OCP. O outro cluster usa uma malha NVIDIA Quantum2 InfiniBand. As duas soluções interligam endpoints de 400 Gbps.

A razão declarada para ter os dois é poder avaliar a adequação e a escalabilidade de cada tipo de interconexão para treino em larga escala. Por co-design entre rede, software e arquitetura de modelos, a Meta diz ter usado com sucesso ambos em cargas GenAI grandes, inclusive no treino em andamento do Llama 3 no cluster RoCE, sem gargalos de rede.

03 · ARMAZENAMENTO E CHECKPOINT

Salvar o estado de milhares de GPUs

O post destaca o armazenamento como peça importante do treino e como um dos aspectos menos comentados. Dados e checkpoints passam por uma API FUSE própria, apoiada numa versão do Tectonic otimizada para Flash. A solução permite que milhares de GPUs salvem e carreguem checkpoints de forma sincronizada, um desafio para qualquer armazenamento, e ainda oferece armazenamento em escala de exabyte para a carga de dados.

1. Milhares de GPUs precisam salvar e carregar checkpoints de forma sincronizada, algo difícil para qualquer armazenamento.

2. O acesso passa pela API FUSE própria e chega a uma versão do Tectonic otimizada para Flash.

3. A mesma camada entrega armazenamento flexível, de alta vazão e em escala de exabyte para a carga de dados.

4. Segundo o post, novas soluções de armazenamento deram a oportunidade de otimizar o checkpoint em milhares de ranks para rodar em centenas de milissegundos.

5. Pelo sistema de arquivos paralelo, uma mudança de código fica imediatamente acessível a todos os nós, e o engenheiro depura o job de forma interativa.

Em paralelo, a Meta fez parceria com a Hammerspace para um sistema de arquivos paralelo: mudanças de código ficam imediatamente acessíveis a todos os nós e o engenheiro depura jobs com milhares de GPUs de forma interativa. Juntos, Tectonic e Hammerspace permitem iteração rápida sem abrir mão de escala.

Os servidores de armazenamento usam a plataforma YV3 Sierra Point com SSDs E1.S de alta capacidade, e a camada é tolerante às operações diárias de manutenção da infraestrutura.

04 · DESEMPENHO EM ESCALA

Do cluster pequeno ao grande

Um princípio declarado pela Meta é que a melhor forma de testar a escalabilidade de um desenho é construir o sistema, otimizá-lo e testá-lo de verdade: simuladores ajudam, mas só até certo ponto. O desempenho inicial dos clusters grandes era ruim e inconsistente em comparação ao dos clusters pequenos otimizados.

Para fechar a diferença, a Meta mudou o escalonador interno de jobs para considerar a topologia da rede, o que trouxe ganhos de latência e reduziu o tráfego para as camadas superiores da rede. Também otimizou a estratégia de roteamento em conjunto com mudanças no NCCL, buscando a utilização ideal da rede.

05 · OPERAÇÃO E PRÓXIMOS PASSOS

Depuração, software e o roteiro

O post trata a depuração como um dos grandes desafios do treino em larga escala: identificar uma GPU problemática que trava um job inteiro fica muito difícil. A Meta diz estar construindo ferramentas como desync debug e um flight recorder de coletivas distribuídas, e ter reduzido o tempo de inicialização de process groups de, por vezes, horas para minutos.

O hardware também empurra o software: as GPUs H100 abrem a possibilidade de usar tipos de dados novos como FP8 no treino. A meta declarada é chegar ao fim de 2024 com 350 mil GPUs H100, num portfólio com poder equivalente a quase 600 mil H100.