Redes de IA

Em uma rede tradicional, o tipo e o tamanho da carga de trabalho variam, o tráfego é distribuído entre diferentes conexões, cresce proporcionalmente ao número de usuários e os pacotes atrasados ou descartados não costumam causar problemas significativos. Em uma rede de IA, todas as GPUs trabalham no mesmo problema, criando um modelo de linguagem grande (LLM). As cargas de trabalho para criar um LLM exigiam que grandes quantidades de dados fossem compartilhadas entre as GPUs sem que houvesse queda de pacotes ou congestionamento. Como as GPUs estão todas trabalhando no mesmo problema, elas concluem uma tarefa quando a última GPU termina o processamento. Qualquer atraso no fornecimento de dados a uma GPU significa que toda a carga de trabalho está atrasada.

A otimização de uma rede de IA é diferente da otimização de uma rede tradicional de data center. As redes de IA são executadas quase na capacidade e precisam ser sem perdas para maximizar a utilização da GPU. Diferentes mecanismos de congestionamento estão disponíveis com várias configurações. A execução de cargas de trabalho de IA em um ambiente de laboratório com ferramentas de benchmarking fornece um caminho para encontrar as configurações e definições ideais que podem ser aplicadas aos ambientes de produção.

Em uma rede de IA, as GPUs trabalham no mesmo problema, concluindo uma tarefa somente quando a última GPU recebe os dados de que precisa e termina o processamento. Uma das principais medidas de desempenho de uma rede de IA é a latência de cauda - os fluxos com os tempos de conclusão mais longos. A medida é chamada de P95 - o tempo de conclusão dos cinco por cento mais lentos dos fluxos de rede.

RDMA é um acrônimo que significa Remote Direct Memory Access. O RDMA permite que as GPUs transfiram dados entre si em um data center de IA com envolvimento mínimo da CPU e das pilhas de rede. Isso permite comunicações de baixa latência e alta taxa de transferência em um data center de IA. As placas de interface de rede habilitadas para RDMA em um servidor se conectam a switches habilitados para RDMA para permitir a comunicação de alta velocidade entre GPUs.

A Ultra Ethernet (UE) adiciona recursos à Ethernet para fornecer uma rede rápida, altamente dimensionável e de baixa latência para requisitos de IA e computação de alto desempenho. A pulverização de pacotes permite que os fluxos usem mais de um caminho para um destino, possibilitando um melhor balanceamento de carga em toda a rede. A ordenação flexível permite que os pacotes cheguem ao destino fora de ordem. O controle de congestionamento baseado no receptor baseia-se nos mecanismos existentes de controle de congestionamento baseados no remetente para melhorar o congestionamento in-cast que ocorre com coletivos de IA, como o All-to-All. A telemetria aprimorada permite tempos de sinalização do plano de controle mais rápidos, melhorando a resposta a eventos de congestionamento. O UE é interoperável com os switches Ethernet de data center existentes, mas será executado com mais eficiência - com maior utilização da rede e latência reduzida - usando switches e placas de interface de rede baseados em UEC.

A movimentação de dados entre GPUs é chamada de Operação Coletiva. Há vários tipos diferentes, dependendo do local inicial e final dos dados e se há necessidade de executar uma matemática nos dados durante o processo. Os tipos comumente usados são Broadcast and Gather, ReduceScatter, AllGather, AllReduce e AlltoAll. A presença da palavra-chave "reduce" no nome da operação significa que essa operação executa cálculos nos dados. Uma operação coletiva pode ser implementada usando qualquer número de algoritmos. Os algoritmos conhecidos para AllReduce são Unidirectional e Bidirectional Ring, Double Binary Tree e Halving-Doubling. Cada um deles demonstra um desempenho melhor ou pior, dependendo do número de GPUs e de como elas estão interconectadas.