Como avaliar comparativamente a comunicação coletiva em IA

Criador de data center com IA da Keysight

+ Keysight AI Data Center Builder

Caracterizar a comunicação coletiva entre clusters de IA

O benchmarking de comunicação coletiva começa com uma operação definida, pontos finais participantes e um perfil de carga de trabalho repetível. Configure a topologia de rede e os pontos finais de emulação de host e, em seguida, selecione padrões coletivos, como AllReduce, AllGather ou ReduceScatter, de acordo com a metodologia do benchmark. Especifique os tamanhos das mensagens, o número de ranks participantes, a simultaneidade e o número de repetições. Registre a configuração inicial da malha, incluindo as taxas de enlace e os parâmetros de transporte, antes de executar uma execução de referência. A avaliação comparativa da comunicação coletiva pode, então, variar os tamanhos das mensagens ou dos clusters para caracterizar o comportamento de escalabilidade. Registre o tempo de conclusão coletiva para cada execução e calcule a largura de banda efetiva usando uma definição consistente para a operação selecionada.

Para os testes de desempenho do AllReduce, compare a duração observada das operações em diferentes tamanhos de mensagem e números de endpoints, mantendo a topologia inalterada. Execute novamente a sequência após modificar um parâmetro de rede ou algoritmo coletivo definido, mantendo as demais variáveis constantes. Analise a distribuição dos tempos de conclusão, em vez de se basear em uma única amostra. Correlacione as mudanças na largura de banda efetiva com a carga de trabalho aplicada, a participação dos endpoints e quaisquer contadores de rede disponíveis. Repita o mesmo plano de testes para avaliar a variação entre execuções. Armazene a definição da carga de trabalho, as configurações do benchmark, a topologia, os carimbos de data/hora e os resultados das medições juntamente com cada conjunto de resultados. Isso cria um registro comparável do desempenho da malha de IA entre diferentes implementações coletivas e configurações de hardware ou software.

Solução de benchmarking para comunicação coletiva com IA

O benchmarking coletivo requer padrões de tráfego distribuídos repetíveis, números configuráveis de participantes e medições do tempo de conclusão da operação. O Keysight AI Data Center Builder oferece uma estrutura para emular o comportamento de cargas de trabalho de inteligência artificial, incluindo atividades de comunicação coletiva, em uma malha de rede de data center. Seu fluxo de trabalho de benchmarking coletivo pode ser usado para variar os parâmetros da carga de trabalho e comparar o tempo de conclusão medido e métricas relacionadas à taxa de transferência em diferentes configurações de rede. A configuração de teste utiliza hardware compatível para geração de tráfego Ethernet de alta densidade em conjunto com a plataforma de software, sendo que a seleção precisa do equipamento e da licença é determinada pelas configurações documentadas na documentação atual do produto. Os engenheiros podem selecionar uma operação coletiva representativa, estabelecer uma linha de base, variar um parâmetro da carga de trabalho e comparar as medições resultantes. As curvas resultantes fornecem uma base consistente para avaliar o escalonamento coletivo, as escolhas de algoritmos e as configurações da malha de rede.

Pedir cotação