Como validar a escalabilidade da infraestrutura de inferência de IA

Pedir cotação
Keysight AI Inference Builder
+ Keysight AI Inference Builder
Keysight AI Inference Builder
+ Keysight AI Inference Builder

Teste da capacidade de inferência sob carga simultânea

A infraestrutura de inferência de IA geralmente oferece tempos de resposta previsíveis sob carga leve; no entanto, um número crescente de usuários simultâneos revela um perfil de desempenho diferente. As solicitações de grandes modelos de linguagem (LLM) variam em comprimento do prompt, comprimento da saída e padrão de interação; portanto, um único teste de desempenho não consegue capturar a demanda gerada por um tráfego semelhante ao de produção. À medida que o número de sessões simultâneas aumenta, a taxa de processamento da inferência pode deixar de crescer proporcionalmente, enquanto a latência da inferência aumenta e a conclusão das solicitações se torna menos consistente. Essa divergência obscurece a capacidade útil do sistema e dificulta a separação dos efeitos da carga de trabalho dos limites da infraestrutura. Os testes de escalabilidade de inferência de IA revelam esses comportamentos ao relacionar as taxas de solicitações oferecidas e as sessões simultâneas ao trabalho concluído, às taxas de geração de tokens e às distribuições de tempo de resposta. Perfis de carga de trabalho comparáveis ajudam a revelar onde a demanda crescente começa a superar o desempenho de inferência fornecido.

O desafio se torna mais complexo quando a pilha de software de inferência e a infraestrutura subjacente impõem restrições diferentes em distintos níveis de carga. A telemetria da GPU pode revelar pressão sobre os recursos, mas a utilização da GPU, por si só, não explica por que as solicitações ficam mais lentas ou por que a taxa de transferência se estabiliza. Os caminhos de rede, os componentes do serviço e as diferenças entre o processamento de entrada e a geração de tokens podem influenciar a resposta observada. A emulação realista da carga de trabalho de LLM (modelos de linguagem de grande escala) relaciona a taxa de transferência e a latência de inferência com a telemetria da infraestrutura sob concorrência crescente, permitindo que os engenheiros identifiquem quais condições coincidem com a saturação. Medições repetidas em perfis de carga comparáveis mostram se as alterações de configuração alteram o limite de capacidade ou simplesmente redistribuem os atrasos. A visão resultante da taxa de transferência sustentada, do comportamento do tempo de resposta e da concorrência suportada define um envelope operacional mensurável sem depender de um número isolado de desempenho de pico.

Solução de escalabilidade para infraestrutura de inferência de IA

Os testes de escalabilidade de inferência de IA exigem cargas de trabalho representativas, aumentos controlados na demanda simultânea e medições correlacionadas do comportamento de resposta e da utilização do sistema. O AI Inference Builder da Keysight oferece suporte à emulação de cargas de trabalho para tráfego de grandes modelos de linguagem e ajuda os engenheiros a avaliar a taxa de transferência de inferência, a latência de inferência e o desempenho à medida que o volume de solicitações aumenta. A solução integra medições no nível da carga de trabalho e observações da infraestrutura em uma avaliação comum do comportamento do sistema. Os engenheiros podem examinar em que ponto o trabalho concluído deixa de aumentar proporcionalmente à demanda, em que ponto os tempos de resposta se tornam menos consistentes e quais condições da infraestrutura coincidem com essas mudanças. Perfis de carga de trabalho comparáveis permitem a análise entre diferentes configurações, ajudando as equipes a distinguir limites de capacidade da variabilidade do tráfego. Essa avaliação de alto nível concentra-se no comportamento de escalabilidade observado, em vez de se basear em configurações específicas de hardware, integrações arquitetônicas ou valores medidos de desempenho. Os resultados podem ser expressos como tendências de taxa de transferência e latência em níveis sucessivos de simultaneidade, com a telemetria de recursos associada fornecendo contexto para a interpretação.
Pedir cotação

Assista ao vídeo de demonstração da solução de escalabilidade para infraestrutura de inferência de IA

Conheça os produtos da nossa solução de escalabilidade para infraestrutura de inferência de IA

Casos de uso relacionados

Como validar redes de confiança zero

A validação de redes de confiança zero requer uma solução que recrie as condições de tráfego, o comportamento do usuário e os ataques cibernéticos do mundo real. Saiba como validar controles de acesso individuais e políticas de segurança individualmente e como parte de uma implementação de ponta a ponta.

Saiba mais

Como testar redes de data center com IA

A emulação de cargas de trabalho de IA/ML em um ambiente de laboratório para avaliar e medir o desempenho da malha de rede com resultados repetíveis requer geradores de tráfego de alta densidade e software especializado. Saiba como identificar a causa raiz dos gargalos de rede que afetam o tempo de treinamento de IA/Aprendizado de Máquina.

Saiba mais

Como validar interconexões Ethernet em data centers

A validação de interconexões Ethernet em data centers exige testes precisos de confiabilidade e desempenho. Saiba como garantir a transmissão de dados de alta qualidade e a correção de erros.

Saiba mais

logotipo de contato

Entre em contato com um de nossos especialistas

Precisa de ajuda para encontrar a solução certa para você?

Contacte-nos