KAI Inference Builder Validar e otimizar infraestruturas de inferência de IA

A inferência de IA representa a maior parte dos custos quando se considera todo o ciclo de vida da criação, treinamento e implantação de um modelo de IA em produção. Para uma implantação segura, é fundamental testar exaustivamente as infraestruturas e pilhas de inferência de IA antes da produção, a fim de identificar precocemente gargalos de desempenho e limites de escalabilidade, bem como obter estimativas de custo mais precisas. O Keysight AI Inference Builder foi desenvolvido especificamente para essa área e pode revelar gargalos em todo o caminho: desde ALBs/WAFs/gateways de segurança de IA de front-end até SmartNICs/DPUs e, finalmente, GPUs, cache KV, largura de banda de memória e filas de serviço — pontos onde se originam a latência, as falhas ou os limites de escalabilidade —, permitindo um ajuste preciso e escolhas de arquitetura mais inteligentes.

Simular cargas de trabalho realistas de IA para testes de inferência requer mais do que apenas enviar simples solicitações HTTP. Isso envolve uma pesquisa aprofundada sobre perfis de usuários realistas específicos de diversos setores (por exemplo, financeiro, jurídico), já que cada formato de solicitação pode afetar a pilha de inferência em termos de GPU, capacidade de memória ou largura de banda de maneira única. O Keysight AI Inference Builder pode ajudar a otimizar a rede, a seleção de hardware, as camadas de serviço de modelos, os motores, os orquestradores e o uso de GPU/memória com uma biblioteca selecionada de modelos de prompts e cargas de trabalho que refletem padrões de uso do mundo real em diversos setores e tipos de aplicativos (por exemplo, financeiro, jurídico) ou benchmarks de tecnologia (por exemplo, computação em GPU, memória).

A validação de implantações de inferência de IA envolve a interpretação de estatísticas em todos os níveis: da perspectiva do cliente, do transporte de rede e, o que é muito importante, da pilha de servidores. Nesse contexto, ter uma visão unificada dos KPIs nativos de inferência, tanto da perspectiva do cliente quanto do servidor, é fundamental para identificar gargalos e ineficiências ocultos na pilha de inferência de IA. O Keysight AI Inference Builder permite uma correlação sem paralelo entre métricas do lado do cliente e a ingestão de telemetria no nível do mecanismo de inferência (por exemplo, estatísticas VLLM) e telemetria de GPU no nível do sistema (por exemplo, dados DCGM), reunidas em uma única visualização sincronizada no tempo. Essas estatísticas incluem usuários simultâneos, tempo até o primeiro token, tempo até o último token, prompts, taxa de tokens, tempo de pré-preenchimento e decodificação, utilização do cache, estado do agendador, consumo de energia da GPU e utilização do núcleo tensorial.

Implantações de inferência de IA escaláveis, robustas e resilientes exigem uma validação rigorosa com ferramentas capazes de se adaptar facilmente à simultaneidade de usuários em nível de produção, que ofereçam controle granular sobre a carga de tráfego gerada e que ofereçam recursos abrangentes de automação para uma combinação dinâmica de cenários de teste representativos. O Keysight AI Inference Builder acelera o planejamento de capacidade e o controle de custos ao escalar para milhões de usuários simulados para avaliar a infraestrutura de inferência de IA e a pilha de software sob carga em escala de produção, com controle granular sobre a carga de teste gerada (ou seja, solicitações por segundo). Ele permite testes de resiliência e robustez sem paralelo de infraestruturas e pilhas de inferência de IA com cenários de teste totalmente automatizados para testes repetitivos de curta duração ou testes de imersão de longa duração.