KAI Inference Builder Valider et optimiser les infrastructures d'inférence IA

L'inférence IA représente la majeure partie des coûts sur l'ensemble du cycle de vie d'un modèle IA, depuis sa création jusqu'à son déploiement en production, en passant par son apprentissage. Pour garantir un déploiement en toute confiance, il est essentiel de tester de manière exhaustive les infrastructures et les piles d'inférence IA avant la mise en production afin d'identifier rapidement les goulots d'étranglement au niveau des performances et les limites d'évolutivité, ainsi que d'obtenir de meilleures estimations de coûts. Le Keysight AI Inference Builder est spécialement conçu pour ce domaine et permet de mettre en évidence les goulots d'étranglement sur l'ensemble du parcours : des ALB / WAF / passerelles de sécurité IA en amont aux SmartNIC / DPU, puis aux GPU, au cache KV, à la bande passante mémoire et aux files d'attente de service, c'est-à-dire aux points d'origine de la latence, des défaillances ou des limites d'évolutivité, ce qui permet un réglage précis et des choix d'architecture plus judicieux.

La simulation de charges de travail IA réalistes pour les tests d'inférence ne se limite pas à l'envoi de simples requêtes HTTP. Elle nécessite une étude approfondie des profils d'utilisateurs réalistes propres à divers secteurs (par exemple, financier ou juridique), car chaque type de requête peut influencer la pile d'inférence de manière unique, qu'il s'agisse du GPU, de la capacité de mémoire ou de la bande passante. Keysight AI Inference Builder permet d'optimiser le réseau, le choix du matériel, les couches de service des modèles, les moteurs, les orchestrateurs et l'utilisation des GPU et de la mémoire grâce à une bibliothèque sélectionnée de modèles de requêtes et de charges de travail qui reflètent les schémas d'utilisation réels dans différents secteurs et types d'applications (par exemple, le secteur financier ou juridique) ou des benchmarks technologiques (par exemple, le calcul GPU ou la mémoire).

La validation des déploiements d'inférence IA implique l'interprétation de l'ensemble des statistiques du point de vue du client, du transport réseau et, surtout, de la pile de service. Dans ce contexte, disposer d'une vue d'ensemble des indicateurs de performance clés (KPI) natifs de l'inférence, tant du point de vue du client que du serveur, est essentiel pour détecter les goulots d'étranglement et les inefficacités cachés au sein de la pile d'inférence IA. Keysight AI Inference Builder permet une corrélation sans précédent entre les métriques côté client et l'ingestion de données de télémétrie au niveau du moteur d'inférence (par exemple, les statistiques VLLM) et de données de télémétrie GPU au niveau du système (par exemple, les données DCGM), le tout dans une vue synchronisée dans le temps. Ces statistiques comprennent le nombre d'utilisateurs simultanés, le temps jusqu'au premier token, le temps jusqu'au dernier token, le nombre de prompts, le taux de tokens, le temps de préremplissage et de décodage, l'utilisation du cache, l'état du planificateur, la consommation électrique du GPU et l'utilisation des cœurs Tensor.

Les déploiements d'inférence IA évolutifs, robustes et résilients nécessitent une validation rigoureuse à l'aide d'outils capables de s'adapter facilement à la charge simultanée d'utilisateurs en conditions de production, offrant un contrôle granulaire sur la charge de trafic générée et des capacités d'automatisation complètes pour une combinaison dynamique de scénarios de test représentatifs. Keysight AI Inference Builder accélère la planification des capacités et la maîtrise des coûts en pouvant prendre en charge jusqu'à des millions d'utilisateurs simulés afin d'évaluer l'infrastructure d'inférence IA et la pile logicielle sous une charge de niveau production, avec un contrôle granulaire de la charge de test générée (c'est-à-dire le nombre de requêtes par seconde). Il permet de réaliser des tests de résilience et de robustesse sans précédent sur les infrastructures et les piles d'inférence IA grâce à des scénarios de test entièrement automatisés pour des tests répétitifs de courte durée ou des tests de résistance de longue durée.