Comment valider l'évolutivité d'une infrastructure d'inférence IA

Obtenir un devis
Keysight AI Inference Builder
+ Keysight AI Inference Builder
Keysight AI Inference Builder
+ Keysight AI Inference Builder

Tester la capacité d'inférence sous une charge simultanée

L’infrastructure d’inférence IA offre souvent des temps de réponse prévisibles lorsque la charge est faible, mais l’augmentation du nombre d’utilisateurs simultanés révèle un profil de performances différent. Les requêtes adressées aux grands modèles linguistiques (LLM) varient en termes de longueur des invites, de longueur des résultats et de schémas d’interaction ; un seul test de performance ne peut donc pas refléter la demande générée par un trafic similaire à celui en production. À mesure que le nombre de sessions simultanées augmente, le débit d’inférence peut cesser de croître proportionnellement, tandis que la latence d’inférence s’accroît et que la régularité d’exécution des requêtes diminue. Cette divergence masque la capacité utilisable du système et rend difficile la distinction entre les effets de la charge de travail et les limites de l’infrastructure. Les tests d’évolutivité de l’inférence IA mettent en évidence ces comportements en mettant en relation les taux de requêtes proposés et les sessions simultanées avec le travail effectué, les taux de génération de jetons et les distributions des temps de réponse. Des profils de charge de travail comparables permettent de déterminer à quel moment l’augmentation de la demande commence à dépasser les performances d’inférence fournies.

Le défi se complique lorsque la pile logicielle d’inférence et l’infrastructure sous-jacente imposent des contraintes différentes selon les niveaux de charge. La télémétrie des GPU peut mettre en évidence la pression exercée sur les ressources, mais l’utilisation des GPU à elle seule n’explique pas pourquoi les requêtes ralentissent ou pourquoi le débit plafonne. Les chemins réseau, les composants du service et les différences entre le traitement des entrées et la génération de jetons peuvent influencer la réponse observée. Une émulation réaliste de la charge de travail des grands modèles de langage (LLM) relie le débit et la latence d’inférence aux données de télémétrie de l’infrastructure dans un contexte de concurrence croissante, ce qui permet aux ingénieurs d’identifier les conditions qui coïncident avec la saturation. Des mesures répétées sur des profils de charge comparables montrent si les modifications de configuration modifient la limite de capacité ou se contentent de redistribuer les délais. La vue d’ensemble qui en résulte, portant sur le débit soutenu, le comportement des temps de réponse et la concurrence prise en charge, définit une enveloppe opérationnelle mesurable sans s’appuyer sur une valeur isolée de performance de pointe.

Solution d'évolutivité pour les infrastructures d'inférence IA

Les tests d’évolutivité de l’inférence IA nécessitent des charges de travail représentatives, des augmentations contrôlées de la demande simultanée et des mesures corrélées du comportement de réponse et de l’utilisation du système. La solution AI Inference Builder de Keysight prend en charge l’émulation de charges de travail pour le trafic généré par les grands modèles linguistiques et aide les ingénieurs à évaluer le débit d’inférence, la latence d’inférence et les performances à mesure que le volume de requêtes augmente. Cette solution intègre les mesures au niveau des charges de travail et les observations de l’infrastructure dans une évaluation commune du comportement du système. Les ingénieurs peuvent ainsi déterminer à quel moment le travail effectué cesse d’augmenter proportionnellement à la demande, à quel moment les temps de réponse deviennent moins réguliers, et quelles conditions d’infrastructure coïncident avec ces changements. Des profils de charge de travail comparables facilitent l’analyse entre différentes configurations, aidant ainsi les équipes à distinguer les limites de capacité de la variabilité du trafic. Cette évaluation de haut niveau se concentre sur le comportement d’évolutivité observé plutôt que sur des configurations matérielles spécifiques, des intégrations architecturales ou des chiffres de performances mesurés. Les résultats peuvent être exprimés sous forme de tendances de débit et de latence à différents niveaux de concurrence successifs, la télémétrie des ressources associée fournissant le contexte nécessaire à leur interprétation.
Obtenir un devis

Voir la vidéo de démonstration de la solution d'évolutivité de l'infrastructure d'inférence IA

Découvrez les produits de notre solution d'évolutivité pour l'infrastructure d'inférence IA

Cas d'utilisation connexes

Comment établir une corrélation entre les événements de paquets sur différents ports de test

Mettre en corrélation les horodatages des paquets et les événements de trafic entre les ports de test Ethernet distribués à l'aide d'une référence temporelle de précision partagée.

En savoir plus

Comment effectuer des tests de résistance sur les interconnexions Ethernet

Valider les liaisons Ethernet de couche 1 à l'aide de mesures du taux d'erreurs binaire (BER), de la correction d'erreurs par codage (FEC) et de tests de résistance afin de détecter les erreurs par rafales au fil du temps.

En savoir plus

Comment déboguer les erreurs FEC sur Ethernet

Débogage des erreurs FEC sur Ethernet à l'aide de la densité d'erreurs de symboles au niveau des voies, de la tolérance aux rafales et de l'analyse des marges sur des liaisons multidébits.

En savoir plus

contactez-nous logo

Contactez l'un de nos experts

Besoin d'aide pour trouver la solution qui vous convient ?

Nous contacter