Cómo validar la escalabilidad de la infraestructura de inferencia de IA

Obtener presupuesto
Keysight AI Inference Builder
+ Keysight AI Inference Builder
Keysight AI Inference Builder
+ Keysight AI Inference Builder

Comprobación de la capacidad de inferencia bajo carga simultánea

La infraestructura de inferencia de IA suele ofrecer tiempos de respuesta predecibles con una carga ligera; sin embargo, el creciente número de usuarios simultáneos pone de manifiesto un perfil de rendimiento diferente. Las solicitudes de los modelos de lenguaje a gran escala (LLM) varían en cuanto a la longitud de la consulta, la longitud de la respuesta y el patrón de interacción, por lo que una única prueba de rendimiento no puede reflejar la demanda generada por un tráfico similar al de producción. A medida que aumentan las sesiones simultáneas, el rendimiento de la inferencia puede dejar de crecer proporcionalmente, mientras que la latencia de la inferencia aumenta y la finalización de las solicitudes se vuelve menos consistente. Esa divergencia oscurece la capacidad útil del sistema y dificulta separar los efectos de la carga de trabajo de los límites de la infraestructura. Las pruebas de escalabilidad de la inferencia de IA ponen de manifiesto estos comportamientos al relacionar las tasas de solicitud ofrecidas y las sesiones simultáneas con el trabajo completado, las tasas de generación de tokens y las distribuciones de los tiempos de respuesta. Los perfiles de carga de trabajo comparables ayudan a revelar en qué punto la creciente demanda comienza a superar el rendimiento de inferencia proporcionado.

El reto se complica cuando la pila de software de inferencia y la infraestructura subyacente imponen diferentes limitaciones en distintos niveles de carga. La telemetría de la GPU puede revelar la presión sobre los recursos, pero la utilización de la GPU por sí sola no explica por qué las solicitudes se ralentizan o por qué el rendimiento se estabiliza. Las rutas de red, los componentes del servicio y las diferencias entre el procesamiento de entradas y la generación de tokens pueden influir en la respuesta observada. La emulación realista de cargas de trabajo de modelos de lenguaje a gran escala (LLM) relaciona el rendimiento y la latencia de la inferencia con la telemetría de la infraestructura en condiciones de concurrencia creciente, lo que permite a los ingenieros identificar qué condiciones coinciden con la saturación. Las mediciones repetidas en perfiles de carga comparables muestran si los cambios de configuración modifican el límite de capacidad o si simplemente redistribuyen los retrasos. La visión resultante del rendimiento sostenido, el comportamiento del tiempo de respuesta y la concurrencia admitida define un margen operativo medible sin depender de una cifra aislada de rendimiento máximo.

Solución de escalabilidad para la infraestructura de inferencia de IA

Las pruebas de escalabilidad de la inferencia de IA requieren cargas de trabajo representativas, aumentos controlados de la demanda simultánea y mediciones correlacionadas del comportamiento de respuesta y la utilización del sistema. El AI Inference Builder de Keysight permite emular cargas de trabajo para el tráfico de modelos de lenguaje a gran escala y ayuda a los ingenieros a evaluar el rendimiento de la inferencia, la latencia de la inferencia y el rendimiento a medida que aumenta el volumen de solicitudes. La solución integra las mediciones a nivel de carga de trabajo y las observaciones de la infraestructura en una evaluación común del comportamiento del sistema. Los ingenieros pueden examinar en qué punto el trabajo completado deja de aumentar proporcionalmente a la demanda, en qué momento los tiempos de respuesta se vuelven menos consistentes y qué condiciones de la infraestructura coinciden con esos cambios. Los perfiles de carga de trabajo comparables facilitan el análisis entre diferentes configuraciones, lo que ayuda a los equipos a distinguir los límites de capacidad de la variabilidad del tráfico. Esta evaluación de alto nivel se centra en el comportamiento de escalabilidad observado, en lugar de basarse en configuraciones de hardware específicas, integraciones arquitectónicas o cifras de rendimiento medidas. Los resultados pueden expresarse como tendencias de rendimiento y latencia a lo largo de sucesivos niveles de concurrencia, y la telemetría de recursos asociada proporciona el contexto necesario para su interpretación.
Obtener presupuesto

Ver vídeo de demostración de la solución de escalabilidad para la infraestructura de inferencia de IA

Descubre los productos de nuestra solución de escalabilidad para la infraestructura de inferencia de IA

Casos prácticos relacionados

Cómo correlacionar eventos de paquetes entre puertos de prueba

Correlacionar las marcas de tiempo de los paquetes y los eventos de tráfico entre puertos de prueba Ethernet distribuidos utilizando una referencia de sincronización de precisión compartida.

Más información

Cómo realizar pruebas de estrés en las interconexiones Ethernet

Valida los enlaces de la capa 1 de Ethernet mediante mediciones de BER, FEC y pruebas de estrés para detectar errores intermitentes a lo largo del tiempo.

Más información

Cómo depurar errores FEC en Ethernet

Depura los errores FEC de Ethernet mediante el análisis de la densidad de errores de símbolos a nivel de canal, la tolerancia a ráfagas y el margen en enlaces multivelocidad.

Más información

contacto logotipo

Póngase en contacto con uno de nuestros expertos

¿Necesita ayuda para encontrar la solución adecuada para usted?

Contáctenos