- Visión general
- Todos los modelos
- Ayuda
Validar y optimizar las infraestructuras de inferencia de IA
KAI Inference Builder (KAI IB) es una solución de emulación y análisis diseñada para validar, comparar y optimizar infraestructuras de inferencia de IA y pilas de software, emulando cargas de trabajo de IA realistas con gran fidelidad y a gran escala, lo que proporciona información detallada sobre las características de rendimiento, las capacidades y la eficacia en materia de seguridad de los sistemas de inferencia.
Emulación realista de cargas de trabajo de inferencia de IA
Simule un tráfico realista de inferencia de modelos de lenguaje grande (LLM) con IA —que se ajuste al comportamiento real de los usuarios y a las cargas de trabajo— para validar las infraestructuras y las pilas de inferencia en condiciones que reflejen el entorno de producción, y no en pruebas sintéticas de laboratorio.
Emulación de tráfico a gran escala
Amplíe la escala a millones de usuarios o solicitudes por segundo para cuantificar la concurrencia real de usuarios, vinculando el rendimiento al coste por token y ayudando a los equipos a planificar con precisión la capacidad y el retorno de la inversión.
Opciones de implementación en la nube privada o pública
Valida las infraestructuras de inferencia de IA implementadas en la nube privada o pública mediante la emulación de clientes de inferencia totalmente virtuales o basados en hardware.
Vista de estadísticas en un único panel
Disfrute de una vista unificada con métricas nativas de Inference, tanto desde la perspectiva del cliente como a partir de las estadísticas recopiladas del servidor, lo que le permitirá identificar más rápidamente los cuellos de botella y optimizar los procesos de forma más eficaz.
Presentamos Keysight AI (KAI) Inference Builder
KAI Inference Builder es una solución de emulación y análisis orientada a la inferencia, diseñada para validar, comparar y optimizar las infraestructuras de inferencia de IA en condiciones de carga de trabajo reales. KAI Inference Builder ayuda a los equipos a ir más allá de las pruebas de rendimiento sintéticas y las pruebas de carga genéricas, al incorporar una validación de pila completa adaptada a la carga de trabajo en las implementaciones de centros de datos de IA.
Configuraciones más populares
Paquete KAI Inference Builder con 2 agentes y hasta 100 solicitudes por segundo
El paquete KAI Inference Builder incluye dos agentes y hasta 100 solicitudes por segundo (suscripción de un año, con acceso flotante en todo el mundo). El paquete cumple con la normativa TAA.
El paquete KAI Inference Builder incluye dos agentes y hasta 100 solicitudes por segundo (suscripción de un año, con acceso flotante en todo el mundo). El paquete cumple con la normativa TAA.
Paquete KAI Inference Builder con 10 agentes y hasta 1000 solicitudes por segundo
El paquete KAI Inference Builder incluye 10 agentes y hasta 1000 solicitudes por segundo (suscripción de 1 año, con uso flotante en todo el mundo). El paquete cumple con la normativa TAA.
El paquete KAI Inference Builder incluye 10 agentes y hasta 1000 solicitudes por segundo (suscripción de 1 año, con uso flotante en todo el mundo). El paquete cumple con la normativa TAA.
Paquete KAI Inference Builder con 10 agentes y hasta 10 000 solicitudes por segundo
El paquete KAI Inference Builder incluye 10 agentes y hasta 10 000 solicitudes por segundo (suscripción de 1 año, con acceso flotante en todo el mundo). El paquete cumple con la normativa TAA (952-1100).
El paquete KAI Inference Builder incluye 10 agentes y hasta 10 000 solicitudes por segundo (suscripción de 1 año, con acceso flotante en todo el mundo). El paquete cumple con la normativa TAA (952-1100).
Servicios y asistencia
Innovar rápidamente con planes de asistencia personalizados y tiempos de respuesta y resolución priorizados.
Obtenga suscripciones predecibles basadas en arrendamiento y soluciones completas de gestión del ciclo de vida, para que pueda alcanzar sus objetivos empresariales más rápidamente.
Disfrute de un servicio superior como suscriptor de KeysightCare y obtenga una respuesta técnica comprometida y mucho más.
Asegúrese de que su sistema de pruebas funcione según las especificaciones y cumpla con las normas locales y globales.
Realice mediciones rápidamente con formación interna impartida por instructores y aprendizaje electrónico.
Descargue el software de Keysight o actualice su software a la versión más reciente.
Preguntas frecuentes
La inferencia de IA representa la mayor parte del coste si se tiene en cuenta todo el ciclo de vida de la creación, el entrenamiento y la implementación de un modelo de IA en producción. Para garantizar una implementación segura, es fundamental probar exhaustivamente las infraestructuras y las pilas de inferencia de IA antes de la puesta en producción, con el fin de detectar a tiempo los cuellos de botella en el rendimiento y los límites de escalabilidad, así como obtener estimaciones de costes más precisas. Keysight AI Inference Builder está diseñado específicamente para este ámbito y puede revelar cuellos de botella a lo largo de toda la ruta: desde ALB, WAF y puertas de enlace de seguridad de IA front-end hasta SmartNIC y DPU, y finalmente hasta GPU, caché KV, ancho de banda de memoria y colas de servicio, identificando el punto donde se originan la latencia, los fallos o los límites de escalabilidad, lo que permite un ajuste preciso y elecciones de arquitectura más inteligentes.
Simular cargas de trabajo de IA realistas para las pruebas de inferencia requiere algo más que enviar simples solicitudes HTTP. Implica una investigación exhaustiva sobre perfiles de usuario realistas específicos de diversos sectores (por ejemplo, el financiero o el jurídico), ya que cada tipo de solicitud puede afectar a la pila de inferencia —ya sea en la GPU, la capacidad de memoria o el ancho de banda— de una manera única. Keysight AI Inference Builder puede ayudar a optimizar la red, la selección de hardware, las capas de servicio de modelos, los motores, los orquestadores y el uso de la GPU y la memoria gracias a una biblioteca seleccionada de modelos de solicitudes y cargas de trabajo que reflejan patrones de uso del mundo real en distintos sectores y tipos de aplicaciones (por ejemplo, financiero, jurídico) o puntos de referencia tecnológicos (por ejemplo, computación en GPU, memoria).
La validación de las implementaciones de inferencia de IA implica interpretar las estadísticas de forma global desde la perspectiva del cliente, el transporte de red y, lo que es muy importante, desde la pila de servicios. En este contexto, disponer de una vista unificada de los KPI nativos de la inferencia, tanto desde la perspectiva del cliente como del servidor, resulta fundamental para detectar cuellos de botella e ineficiencias ocultos en la pila de inferencia de IA. Keysight AI Inference Builder permite una correlación sin precedentes de las métricas del lado del cliente con la ingesta de telemetría a nivel del motor de inferencia (por ejemplo, estadísticas VLLM) y telemetría de la GPU a nivel del sistema (por ejemplo, datos DCGM) juntas en una vista sincronizada en el tiempo. Estas estadísticas incluyen usuarios simultáneos, tiempo hasta el primer token, tiempo hasta el último token, prompts, tasa de tokens, tiempo de prellenado y decodificación, utilización de la caché, estado del programador, consumo de energía de la GPU y uso del núcleo tensorial.
Las implementaciones de inferencia de IA escalables, robustas y resilientes requieren una validación rigurosa con herramientas que puedan adaptarse fácilmente a la concurrencia de usuarios a nivel de producción, ofrezcan un control granular sobre la carga de tráfico generada y proporcionen capacidades de automatización completas para una combinación dinámica de escenarios de prueba representativos. Keysight AI Inference Builder acelera la planificación de la capacidad y el control de los costes al escalar hasta millones de usuarios simulados para evaluar la infraestructura de inferencia de IA y la pila de software bajo una carga a escala de producción, con un control granular sobre la carga de prueba generada (es decir, solicitudes por segundo). Permite realizar pruebas de resiliencia y robustez sin precedentes de las infraestructuras y pilas de inferencia de IA con escenarios de prueba totalmente automatizados para pruebas repetitivas de corta duración o pruebas de resistencia de larga duración.