- Panoramica
- Tutti i modelli
- Supporto
Convalidare e ottimizzare le infrastrutture di inferenza AI
KAI Inference Builder (KAI IB) è una soluzione di emulazione e analisi progettata per convalidare, confrontare e ottimizzare le infrastrutture di inferenza AI e gli stack software, emulando carichi di lavoro AI realistici con elevata fedeltà e su larga scala, fornendo approfondimenti dettagliati sulle caratteristiche prestazionali, le funzionalità e l'efficacia in termini di sicurezza dei sistemi di inferenza.
Emulazione realistica dei carichi di lavoro di inferenza dell'IA
Simulare un traffico di inferenza LLM realistico — che rispecchi il comportamento degli utenti reali e i carichi di lavoro effettivi — per verificare le infrastrutture e gli stack di inferenza in condizioni che rispecchino l'ambiente di produzione, anziché ricorrere a test di laboratorio sintetici.
Emulazione di traffico su larga scala
Scala fino a milioni di utenti o richieste al secondo per quantificare la reale concorrenza degli utenti, mettendo in relazione le prestazioni con il costo per token e aiutando i team a pianificare con precisione la capacità e il ROI.
Opzioni di implementazione su cloud privato o pubblico
Verifica le infrastrutture di inferenza AI implementate su cloud privato o pubblico tramite l'emulazione di client di inferenza completamente virtuale o basata su hardware.
Panoramica statistica in un'unica schermata
Ottieni una visione d'insieme completa grazie alle metriche native di Inference, sia dal punto di vista del client che alle statistiche acquisite dal server, per individuare più rapidamente i colli di bottiglia e semplificare le ottimizzazioni.
Presentazione di Keysight AI (KAI) Inference Builder
KAI Inference Builder è una soluzione di emulazione e analisi orientata all'inferenza, progettata per convalidare, sottoporre a benchmark e ottimizzare le infrastrutture di inferenza AI in condizioni di carico di lavoro reali. KAI Inference Builder aiuta i team ad andare oltre i benchmark sintetici e i test di carico generici, introducendo una convalida full-stack orientata al carico di lavoro nelle implementazioni dei data center AI.
Configurazioni più popolari
Pacchetto KAI Inference Builder con 2 agenti e fino a 100 richieste al secondo
Il pacchetto KAI Inference Builder include due agenti e fino a 100 richieste al secondo (abbonamento di 1 anno, con licenza flottante a livello mondiale). Il pacchetto è conforme alla normativa TAA.
Il pacchetto KAI Inference Builder include due agenti e fino a 100 richieste al secondo (abbonamento di 1 anno, con licenza flottante a livello mondiale). Il pacchetto è conforme alla normativa TAA.
Pacchetto KAI Inference Builder con 10 agenti e fino a 1000 richieste al secondo
Il pacchetto KAI Inference Builder include 10 agenti e fino a 1000 richieste al secondo (abbonamento di 1 anno, con licenze fluttuanti valide in tutto il mondo). Il pacchetto è conforme alla normativa TAA.
Il pacchetto KAI Inference Builder include 10 agenti e fino a 1000 richieste al secondo (abbonamento di 1 anno, con licenze fluttuanti valide in tutto il mondo). Il pacchetto è conforme alla normativa TAA.
Pacchetto KAI Inference Builder con 10 agenti e fino a 10.000 richieste al secondo
Il pacchetto KAI Inference Builder include 10 agenti e fino a 10.000 richieste al secondo (abbonamento di 1 anno, con licenze fluttuanti a livello mondiale). Il pacchetto è conforme alla normativa TAA (952-1100).
Il pacchetto KAI Inference Builder include 10 agenti e fino a 10.000 richieste al secondo (abbonamento di 1 anno, con licenze fluttuanti a livello mondiale). Il pacchetto è conforme alla normativa TAA (952-1100).
Servizi e assistenza
Innova rapidamente grazie a piani di assistenza personalizzati e tempi di risposta e risoluzione prioritari.
Ottieni abbonamenti prevedibili basati su leasing e soluzioni complete per la gestione dell'intero ciclo di vita, in modo da raggiungere più rapidamente i tuoi obiettivi aziendali.
Beneficia di un servizio di alto livello come abbonato KeysightCare per ottenere assistenza tecnica dedicata e molto altro ancora.
Assicurati che il tuo sistema di test funzioni secondo le specifiche e soddisfi gli standard locali e globali.
Effettua misurazioni rapidamente grazie alla formazione interna con istruttore e all'e-learning.
Scarica il software Keysight o aggiorna il tuo software alla versione più recente.
Domande frequenti
L'inferenza AI rappresenta la maggior parte dei costi se si considera l'intero ciclo di vita della creazione, dell'addestramento e della distribuzione di un modello di IA in produzione. Per garantire un'implementazione sicura, è fondamentale testare accuratamente le infrastrutture e gli stack di inferenza AI prima della messa in produzione, al fine di individuare tempestivamente i colli di bottiglia nelle prestazioni e i limiti di scalabilità, nonché ottenere stime dei costi più accurate. Keysight AI Inference Builder è stato progettato appositamente per questo ambito ed è in grado di rivelare i colli di bottiglia lungo l'intero percorso: dai front-end ALB / WAF / gateway di sicurezza AI agli SmartNIC / DPU e infine alle GPU, alla cache KV, alla larghezza di banda della memoria e alle code di servizio, individuando il punto in cui hanno origine la latenza, i guasti o i limiti di scalabilità, consentendo una messa a punto precisa e scelte architetturali più intelligenti.
La simulazione di carichi di lavoro realistici per l'IA finalizzata ai test di inferenza richiede molto più che l'invio di semplici prompt HTTP. Implica infatti un'analisi approfondita dei profili utente realistici specifici per i vari settori (ad esempio, finanziario, legale), poiché ogni tipo di prompt può influire in modo unico sullo stack di inferenza, interessando la GPU, la capacità di memoria o la larghezza di banda. Keysight AI Inference Builder può aiutare a ottimizzare la rete, la selezione dell'hardware, i livelli di distribuzione dei modelli, i motori, gli orchestratori e l'utilizzo di GPU e memoria grazie a una libreria curata di modelli di prompt e carichi di lavoro che riflettono i modelli di utilizzo reali in diversi settori e tipi di applicazioni (ad esempio, finanziario, legale) o benchmark tecnologici (ad esempio, calcolo GPU, memoria).
La convalida delle implementazioni di inferenza AI comporta l'interpretazione delle statistiche a tutti i livelli: dal punto di vista del client, del trasporto di rete e, cosa molto importante, dello stack di servizio. In questo contesto, disporre di una vista unificata dei KPI nativi dell'inferenza sia dal punto di vista del client che del server è fondamentale per individuare colli di bottiglia e inefficienze nascosti nello stack di inferenza AI. Keysight AI Inference Builder consente una correlazione senza precedenti delle metriche lato client con l'acquisizione della telemetria a livello di motore di inferenza (ad esempio, statistiche VLLM) e della telemetria GPU a livello di sistema (ad esempio, dati DCGM) in un'unica vista sincronizzata nel tempo. Queste statistiche includono utenti simultanei, tempo al primo token, tempo all'ultimo token, prompt/s, velocità dei token, tempo di precompilazione e decodifica, utilizzo della cache, stato dello scheduler, consumo energetico della GPU e utilizzo del Tensor Core.
Le implementazioni di inferenza AI scalabili, robuste e resilienti richiedono una convalida rigorosa con strumenti in grado di adattarsi facilmente al numero di utenti simultanei a livello di produzione, che offrano un controllo granulare sul carico di traffico generato e che forniscano funzionalità di automazione complete per una combinazione dinamica di scenari di test rappresentativi. Keysight AI Inference Builder accelera la pianificazione della capacità e il controllo dei costi scalando fino a milioni di utenti simulati per valutare l'infrastruttura di inferenza AI e lo stack software sotto carico su scala di produzione con un controllo granulare sul carico di test generato (ovvero, prompt al secondo). Consente test di resilienza e robustezza senza pari delle infrastrutture e degli stack di inferenza AI con scenari di test completamente automatizzati per test ripetitivi di breve durata o test di stress di lunga durata.