Come verificare la scalabilità dell'infrastruttura di inferenza dell'IA

Preventivo
Keysight AI Inference Builder
+ Keysight AI Inference Builder
Keysight AI Inference Builder
+ Keysight AI Inference Builder

Verifica della capacità di inferenza in presenza di carico simultaneo

L’infrastruttura di inferenza AI spesso garantisce tempi di risposta prevedibili a carico leggero, ma il numero crescente di utenti simultanei mette in luce un profilo prestazionale diverso. Le richieste dei modelli linguistici di grandi dimensioni (LLM) variano in termini di lunghezza del prompt, lunghezza dell’output e modello di interazione, pertanto un unico benchmark non è in grado di cogliere la domanda generata da un traffico simile a quello di produzione. Con l’aumentare delle sessioni simultanee, la produttività dell’inferenza potrebbe smettere di crescere in modo proporzionale, mentre la latenza dell’inferenza aumenta e il completamento delle richieste diventa meno costante. Tale divergenza oscura la capacità utilizzabile del sistema e rende difficile distinguere gli effetti del carico di lavoro dai limiti dell’infrastruttura. I test di scalabilità dell’inferenza AI mettono in luce questi comportamenti mettendo in relazione le frequenze di richiesta offerte e le sessioni simultanee con il lavoro completato, le frequenze di generazione dei token e le distribuzioni dei tempi di risposta. Profili di carico di lavoro comparabili aiutano a rivelare dove la domanda in aumento inizia a superare le prestazioni di inferenza fornite.

La sfida diventa più complessa quando lo stack software di inferenza e l’infrastruttura sottostante introducono vincoli diversi a diversi livelli di carico. La telemetria della GPU può evidenziare la pressione sulle risorse, ma il solo utilizzo della GPU non spiega perché le richieste rallentino o il throughput si stabilizzi. I percorsi di rete, i componenti del servizio e le differenze tra l’elaborazione degli input e la generazione dei token possono influenzare la risposta osservata. Un'emulazione realistica del carico di lavoro dei modelli linguistici di grandi dimensioni (LLM) collega il throughput e la latenza di inferenza con la telemetria dell’infrastruttura in condizioni di concorrenza crescente, consentendo agli ingegneri di identificare quali condizioni coincidono con la saturazione. Misurazioni ripetute su profili di carico comparabili mostrano se le modifiche alla configurazione spostano il limite di capacità o si limitano a ridistribuire i ritardi. La visione risultante del throughput sostenuto, del comportamento dei tempi di risposta e della concorrenza supportata definisce un ambito operativo misurabile senza fare affidamento su un valore isolato di prestazione di picco.

Soluzione per la scalabilità dell'infrastruttura di inferenza AI

I test di scalabilità dell’inferenza AI richiedono carichi di lavoro rappresentativi, aumenti controllati della domanda simultanea e misurazioni correlate del comportamento di risposta e dell’utilizzo del sistema. AI Inference Builder di Keysight supporta l’emulazione dei carichi di lavoro per il traffico dei modelli linguistici di grandi dimensioni e aiuta gli ingegneri a valutare la velocità di elaborazione dell’inferenza, la latenza dell’inferenza e le prestazioni all’aumentare del volume delle richieste. La soluzione integra le misurazioni a livello di carico di lavoro e le osservazioni sull’infrastruttura in una valutazione comune del comportamento del sistema. Gli ingegneri possono esaminare in quali punti il lavoro completato smette di aumentare in modo proporzionale alla domanda, dove i tempi di risposta diventano meno costanti e quali condizioni dell’infrastruttura coincidono con tali cambiamenti. Profili di carico di lavoro comparabili supportano l’analisi tra diverse configurazioni, aiutando i team a distinguere i limiti di capacità dalla variabilità del traffico. Questa valutazione di alto livello si concentra sul comportamento di scalabilità osservato piuttosto che sull’affermazione di specifiche configurazioni hardware, integrazioni architetturali o dati misurati sulle prestazioni. I risultati possono essere espressi come andamenti di throughput e latenza attraverso livelli successivi di concorrenza, con la telemetria delle risorse associata che fornisce il contesto per l’interpretazione.
Preventivo

Guarda il video dimostrativo della soluzione per la scalabilità dell'infrastruttura di inferenza AI

Scopri i prodotti della nostra soluzione per la scalabilità dell'infrastruttura di inferenza AI

Casi d'uso correlati

Come correlare gli eventi relativi ai pacchetti tra le porte di test

Correlare i timestamp dei pacchetti e gli eventi di traffico tra le porte di test Ethernet distribuite utilizzando un riferimento temporale di precisione condiviso.

Per saperne di più

Come eseguire uno stress test sulle interconnessioni Ethernet

Verificare i collegamenti Ethernet di livello 1 utilizzando misurazioni BER, FEC e di stress test per individuare errori a raffica nel corso del tempo.

Per saperne di più

Come risolvere gli errori FEC su Ethernet

Eseguire il debug degli errori FEC su Ethernet utilizzando la densità degli errori simbolici a livello di lane, la tolleranza ai burst e l'analisi dei margini su collegamenti multirate.

Per saperne di più

contattaci logo

Mettetevi in contatto con uno dei nostri esperti

Avete bisogno di aiuto per trovare la soluzione giusta per voi?

Contattaci