Wie man die kollektive Kommunikation von KI bewertet

+ Keysight AI Data Center Builder

Charakterisierung der kollektiven Kommunikation in KI-Clustern

Das Benchmarking kollektiver Kommunikation beginnt mit einer definierten Operation, teilnehmenden Endpunkten und einem reproduzierbaren Arbeitslastprofil. Konfigurieren Sie die Netzwerktopologie und die Host-Emulations-Endpunkte und wählen Sie anschließend kollektive Muster wie AllReduce, AllGather oder ReduceScatter gemäß der Benchmark-Methodik aus. Geben Sie die Nachrichtengrößen, die Anzahl der teilnehmenden Ränge, die Parallelität und die Wiederholungsanzahl an. Protokollieren Sie die anfängliche Fabric-Konfiguration, einschließlich der Verbindungsraten und Transportparameter, bevor Sie einen Referenzlauf durchführen. Das Benchmarking kollektiver Kommunikation kann dann verschiedene Nachrichtengrößen oder Clustergrößen testen, um das Skalierungsverhalten zu charakterisieren. Erfassen Sie die kollektive Abschlusszeit für jeden Lauf und berechnen Sie die effektive Bandbreite anhand einer einheitlichen Definition für die ausgewählte Operation.

Vergleichen Sie für das AllReduce-Benchmarking die beobachtete Operationsdauer über verschiedene Nachrichtengrößen und Endpunktanzahlen hinweg bei unveränderter Topologie. Führen Sie die Sequenz erneut aus, nachdem Sie einen definierten Netzwerkparameter oder einen kollektiven Algorithmus geändert haben, während alle anderen Variablen konstant bleiben. Untersuchen Sie die Verteilung der Abschlusszeiten anstatt sich auf eine einzelne Stichprobe zu verlassen. Korrelieren Sie Änderungen der effektiven Bandbreite mit der angebotenen Arbeitslast, der Endpunktbeteiligung und allen verfügbaren Netzwerkzählern. Wiederholen Sie denselben Testablauf, um die Variabilität zwischen den Durchläufen zu bewerten. Speichern Sie die Arbeitslastdefinition, die Benchmark-Einstellungen, die Topologie, die Zeitstempel und die Messergebnisse zusammen mit jedem Ergebnissatz. Dadurch entsteht eine vergleichbare Aufzeichnung der KI-Fabric-Performance über verschiedene kollektive Implementierungen und Hardware- oder Softwarekonfigurationen hinweg.

Benchmarking-Lösung für kollektive KI-Kommunikation

Für kollektives Benchmarking sind reproduzierbare, verteilte Verkehrsmuster, konfigurierbare Teilnehmerzahlen und Messungen der Ausführungszeit erforderlich. Keysight AI Data Center Builder bietet ein Framework zur Emulation des Verhaltens von KI-Workloads, einschließlich kollektiver Kommunikationsaktivitäten, in einem Rechenzentrumsnetzwerk. Der Workflow für kollektives Benchmarking ermöglicht die Variation von Workload-Parametern und den Vergleich der gemessenen Ausführungszeit und Durchsatzmetriken über verschiedene Netzwerkkonfigurationen hinweg. Der Testaufbau nutzt unterstützte Hardware zur Erzeugung von Ethernet-Verkehr mit hoher Dichte in Verbindung mit der Softwareplattform. Die genaue Auswahl von Appliance und Lizenz erfolgt gemäß den in der aktuellen Produktdokumentation beschriebenen Konfigurationen. Ingenieure können einen repräsentativen kollektiven Vorgang auswählen, eine Baseline festlegen, einen Workload-Parameter variieren und die resultierenden Messwerte vergleichen. Die resultierenden Kurven bieten eine konsistente Grundlage für die Bewertung der kollektiven Skalierung, der Algorithmenauswahl und der Netzwerkkonfigurationen.

Angebot anfordern