如何對人工智慧集體溝通進行基準測試

+ Keysight AI 資料中心建置器

分析人工智慧叢集間的集體溝通特徵

集體通訊基準測試需從定義明確的操作、參與的端點以及可重複的工作負載配置開始。先設定網路拓撲與主機模擬端點，接著依據基準測試方法論，選取集體通訊模式，例如 AllReduce、AllGather 或 ReduceScatter。接著指定訊息大小、參與的排名數、並發數以及重複次數。在執行參考運行之前，請記錄初始網格配置，包括鏈路速率和傳輸參數。隨後，集體通訊基準測試可掃描訊息大小或叢集規模，以描述其擴展行為。記錄每次運行的集體完成時間，並根據所選運算的一致定義計算有效頻寬。

進行 AllReduce 效能測試時，應在拓撲結構不變的情況下，比較不同訊息大小與端點數量下的實際運作時間。修改一個已定義的網路參數或集體演算法後，在保持其他變數不變的前提下重新執行該序列。應檢視完成時間的分布狀況，而非僅依賴單一樣本。將有效頻寬的變化與所施加的工作負載、端點參與度以及任何可用的網路計數器進行關聯分析。重複執行相同的測試計畫，以評估不同執行次數間的變異性。請將工作負載定義、基準測試設定、拓撲結構、時間戳記及測量結果與每組測試結果一併儲存。此舉可建立一份可供比對的記錄，用以評估不同集體演算法實作以及硬體或軟體配置下，AI 架構的效能表現。

AI 集體溝通基準測試解決方案

集體基準測試需要可重複的分散式流量模式、可配置的參與者數量，以及對操作完成時間的測量。是德科技 (Keysight) 的 AI 資料中心建構器 (AI Data Center Builder) 提供了一個框架，用於在資料中心網路架構上模擬人工智慧工作負載的行為，包括集體通訊活動。其集體基準測試工作流程可用於變更工作負載參數，並比較不同網路配置下測得的完成時間及與吞吐量相關的指標。此測試架構採用受支援的高密度乙太網路流量產生硬體搭配軟體平台，具體的設備與授權選擇則依據現行產品文件中記載的配置而定。工程師可選擇一項具代表性的集體操作，建立基準線，調整其中一項工作負載參數，並比較所得的測量結果。所得的曲線可作為評估集體擴展能力、演算法選擇及網路架構設定的一致依據。

索取報價