如何對人工智慧集體溝通進行基準測試

Keysight AI 資料中心建構器
+ Keysight AI 資料中心建置器

特性化 AI 叢集之間的集合通訊

集合通訊效能評測(Benchmarking)始於明確定義的操作、參與的端點以及可重複的工作負載設定檔。配置網路拓撲與主機模擬端點,然後根據基準測試方法選擇集合模式,例如 AllReduce、AllGather 或 ReduceScatter。指定訊息大小、參與的等級 (ranks) 數量、並行數以及重複次數。在執行參考測試之前,記錄初始網狀架構 (fabric) 配置,包含鏈路速率和傳輸參數。接著,集合通訊效能評測便可掃描訊息大小或叢集大小,以特性化其擴充行為。擷取每次執行的集合完成時間,並使用所選操作的一致定義來計算有效頻寬。

針對 AllReduce 效能評測,在未變更拓撲的情況下,比較不同訊息大小和端點數量下觀察到的操作持續時間。在修改一個定義的網路參數或集合演算法後重新執行序列,同時保持其他變數不變。檢查完成時間的分佈狀況,而非依賴單一樣本。將有效頻寬的變化與提供的工作負載、端點參與度以及任何可用的網路計數器進行相關性分析。重複相同的測試排程以評估執行間的變異。將工作負載定義、基準測試設定、拓撲、時間戳記與量測輸出與每個結果集一起儲存。這可為跨不同集合實作以及硬體或軟體配置的 AI 網狀架構效能建立具可比性的記錄。

AI 集體溝通基準測試解決方案

集合效能評測需要可重複的分散式流量模式、可配置的參與者數量以及操作完成時間的量測。Keysight AI Data Center Builder 提供了一個框架,用於針對資料中心網路網狀架構模擬人工智慧工作負載行為,包含集合通訊活動。其集合效能評測工作流程可用於變更工作負載參數,並比較跨網路配置所量測到的完成時間與輸送量相關指標。測試設定搭配使用支援的高密度乙太網路流量產生硬體與軟體平台,確定的設備與授權選擇取決於當前產品資料中所記載的配置。工程師可以選擇具體的集合操作、建立基準、變更一個工作負載參數並比較產生的量測結果。產生的曲線為評估集合擴充、演算法選擇和網狀架構設定提供了一致的基礎。

觀看 AI 集合通訊效能評測方案的展示影片

探索我們 AI 集合通訊效能評測方案中的產品

探索資源與洞察

AI 集合通訊效能評測的其他資源

相關應用案例

聯絡我們標誌

聯絡我們的一位專家

需要協助尋找適合您的解決方案嗎?