如何衡量 AI 工作負載的效能隔離程度

+ Keysight AI 資料中心建置器

量化並行工作負載的干擾

AI 效能隔離測試始於兩個已定義的工作負載配置檔，以及其流量路徑所共用的網路拓撲。設定一個基準工作負載，其中包含指定數量的模擬終端點、訊息大小、提供負載及通訊模式。單獨執行該工作負載，並記錄工作完成時間、吞吐量，以及現有測試配置所呈現的延遲統計數據。在初步比較中，請保持網格參數與流量生成設定不變。再次啟動基準工作負載的同時，引入第二個工作負載，並使用另一組模擬終端點。配置其開始時間與流量強度，以便在測量記錄中識別重疊期間。分別收集兩個工作負載的測試結果。

比較基準線與並行執行時的測量結果，以量化工作負載干擾。針對每個流量配置檔，計算隔離運作與共享架構運作之間，在工作完成時間、傳輸頻寬及延遲分佈方面的變化。在保持主要工作負載配置不變的前提下，重複此過程並變更重疊時長或干擾負載。當平台可提供相關測量數據時，請監控適用的網路指標，例如佇列行為、擁塞訊號，以及丟包或重傳統計資料。請將負載模型與測試過的架構配置與結果一併保存。如此一來，在對調度、拓撲或擁塞管理設定進行受控變更後，AI 架構測試即可重複執行相同的負載組合。最終產出的是針對各負載的比較分析，用以說明資源共享如何影響所測量的效能。

AI 工作負載效能隔離測試解決方案

效能隔離測試需要獨立控制的工作負載流、共享的網路架構，以及可歸因於各工作負載的測量數據。是德科技（Keysight）的 AI 資料中心建構器（AI Data Center Builder）能夠模擬人工智慧工作負載的通訊模式，並支援受控的網路架構測試配置。工程師可利用具代表性的並發流量輪廓，建立隔離的參考測量值，並將其與重疊的工作負載執行結果進行比較。AI 網路架構測試方法論將效能隔離與擁塞管理、負載平衡及工作完成時間列為評估項目。所提出的工作流程會記錄並行負載狀況、各工作負載的完成時間行為，以及相關的吞吐量或網路統計數據。在進行受控的配置變更後重複執行測量，即可獲得可供比較的效能數據。在將此描述作為特定產品的效能主張發布之前，應根據軟體版本及選定的 PDF 文件，驗證各工作負載統計數據與硬體配置的準確性。

索取報價