如何在部署前驗證 AI 推論

+ KAI 推論建構器

在部署硬體之前驗證推論基礎架構

透過在數位分身（Digital Twin）中建立規劃的資料中心拓樸模型，建立部署前的 AI 推論驗證環境。表示交換與路由路徑、推論服務、安全性控制，以及用戶端進入點與推論後端之間的預期連接。設定人工智慧推論工作負載模擬，以產生真實的大型語言模型提示詞與回應，包括不同的提示詞長度、輪詢模式和同時使用者。在對模擬架構進行測試之前，定義可重複的工作負載性能協定、指定請求到達率，並選擇具代表性的測試持續時間。記錄每個工作負載級別的端對端回應延遲、第一個 Token 時間、輸出 Token 速率和請求完成結果。在可行的情況下，將這些推論原生觀察結果與來自運算、網路和安全層的基礎架構遙測資料進行相關性分析。在各架構變體中使用相同的工作負載輸入，以便將觀察到的差異歸因於模擬的系統組態，而不是改變提示詞行為。

在低同時使用者層級執行基準測試，然後以受控步驟增加模擬需求，同時維持工作負載分佈。追蹤 Token 產出量、尾端回應延遲、完成率的變化，以及提供負載與交付的推論容量之間的關係。在相同的建模環境中比較候選路由、安全性和推論服務配置；擷取每次執行的組態詳細資料。檢查長上下文與多輪對話工作階段如何改變對建模推論路徑的需求，以及回應時間分佈開始變寬的位置。當整合使系統級遙測可用時，將推論測量結果與回報的圖形處理器、記憶體和網路行為進行比較。將數位分身中的觀察結果與需要實體硬體驗證的結果分開。記錄每個候選者的測試工作負載假設、軟體和網路組態、測量定義以及觀察到的限制。這些結果形成可重複的部署前驗證記錄，而不是對保證生產效能的宣稱。

部署前人工智慧推論驗證解決方案

部署前推論驗證需要建模的基礎架構、具代表性的用戶端請求以及可重複的負載性能協定。該解決方案結合了 Keysight AI Inference Builder 工作負載模擬與分析以及數位分身環境，可在安裝實體設備之前演練規劃的 AI 資料中心架構。Inference Builder 模擬多種大型語言模型提示詞模式、控制使用者並發與提示詞速率，並回報延遲與產出量的推論原生指標。數位分身提供了一個場所，可以在模擬的推論流量穿越規劃路徑時，對網路與基礎架構互動進行建模。工程師可以比較具有一致需求的候選組態、檢查負載下不斷變化的回應行為，以及分析堆疊中瓶頸出現的位置。第一個 Token 時間、輸出 Token 速率、並發性與請求完成行為為比較提供了測量詞彙。結果仍取決於模擬模型，在生產驗證之前需要進行實體確認。

索取報價