如何驗證 AI 推論基礎架構的可擴展性

Keysight AI 推論建構器
+ Keysight AI Inference Builder

在併發負載下測試推論容量

AI 推論基礎架構通常在輕負載下可提供可預測的回應時間,然而不斷增加的同時使用者數量會暴露出不同的效能特性。大型語言模型(LLM)請求在提示長度、輸出長度和互動模式上各不相同,因此單一基準測試無法完整捕捉類生產環境流量所帶來的需求。隨著併發工作階段增加,推論產出率可能停止等比上升,同時推論延遲增加,且請求完成的一致性降低。這種差異模糊了系統的可用容量,使得區分工作負載效應與基礎架構限制變得困難。AI 推論可擴充性測試透過將提供的請求速率和併發工作階段與完成的工作量、權杖產生速率以及回應時間分佈相互關聯,使這些行為清晰呈現。相近的工作負載樣貌有助於揭示不斷攀升的需求在何處開始超越所提供的推論效能。

當推論軟體堆疊和底層基礎設施在不同的負載水準下產生不同的限制時,這項挑戰會變得更加複雜。GPU 遙測可以揭示資源壓力,但單靠 GPU 利用率並無法解釋為什麼請求速度變慢或吞吐量停滯不前。網路路徑、服務元件以及輸入處理和權杖(token)生成之間的差異,都會塑造觀察到的響應。實際的 LLM 工作負載模擬將推論吞吐量和推論延遲與不斷增加的並行性下的基礎設施遙測相連接,使工程師能夠識別哪些條件與飽和度相吻合。跨越可比較負載設定檔的重複量測顯示,組態變更究竟是改變了容量極限,還是僅僅重新分配了延遲。由此產生的持續吞吐量、響應時間行為和支援的並行性視圖,定義了可量測的操作範圍,而無需依賴孤立的峰值效能數字。

AI 推論基礎架構可擴展性解決方案

AI 推論可擴充性測試需要具代表性的工作負載、受控的並行需求增長,以及響應行為與系統利用率的相關量測。Keysight 的 AI 建設器(AI Inference Builder)支援大型語言模型流量的工作負載模擬,並協助工程師評估隨著請求量增加時的推論吞吐量、推論延遲與效能。該解決方案將工作負載層級的量測和基礎設施觀察結果納入對系統行為的共同評估中。工程師可以檢視已完成的工作在何處停止與需求成比例增長、響應時間在何處變得較不一致,以及哪些基礎設施條件與這些變更相吻合。可比較的工作負載設定檔支援跨組態的分析,協助團隊區分容量限制與流量變異性。這種高層級的評估專注於觀察到的縮放行為,而不是斷言特定的硬體組態、架構整合或量測到的效能數據。結果可以表示為連續並行等級之間的吞吐量和延遲趨勢,並附帶相關的資源遙測以提供解讀的上下文。

查看 AI 推論基礎設施可擴充性解決方案的示範影片

探索我們 AI 推論基礎設施可擴充性解決方案中的產品

相關應用案例

聯絡我們標誌

聯絡我們的一位專家

需要協助尋找適合您的解決方案嗎?