如何驗證 AI 推論基礎架構的可擴展性

+ 是德科技 AI 推論建構器

在並發負載下測試推理能力

AI 推論基礎架構在輕負載下通常能提供可預測的回應時間，但隨著同時在線使用者數量增加，其效能表現會呈現不同的樣貌。大型語言模型（LLM）的請求在提示長度、輸出長度及互動模式上各不相同，因此單一基準測試無法完整反映類似生產環境流量所產生的需求。隨著同時連線數增加，推論吞吐量可能不再成比例增長，同時推論延遲會增加，且請求完成的一致性也會下降。這種差異掩蓋了系統的可用容量，並使我們難以區分工作負載的影響與基礎架構的限制。AI 推論可擴展性測試透過將提供的請求速率和並發會話數，與已完成的工作量、標記生成速率以及響應時間分佈相關聯，從而揭示這些行為。可比的工作負載輪廓有助於揭示需求增長何時開始超越實際提供的推論效能。

當推論軟體堆疊與底層基礎架構在不同負載水準下分別產生不同限制時，挑戰便會變得更加複雜。GPU 遙測數據雖能揭露資源壓力，但僅憑 GPU 利用率並無法解釋為何請求會變慢或吞吐量趨於平穩。網路路徑、服務元件，以及輸入處理與標記生成之間的差異，都可能影響觀察到的回應表現。透過模擬真實的 LLM 工作負載，可在並發量逐漸增加的情況下，將推論吞吐量與推論延遲與基礎架構遙測數據相互關聯，讓工程師能辨識哪些條件會導致系統飽和。針對可比的負載配置進行重複測量，可顯示配置變更究竟是改變了容量極限，還是僅是重新分配了延遲。由此獲得的持續吞吐量、響應時間行為及支援並發量的整體視圖，便能定義出可量化的運作範圍，而無需依賴孤立的峰值性能數值。

AI 推論基礎架構可擴展性解決方案

AI 推論可擴展性測試需要具代表性的工作負載、可控的並發需求增長，以及對響應行為與系統利用率的相關測量。是德科技（Keysight）的 AI Inference Builder 支援大型語言模型流量的工作負載模擬，並協助工程師在請求量增加時評估推論吞吐量、推論延遲及效能。該解決方案將工作負載層級的測量結果與基礎架構觀察資料整合至系統行為的共同評估中。工程師可檢視：已完成的工作量在何處停止隨需求成比例增長、回應時間在何處變得不穩定，以及哪些基礎架構狀況與這些變化同時發生。可比的工作負載輪廓支援跨配置分析，協助團隊區分容量限制與流量變異性。此高層級評估著重於觀察到的擴展行為，而非斷言特定的硬體配置、架構整合或測得的效能數值。分析結果可呈現為不同並發層級下的吞吐量與延遲趨勢，並透過相關的資源遙測數據提供解讀背景。

索取報價