Choose a country or area to see content specific to your location
- 概述
- 所有型號
- 配件
- 軟體
- 支援
驗證與優化 AI 推論基礎架構
KAI Inference Builder（KAI IB）是一套模擬與分析解決方案，旨在透過高保真度且大規模地模擬真實的 AI 工作負載，對 AI 推論基礎架構及軟體堆疊進行驗證、基準測試與優化，並深入剖析推論系統的效能特性、功能及安全性成效。
逼真的 AI 推論工作負載模擬
模擬真實的 AI LLM 推論流量 — 符合真實使用者行為和工作負載 — 以在模擬實際生產環境而非合成實驗室測試的條件下，驗證推論基礎設施和堆疊。
大規模流量模擬
擴展至數百萬用戶或每秒數百萬次提示，以量化真實的用戶並發量，將效能與每代幣成本掛鉤，並協助團隊精準規劃容量與投資報酬率。
私有雲或公有雲部署選項
透過完全虛擬化或基於硬體的推論客戶端模擬，驗證部署於私有雲或公有雲的 AI 推論基礎架構。
單一視窗統計檢視
透過單一視窗檢視，可從用戶端角度和伺服器擷取的統計資料中獲得推論原生指標，從而更快地找出瓶頸並簡化最佳化。
隆重推出 Keysight AI (KAI) 推論建構器
KAI Inference Builder 是一款具備推論感知能力的模擬與分析解決方案，旨在於真實工作負載條件下，對 AI 推論基礎架構進行驗證、基準測試與優化。KAI Inference Builder 透過將具備工作負載感知能力的全堆疊驗證引入 AI 資料中心部署，協助團隊突破合成基準測試與通用負載測試的侷限。
最受歡迎的配置
KAI 推論建構器套裝，內含 2 個代理程式，每秒最多可處理 100 個提示
KAI 推論建構器套裝包含兩個代理程式，並提供每秒最多 100 次提示的處理能力（1 年訂閱，全球浮動授權）。此套裝符合 TAA 規範。
KAI 推論建構器套裝包含兩個代理程式，並提供每秒最多 100 次提示的處理能力（1 年訂閱，全球浮動授權）。此套裝符合 TAA 規範。
KAI 推論建構器套裝，內含 2 個代理程式，每秒最多可處理 100 個提示
- 大規模模擬真實的 AI 用戶端行為，以驗證整個 AI 推論基礎設施和堆疊。
- 選擇不同 AI 人格提示，以驅動 AI 推論管線不同階段的壓力點。
- 透過完全虛擬化或基於硬體的推論客戶端模擬，驗證部署於公有雲或私有雲的 AI 推論基礎架構。
- 可擴展至數百萬名模擬使用者，並能精細控制每秒生成的提示負載，以進行無與倫比的 AI 推論規模測試。
- 取得詳細的推論統計資料，以深入了解 AI 推論管線中各個元件的潛在瓶頸、限制和效率低落之處：
- GPU 運算。
- HBM / VRAM 記憶體系統
- KV 快取與儲存層
- PCIe 與 RDMA 互連技術
- 模型引擎與協調器
- 在單一時間同步視圖中，將用戶端指標與推論引擎層級遙測資料（例如 VLLM 統計資料）以及系統層級 GPU 遙測資料（例如 DCGM 資料）進行關聯：
- 提示語將於一秒後顯示
- 並行使用者
- 首次代幣發行時間 (TTFT) — 最大值與百分位數（例如 P50、P90、P99）
- Time to Last Token (TTLT) — 最大值與百分位數（例如 P50、P90、P99）
- 每秒代幣數（輸入／輸出）
- 快取使用量
- 預填入與解碼時間
- Tensor Core 的使用
- 排程器狀態
- GPU 功耗。
KAI 推論建構器套裝，內含 10 個代理程式，每秒最多可處理 1000 個提示詞
KAI 推論建構器套裝包含 10 個代理程式，每秒最多可處理 1000 個提示（1 年訂閱，全球浮動配額）。此套裝符合 TAA 規範。
KAI 推論建構器套裝包含 10 個代理程式，每秒最多可處理 1000 個提示（1 年訂閱，全球浮動配額）。此套裝符合 TAA 規範。
KAI 推論建構器套裝，內含 10 個代理程式，每秒最多可處理 1000 個提示詞
- 大規模模擬真實的 AI 用戶端行為，以驗證整個 AI 推論基礎設施和堆疊。
- 選擇不同 AI 人格提示，以驅動 AI 推論管線不同階段的壓力點。
- 透過完全虛擬化或基於硬體的推論客戶端模擬，驗證部署於公有雲或私有雲的 AI 推論基礎架構。
- 可擴展至數百萬名模擬使用者，並能精細控制每秒生成的提示負載，以進行無與倫比的 AI 推論規模測試。
- 取得詳細的推論統計資料，以深入了解 AI 推論管線中各個元件的潛在瓶頸、限制和效率低落之處：
- GPU 運算。
- HBM / VRAM 記憶體系統
- KV 快取與儲存層
- PCIe 與 RDMA 互連技術
- 模型引擎與協調器
- 在單一時間同步視圖中，將用戶端指標與推論引擎層級遙測資料（例如 VLLM 統計資料）以及系統層級 GPU 遙測資料（例如 DCGM 資料）進行關聯：
- 提示語將於一秒後顯示
- 並行使用者
- 首次代幣發行時間 (TTFT) — 最大值與百分位數（例如 P50、P90、P99）
- Time to Last Token (TTLT) — 最大值與百分位數（例如 P50、P90、P99）
- 每秒代幣數（輸入／輸出）
- 快取使用量
- 預填入與解碼時間
- Tensor Core 的使用
- 排程器狀態
- GPU 功耗。
KAI 推論建構器套裝，內含 10 個代理程式，每秒可處理多達 10,000 個提示
KAI 推論建構器套裝包含 10 個代理程式，每秒最多可處理 10,000 次提示（1 年訂閱，全球浮動配額）。此套裝符合 TAA 規範（952-1100）。
KAI 推論建構器套裝包含 10 個代理程式，每秒最多可處理 10,000 次提示（1 年訂閱，全球浮動配額）。此套裝符合 TAA 規範（952-1100）。
KAI 推論建構器套裝，內含 10 個代理程式，每秒可處理多達 10,000 個提示
- 大規模模擬真實的 AI 用戶端行為，以驗證整個 AI 推論基礎設施和堆疊。
- 選擇不同 AI 人格提示，以驅動 AI 推論管線不同階段的壓力點。
- 透過完全虛擬化或基於硬體的推論客戶端模擬，驗證部署於公有雲或私有雲的 AI 推論基礎架構。
- 可擴展至數百萬名模擬使用者，並能精細控制每秒生成的提示負載，以進行無與倫比的 AI 推論規模測試。
- 取得詳細的推論統計資料，以深入了解 AI 推論管線中各個元件的潛在瓶頸、限制和效率低落之處：
- GPU 運算。
- HBM / VRAM 記憶體系統
- KV 快取與儲存層
- PCIe 與 RDMA 互連技術
- 模型引擎與協調器
- 在單一時間同步視圖中，將用戶端指標與推論引擎層級遙測資料（例如 VLLM 統計資料）以及系統層級 GPU 遙測資料（例如 DCGM 資料）進行關聯：
- 提示語將於一秒後顯示
- 並行使用者
- 首次代幣發行時間 (TTFT) — 最大值與百分位數（例如 P50、P90、P99）
- Time to Last Token (TTLT) — 最大值與百分位數（例如 P50、P90、P99）
- 每秒代幣數（輸入／輸出）
- 快取使用量
- 預填入與解碼時間
- Tensor Core 的使用
- 排程器狀態
- GPU 功耗。
服務與支援
透過精選支援方案以及優先回應與周轉時間，加速創新。
取得可預測的租賃式訂閱和完整的生命週期管理解決方案，讓您更快達成業務目標。
成為 KeysightCare 訂閱者，體驗更優質的服務，獲得承諾的技術回應及更多。
確保您的測試系統符合規格要求，並符合當地與全球標準。
透過內部講師指導的訓練和線上學習，快速進行量測。
下載 Keysight 軟體，或將您的軟體更新至最新版本。
常見問題
在生產環境中建構、訓練和部署 AI 模型整個生命週期中，AI 推論佔了大部分成本。為了信心十足地推出，在生產前全面測試 AI 推論基礎設施和堆疊至關重要，以便及早發現效能瓶頸、擴充限制，並獲得更準確的成本估算。Keysight AI 推論建構器專為此領域打造，可揭示整個路徑中的瓶頸：從前端 ALB / WAF / AI 安全閘道到 SmartNIC / DPU，最終到 GPU、KV 快取、記憶體頻寬和服務佇列，找出延遲、故障或擴充限制的源頭，從而實現精確調校和更明智的架構選擇。
要模擬逼真的 AI 工作負載以進行推論測試，不僅僅是發送簡單的 HTTP 提示那麼簡單。這需要深入研究各行業（例如金融、法律）特有的真實用戶角色，因為每種提示的結構都可能以獨特的方式影響涵蓋 GPU、記憶體容量或頻寬的推論堆疊。 是德科技的 AI 推論建構器（AI Inference Builder）透過精心彙編的提示模型與工作負載庫，能協助優化網路、硬體選型、模型服務層、引擎、調度器以及 GPU／記憶體使用效率。該庫反映了跨產業與應用類型（例如金融、法律）的實際使用模式，以及技術基準測試（例如 GPU 運算、記憶體）。
驗證 AI 推論部署，需從客戶端視角、網路傳輸，以及至關重要的服務堆疊層面，全面解讀各項統計數據。在此背景下，能夠透過單一視圖同時檢視客戶端與伺服器端的推論原生關鍵績效指標（KPI），對於發現隱藏的 AI 推論堆疊瓶頸與效能低落問題至關重要。 是德科技的 AI 推論建構器（AI Inference Builder）能夠將客戶端指標與推論引擎層級的遙測資料（例如 VLLM 統計數據）以及系統層級的 GPU 遙測資料（例如 DCGM 數據）進行無與倫比的關聯分析，並將其整合於單一的時間同步視圖中。 這些統計數據包含：同時在線使用者數、首次標記時間、最後標記時間、每秒提示數、標記速率、預填與解碼時間、快取利用率、排程器狀態、GPU 功耗以及張量核心使用率。
要實現可擴展、穩健且具韌性的 AI 推論部署，必須透過嚴謹的驗證流程，並採用能輕鬆擴展至生產級使用者並發量、可對生成的流量負載進行細粒度控制，且具備全面自動化能力以應對動態組合的代表性測試情境的工具。 是德科技 AI 推論建構器（AI Inference Builder）可擴展至數百萬個模擬使用者，藉此評估 AI 推論基礎架構與軟體堆疊在生產級負載下的表現，並能精細控制產生的測試負載（即每秒提示數），從而加速容量規劃並控制成本。透過全自動化的測試情境，無論是重複性的短時測試或長時間的浸潤測試，該解決方案皆能對 AI 推論基礎架構與軟體堆疊進行無與倫比的韌性與穩健性測試。