Choose a country or area to see content specific to your location
- 概述
- 所有型號
- 配件
- 軟體
- 支援
驗證並最佳化 AI 推論基礎設施
KAI Inference Builder (KAI IB) 是一種模擬與分析解決方案，旨在驗證、基準測試和最佳化 AI 推論基礎架構和軟體堆疊，以高傳真度和可擴展性模擬真實的 AI 工作負載，並深入了解推論系統的性能特性、功能和安全效能。
擬真 AI 推論工作負載模擬
模擬真實的 AI LLM 推論流量 — 符合真實使用者行為和工作負載 — 以在模擬實際生產環境而非合成實驗室測試的條件下，驗證推論基礎設施和堆疊。
大規模流量模擬
可擴展至每秒數百萬個使用者或提示，以量化真實的使用者並發性，將性能與每個權杖成本連結，並協助團隊準確規劃容量和投資報酬率。
私有或公有雲部署選項
透過全虛擬或基於硬體的推論用戶端模擬，驗證私有或公有雲部署的 AI 推論基礎設施。
單一視窗統計資料檢視
透過單一視窗檢視，可從用戶端角度和伺服器擷取的統計資料中獲得推論原生指標，從而更快地找出瓶頸並簡化最佳化。
隆重推出 Keysight AI (KAI) 推論建構器
KAI Inference Builder 是一種推論感知模擬與分析解決方案，旨在真實世界工作負載條件下，驗證、基準測試和最佳化 AI 推論基礎架構。KAI Inference Builder 透過將工作負載感知、全堆疊驗證引入 AI 資料中心部署，協助團隊超越合成基準測試和通用負載測試。
最受歡迎的配置
KAI Inference Builder 組合包，包含 2 個代理，每秒最多 100 個提示
KAI Inference Builder 套件包含兩個代理程式，每秒最多可處理 100 個提示（1 年訂閱，全球浮動授權）。此套件符合 TAA 規範。
KAI Inference Builder 套件包含兩個代理程式，每秒最多可處理 100 個提示（1 年訂閱，全球浮動授權）。此套件符合 TAA 規範。
KAI Inference Builder 組合包，包含 2 個代理，每秒最多 100 個提示
- 大規模模擬真實的 AI 用戶端行為，以驗證整個 AI 推論基礎設施和堆疊。
- 選擇不同 AI 人格提示，以驅動 AI 推論管線不同階段的壓力點。
- 透過完全虛擬或基於硬體的推論用戶端模擬，驗證部署在公有雲或私有雲中的 AI 推論基礎設施。
- 擴充至數百萬個模擬使用者，並對產生的每秒提示負載進行精細控制，以實現無與倫比的 AI 推論規模測試。
- 取得詳細的推論統計資料，以深入了解 AI 推論管線中各個元件的潛在瓶頸、限制和效率低落之處：
- GPU 運算。
- HBM / VRAM 記憶體系統
- KV 快取和儲存層
- PCIe 和 RDMA 互連
- 模型引擎和協調器
- 在單一時間同步視圖中，將用戶端指標與推論引擎層級遙測資料（例如 VLLM 統計資料）以及系統層級 GPU 遙測資料（例如 DCGM 資料）進行關聯：
- 每秒提示
- 並行使用者
- 首個權杖時間 (TTFT) — 最大值和百分位數 (例如 P50、P90、P99)
- 最後權杖時間 (TTLT) — 最大值和百分位數 (例如 P50、P90、P99)
- 每秒權杖數 (輸入/輸出)
- 快取使用量
- 預填與解碼時間
- Tensor Core 使用方式
- 排程器狀態
- GPU 功耗。
KAI Inference Builder 組合包，包含 10 個代理，每秒最多 1000 個提示
KAI Inference Builder 套件包含 10 個代理程式，每秒最多可處理 1000 個提示（1 年訂閱，全球浮動授權）。此套件符合 TAA 規範。
KAI Inference Builder 套件包含 10 個代理程式，每秒最多可處理 1000 個提示（1 年訂閱，全球浮動授權）。此套件符合 TAA 規範。
KAI Inference Builder 組合包，包含 10 個代理，每秒最多 1000 個提示
- 大規模模擬真實的 AI 用戶端行為，以驗證整個 AI 推論基礎設施和堆疊。
- 選擇不同 AI 人格提示，以驅動 AI 推論管線不同階段的壓力點。
- 透過完全虛擬或基於硬體的推論用戶端模擬，驗證部署在公有雲或私有雲中的 AI 推論基礎設施。
- 擴充至數百萬個模擬使用者，並對產生的每秒提示負載進行精細控制，以實現無與倫比的 AI 推論規模測試。
- 取得詳細的推論統計資料，以深入了解 AI 推論管線中各個元件的潛在瓶頸、限制和效率低落之處：
- GPU 運算。
- HBM / VRAM 記憶體系統
- KV 快取和儲存層
- PCIe 和 RDMA 互連
- 模型引擎和協調器
- 在單一時間同步視圖中，將用戶端指標與推論引擎層級遙測資料（例如 VLLM 統計資料）以及系統層級 GPU 遙測資料（例如 DCGM 資料）進行關聯：
- 每秒提示
- 並行使用者
- 首個權杖時間 (TTFT) — 最大值和百分位數 (例如 P50、P90、P99)
- 最後權杖時間 (TTLT) — 最大值和百分位數 (例如 P50、P90、P99)
- 每秒權杖數 (輸入/輸出)
- 快取使用量
- 預填與解碼時間
- Tensor Core 使用方式
- 排程器狀態
- GPU 功耗。
KAI Inference Builder 組合包，包含 10 個代理，每秒最多 10,000 個提示
KAI Inference Builder 套件包含 10 個代理程式，每秒最多可處理 10,000 個提示（1 年訂閱，全球浮動授權）。此套件符合 TAA 規範 (952-1100)。
KAI Inference Builder 套件包含 10 個代理程式，每秒最多可處理 10,000 個提示（1 年訂閱，全球浮動授權）。此套件符合 TAA 規範 (952-1100)。
KAI Inference Builder 組合包，包含 10 個代理，每秒最多 10,000 個提示
- 大規模模擬真實的 AI 用戶端行為，以驗證整個 AI 推論基礎設施和堆疊。
- 選擇不同 AI 人格提示，以驅動 AI 推論管線不同階段的壓力點。
- 透過完全虛擬或基於硬體的推論用戶端模擬，驗證部署在公有雲或私有雲中的 AI 推論基礎設施。
- 擴充至數百萬個模擬使用者，並對產生的每秒提示負載進行精細控制，以實現無與倫比的 AI 推論規模測試。
- 取得詳細的推論統計資料，以深入了解 AI 推論管線中各個元件的潛在瓶頸、限制和效率低落之處：
- GPU 運算。
- HBM / VRAM 記憶體系統
- KV 快取和儲存層
- PCIe 和 RDMA 互連
- 模型引擎和協調器
- 在單一時間同步視圖中，將用戶端指標與推論引擎層級遙測資料（例如 VLLM 統計資料）以及系統層級 GPU 遙測資料（例如 DCGM 資料）進行關聯：
- 每秒提示
- 並行使用者
- 首個權杖時間 (TTFT) — 最大值和百分位數 (例如 P50、P90、P99)
- 最後權杖時間 (TTLT) — 最大值和百分位數 (例如 P50、P90、P99)
- 每秒權杖數 (輸入/輸出)
- 快取使用量
- 預填與解碼時間
- Tensor Core 使用方式
- 排程器狀態
- GPU 功耗。
服務與支援
透過精選支援方案以及優先回應與周轉時間，加速創新。
取得可預測的租賃式訂閱和完整的生命週期管理解決方案，讓您更快達成業務目標。
成為 KeysightCare 訂閱者，體驗更優質的服務，獲得承諾的技術回應及更多。
確保您的測試系統符合規格要求，並符合當地與全球標準。
透過內部講師指導的訓練和線上學習，快速進行量測。
下載 Keysight 軟體，或將您的軟體更新至最新版本。
常見問題
在生產環境中建構、訓練和部署 AI 模型整個生命週期中，AI 推論佔了大部分成本。為了信心十足地推出，在生產前全面測試 AI 推論基礎設施和堆疊至關重要，以便及早發現效能瓶頸、擴充限制，並獲得更準確的成本估算。Keysight AI 推論建構器專為此領域打造，可揭示整個路徑中的瓶頸：從前端 ALB / WAF / AI 安全閘道到 SmartNIC / DPU，最終到 GPU、KV 快取、記憶體頻寬和服務佇列，找出延遲、故障或擴充限制的源頭，從而實現精確調校和更明智的架構選擇。
模擬用於推論測試的真實 AI 工作負載，不僅僅是傳送簡單的 HTTP 提示。這需要深入研究針對各行各業（例如金融、法律）的真實使用者角色，因為每個提示形狀都可能以獨特的方式影響 GPU、記憶體容量或頻寬等推論堆疊。Keysight AI 推論建構器可透過精選的提示模型和工作負載庫，協助最佳化網路、硬體選擇、模型服務層、引擎、協調器以及 GPU/記憶體使用率，這些模型和工作負載反映了各行各業和應用類型（例如金融、法律）或技術基準（例如 GPU 運算、記憶體）的真實使用模式。
驗證 AI 推論部署需要從用戶端、網路傳輸以及非常重要的服務堆疊等各個層面解讀統計數據。在此背景下，從用戶端和伺服器角度對推論原生 KPI 進行單一視窗檢視，對於發現隱藏的 AI 推論堆疊瓶頸和低效率至關重要。Keysight AI 推論建構器能夠在一個時間同步視圖中，將用戶端指標與推論引擎層級遙測數據（例如 VLLM 統計數據）和系統層級 GPU 遙測數據（例如 DCGM 數據）進行無與倫比的關聯。這些統計數據包括並行使用者、第一個權杖時間、最後一個權杖時間、提示/秒、權杖速率、預填充和解碼時間、快取利用率、排程器狀態、GPU 功耗和張量核心使用率。
可擴充、穩固且具韌性的 AI 推論部署，需要藉由可輕鬆擴充至生產級使用者並行數、提供對產生流量負載的精細控制，並為動態混合的代表性測試情境提供全面自動化功能的工具，進行嚴格的驗證。Keysight AI 推論建構器可透過擴充至數百萬個模擬使用者，以評估生產規模負載下的 AI 推論基礎設施和軟體堆疊，並對產生的測試負載（即每秒提示數）進行精細控制，進而加速容量規劃並控制成本。它可對 AI 推論基礎設施和堆疊進行無與倫比的韌性和穩固性測試，透過針對重複的短時間測試或長時間浸泡測試而設計的全自動測試情境。