這是我們認為您想查看的頁面. 觀看搜尋結果:

KAI Inference Builder 組合包，包含 10 個代理，每秒最多 1000 個提示

KAI Inference Builder 套件包含 10 個代理程式，每秒最多可處理 1000 個提示（1 年訂閱，全球浮動授權）。此套件符合 TAA 規範。

產品影像

  • Form factor

    Software

  • License types

    Subscription

  • 效能等級

    1000 prompts per second, 10000 simulated users

sortDropdown icon View Data Sheet

準備好取得報價

瞭解包含哪些項目，並探索 Keysight 提供的可用升級選項。

焦點訊息

  • 大規模模擬真實的 AI 用戶端行為，以驗證整個 AI 推論基礎設施和堆疊。
  • 選擇不同 AI 人格提示，以驅動 AI 推論管線不同階段的壓力點。
  • 透過完全虛擬或基於硬體的推論用戶端模擬，驗證部署在公有雲或私有雲中的 AI 推論基礎設施。
  • 擴充至數百萬個模擬使用者，並對產生的每秒提示負載進行精細控制，以實現無與倫比的 AI 推論規模測試。
  • 取得詳細的推論統計資料，以深入了解 AI 推論管線中各個元件的潛在瓶頸、限制和效率低落之處：
    • GPU 運算。
    • HBM / VRAM 記憶體系統
    • KV 快取和儲存層
    • PCIe 和 RDMA 互連
    • 模型引擎和協調器
  • 在單一時間同步視圖中，將用戶端指標與推論引擎層級遙測資料（例如 VLLM 統計資料）以及系統層級 GPU 遙測資料（例如 DCGM 資料）進行關聯：
    • 每秒提示
    • 並行使用者
    • 首個權杖時間 (TTFT) — 最大值和百分位數 (例如 P50、P90、P99)
    • 最後權杖時間 (TTLT) — 最大值和百分位數 (例如 P50、P90、P99)
    • 每秒權杖數 (輸入/輸出)
    • 快取使用量
    • 預填與解碼時間
    • Tensor Core 使用方式
    • 排程器狀態
    • GPU 功耗。

服務與支援