多年來，AI 基礎設施策略一直由訓練所定義。現在，業界正將焦點轉向 AI 模型如何回應使用者提示和查詢。此過程稱為推論，且正成為焦點。
Keysight AI (KAI) 推論建構器專為這個新時代而打造。作為一個具備推論感知能力的模擬與分析解決方案，KAI 推論建構器可模擬 AI 用戶端和回應行為，以在實際工作負載條件下測試和最佳化 AI 基礎設施。透過基於工作負載的全堆疊驗證，無需滿足於通用基準測試或負載測試。
推論定義了使用者體驗，因此一致性需要類似生產環境的驗證，而非實驗室基準測試。
不同的應用程式會對運算、記憶體和延遲造成壓力。如果沒有工作負載精確的驗證，很難找出瓶頸。
推論涵蓋安全性、網路、資料擷取和運算。最薄弱的環節決定了效能。
防護措施和政策控制會影響大規模部署的穩定性。營運商需要證明其在真實網路負載下的安全性和效能。
使用真實提示、並行性和權杖串流，驗證完整的請求-回應路徑。KAI 推論建構器可協助團隊在生產環境中出現瓶頸之前，找出負載平衡、網路和運算方面的瓶頸。
隔離 GPU 運算、記憶體、KV 快取、儲存、PCIe、RDMA 和協調層之間的瓶頸。在單臂模式下，KAI Inference Builder 可作為高效能推論用戶端，將提示形狀的工作負載直接驅動到推論堆疊中，讓網路團隊能夠更快地找出問題，並精確地微調效能。
將實際的提示形狀驅動到堆疊中，並關聯產生的遙測資料，以了解您的系統需求：無論是更多記憶體、更佳的排程、更強大的擷取路徑，還是改善的 GPU 利用率。透過量測端對端推論工作流程，KAI Inference Builder 將複雜的系統行為轉化為清晰、可付諸行動的洞察。
並非所有推論工作負載都表現相同。這就是為什麼KAI推論建構器會模擬產業專屬的提示形狀和模型回應。KAI推論建構器支援法律、金融及其他產業，可協助團隊產生工作負載專屬的證明、比較架構，並在模型和提示模式演進時發現迴歸。
AI 基礎設施時程經常受限於硬體可用性。這就是為什麼 KAI 推論建構器提供與 NVIDIA DSX Air 數位分身環境的統包式整合。KAI 推論建構器在模型化的資料中心環境中模擬真實世界的推論提示和回應，使網路團隊能夠在實體基礎設施完全到位之前，開始驗證和最佳化部署。