多年來，AI 基礎設施策略一直由訓練所定義。現在，業界正將焦點轉向 AI 模型如何回應使用者提示和查詢。此過程稱為推論，且正成為焦點。
是德科技 (Keysight) 的 AI Inference Builder 正是為這個新時代而打造。作為一款具備推論感知能力的模擬與分析解決方案，KAI Inference Builder 能模擬 AI 客戶端與回應行為，藉此在真實的工作負載條件下測試並優化 AI 基礎架構。透過基於工作負載的全堆疊驗證，您無需再滿足於通用的基準測試或負載測試。
推論定義了使用者體驗，因此一致性需要類似生產環境的驗證，而非實驗室基準測試。
不同的應用程式會對運算、記憶體和延遲造成壓力。如果沒有工作負載精確的驗證，很難找出瓶頸。
推論涵蓋安全性、網路、資料擷取和運算。最薄弱的環節決定了效能。
防護措施和政策控制會影響大規模部署的穩定性。營運商需要證明其在真實網路負載下的安全性和效能。
使用真實的提示語、並發處理及代幣串流，驗證完整的請求-回應路徑。KAI Inference Builder 協助團隊在瓶頸現身於生產環境之前，預先找出負載平衡、網路及運算層面的瓶頸。
隔離 GPU 運算、記憶體、KV 快取、儲存、PCIe、RDMA 和協調層之間的瓶頸。在單臂模式下，KAI Inference Builder 可作為高效能推論用戶端，將提示形狀的工作負載直接驅動到推論堆疊中，讓網路團隊能夠更快地找出問題，並精確地微調效能。
將實際的提示形狀驅動到堆疊中，並關聯產生的遙測資料，以了解您的系統需求：無論是更多記憶體、更佳的排程、更強大的擷取路徑，還是改善的 GPU 利用率。透過量測端對端推論工作流程，KAI Inference Builder 將複雜的系統行為轉化為清晰、可付諸行動的洞察。
並非所有推論工作負載的運作方式都相同。正因如此，KAI Inference Builder 會模擬各產業特有的提示語格式與模型回應。透過支援法律、金融及其他產業，KAI Inference Builder 協助團隊生成針對特定工作負載的驗證結果、比較架構，並在模型與提示語模式演進的過程中偵測退化現象。
AI 基礎設施時程經常受限於硬體可用性。這就是為什麼 KAI 推論建構器提供與 NVIDIA DSX Air 數位分身環境的統包式整合。KAI 推論建構器在模型化的資料中心環境中模擬真實世界的推論提示和回應，使網路團隊能夠在實體基礎設施完全到位之前，開始驗證和最佳化部署。