- 概要
- すべてのモデル
- サポート
AI推論インフラストラクチャの検証および最適化
KAI Inference Builder (KAI IB)は、高忠実度かつ大規模に現実的なAIワークロードをエミュレートすることで、AI推論インフラストラクチャとソフトウェアスタックを検証、ベンチマーク、最適化するために設計されたエミュレーションおよび分析ソリューションであり、推論システムの性能特性、機能、およびセキュリティ有効性に関する深い洞察を提供します。
現実的なAI推論ワークロードエミュレーション
実際のユーザー動作とワークロードに一致する現実的なAI LLM推論トラフィックをエミュレートし、合成的なラボテストではなく、本番環境を模倣した条件下で推論インフラストラクチャとスタックを検証します。
大規模トラフィックエミュレーション
数百万のユーザーまたは1秒あたりのプロンプト数にまで拡張し、真のユーザー同時実行性を定量化することで、パフォーマンスをトークンあたりのコストに結び付け、チームが容量とROIを正確に計画するのに役立ちます。
プライベートまたはパブリッククラウドの導入オプション
完全仮想またはハードウェアベースの推論クライアントエミュレーションを使用して、プライベートまたはパブリッククラウドにデプロイされたAI推論インフラストラクチャを検証します。
シングルペインの統計ビュー
クライアント視点からの推論ネイティブメトリクスと、サーバーから取り込まれた統計の両方を含むシングルペインビューにより、ボトルネックの迅速な特定と最適化の合理化を実現します。
Keysight AI (KAI) Inference Builderの紹介
KAI Inference Builderは、実世界のワークロード条件下でAI推論インフラストラクチャを検証、ベンチマーク、最適化するために設計された、推論対応のエミュレーションおよび分析ソリューションです。KAI Inference Builderは、ワークロード対応のフルスタック検証をAIデータセンターの展開にもたらすことで、チームが合成ベンチマークや一般的な負荷テストを超えて進むのを支援します。
最も一般的な構成
KAI インファレンス・ビルダー 2エージェント、最大100プロンプト/秒バンドル
KAI Inference Builder バンドルには、2つのエージェントと、1秒あたり最大100件のプロンプトが含まれています（1年間のサブスクリプション、世界中で利用可能）。このバンドルはTAA準拠です。
KAI Inference Builder バンドルには、2つのエージェントと、1秒あたり最大100件のプロンプトが含まれています（1年間のサブスクリプション、世界中で利用可能）。このバンドルはTAA準拠です。
KAI インファレンス・ビルダー 10エージェント、最大1000プロンプト/秒バンドル
KAI Inference Builder バンドルには、10体のエージェントと、1秒あたり最大1000件のプロンプトが含まれます（1年間のサブスクリプション、世界中で利用可能）。本バンドルはTAA準拠です。
KAI Inference Builder バンドルには、10体のエージェントと、1秒あたり最大1000件のプロンプトが含まれます（1年間のサブスクリプション、世界中で利用可能）。本バンドルはTAA準拠です。
KAI インファレンス・ビルダー 10エージェント、最大10,000プロンプト/秒バンドル
KAI Inference Builder バンドルには、10体のエージェントと、1秒あたり最大10,000件のプロンプトが含まれます（1年間のサブスクリプション、世界中で利用可能）。本バンドルはTAA準拠（952-1100）です。
KAI Inference Builder バンドルには、10体のエージェントと、1秒あたり最大10,000件のプロンプトが含まれます（1年間のサブスクリプション、世界中で利用可能）。本バンドルはTAA準拠（952-1100）です。
サービスとサポート
厳選されたサポートプランと、優先的な対応および迅速なターンアラウンドタイムにより、迅速なイノベーションを実現します。
予測可能なリースベースのサブスクリプションとフルライフサイクル管理ソリューションにより、ビジネス目標をより迅速に達成できます。
KeysightCareのサブスクライバーとして、コミットされた技術サポートなど、より質の高いサービスをご体験ください。
テストシステムが仕様どおりに動作し、ローカルおよびグローバルな標準に準拠していることを保証します。
社内での講師主導トレーニングやeラーニングにより、迅速に測定を実施できます。
キーサイトのソフトウェアをダウンロードするか、最新バージョンにアップデートしてください。
よくあるご質問
AIモデルを構築、トレーニング、本番環境に展開するライフサイクル全体で見ると、AI推論がコストの大部分を占めます。確実な展開のためには、本番環境に移行する前にAI推論インフラストラクチャとスタックを完全にテストし、パフォーマンスのボトルネックやスケール限界を早期に特定し、より正確なコスト見積もりを導き出すことが極めて重要です。キーサイトのAI Inference Builderは、この分野向けに特別に構築されており、フロントエンドのALB/WAF/AIセキュリティゲートウェイからSmartNIC/DPU、そして最終的にはGPU、KVキャッシュ、メモリ帯域幅、サービングキューに至るまで、パス全体のボトルネックを明らかにできます。これにより、レイテンシ、障害、またはスケーラビリティの限界がどこで発生するかを特定し、正確なチューニングとよりスマートなアーキテクチャ選択を可能にします。
推論テストのために現実的なAIワークロードをシミュレートするには、単純なHTTPプロンプトを送信するだけでは不十分です。あらゆるプロンプトの形状がGPU、メモリ容量、帯域幅、または独自の方法で推論スタックに影響を与える可能性があるため、さまざまな業界（例えば、金融、法律）に特化した現実的なユーザーペルソナに関する深い調査が必要です。キーサイトのAI Inference Builderは、業界やアプリケーションタイプ（例えば、金融、法律）またはテクノロジーベンチマーク（例えば、GPUコンピューティング、メモリ）における現実世界の利用パターンを反映した、厳選されたプロンプトモデルとワークロードのライブラリを用いて、ネットワーク、ハードウェア選択、モデルサービングレイヤー、エンジン、オーケストレーター、およびGPU/メモリ使用量の最適化を支援します。
AI推論デプロイメントの検証には、クライアントの視点、ネットワークトランスポート、そして非常に重要なサービングスタックからの統計を包括的に解釈することが含まれます。この文脈において、クライアントとサーバーの両方の視点から推論ネイティブKPIを単一の画面で確認できることは、隠れたAI推論スタックのボトルネックと非効率性を発見する上で不可欠です。キーサイトのAI Inference Builderは、クライアント側のメトリクスと、推論エンジンレベルのテレメトリ（VLLM統計など）およびシステムレベルのGPUテレメトリ（DCGMデータなど）の取り込みを、単一の時刻同期ビューで比類のない相関分析を可能にします。これらの統計には、同時ユーザー数、最初のトークンまでの時間、最後のトークンまでの時間、プロンプト/秒、トークンレート、プリフィルおよびデコード時間、キャッシュ使用率、スケジューラ状態、GPU電力使用量、テンソルコア使用量が含まれます。
スケーラブルで堅牢かつ回復力のあるAI推論デプロイメントには、生産レベルのユーザー同時実行性まで容易に拡張でき、生成されるトラフィック負荷をきめ細かく制御し、代表的なテストシナリオの動的な組み合わせに対応する包括的な自動化機能を提供するツールによる厳格な検証が必要です。キーサイトのAI Inference Builderは、数百万のシミュレートされたユーザーにまで拡張し、生成されるテスト負荷（すなわち、1秒あたりのプロンプト数）をきめ細かく制御することで、生産規模の負荷の下でAI推論インフラストラクチャとソフトウェアスタックを評価し、容量計画とコスト管理を加速します。これにより、繰り返し行われる短期間テストまたは長期間のソークテスト向けの完全に自動化されたテストシナリオを使用し、AI推論インフラストラクチャとスタックの比類ない回復力と堅牢性テストが可能になります。