デプロイ前のAI推論の検証方法

ウェブ見積
KAI Inference Builder
+ KAI Inference Builder
KAI Inference Builder
+ KAI Inference Builder

ハードウェアの導入前に推論インフラストラクチャの検証を行う

デジタルツインで計画中のデータセンターのトポロジーをモデル化し、導入前のAI推論検証環境を構築します。スイッチングおよびルーティングパス、推論サービス、セキュリティ制御、およびクライアントのインジェストと推論バックエンド間の想定される接続を表現します。人工知能推論ワークロードのエミュレーションを設定し、プロンプトの長さやターンパターンの変化、同時接続ユーザー数など、現実的な大規模言語モデルのプロンプトと応答を生成します。 モデル化されたアーキテクチャを実行する前に、再現可能なワークロードプロファイルを定義し、リクエストの到着レートを指定し、代表的なテスト期間を選択します。各ワークロードレベルにおいて、エンドツーエンドの応答遅延、最初のトークンまでの時間、出力トークンレート、およびリクエスト完了の結果を記録します。可能な場合は、これらの推論固有の観測結果を、コンピューティング、ネットワーク、およびセキュリティ層からのインフラストラクチャテレメトリと相関させます。アーキテクチャのバリエーション間で同一のワークロード入力を使用することで、観測された差異がプロンプトの挙動の変化ではなく、シミュレートされたシステム構成に起因するものであると特定できるようにします。

低レベルの同時ユーザー数でベースラインを実行し、ワークロードの分散を維持しながら、エミュレートされた需要を段階的に増加させます。 トークンスループット、テール応答遅延、完了率の変化、および提示された負荷と提供された推論容量の関係を追跡する。同じモデル化された環境内で、候補となるルーティング、セキュリティ、および推論サービスの構成を比較し、各実行の構成詳細を記録する。ロングコンテキストおよびマルチターンセッションが、モデル化された推論パス上の需要をどのように変化させるか、また応答時間分布がどこから広がり始めるかを検証する。 統合によりシステムレベルのテレメトリが利用可能になった場合は、推論の測定値を、報告されているグラフィックス処理ユニット（GPU）、メモリ、およびネットワークの挙動と比較する。デジタルツインからの観測結果を、物理ハードウェアによる検証を必要とする結果と区別する。各候補について、テストしたワークロードの仮定、ソフトウェアおよびネットワーク構成、測定定義、および観測された限界を文書化する。これらの結果は、本番環境でのパフォーマンスを保証する主張ではなく、再現可能な導入前の検証記録を形成するものである。

導入前のAI推論検証ソリューション

導入前の推論検証には、モデル化されたインフラストラクチャ、代表的なクライアントリクエスト、および再現可能な負荷プロファイルが必要です。このソリューションは、キーサイト（Keysight）の「AI Inference Builder」によるワークロードエミュレーションと分析機能を、デジタルツイン環境と組み合わせることで、物理的な機器が設置される前に、計画されたAIデータセンターアーキテクチャの検証を可能にします。Inference Builderは、多様な大規模言語モデルのプロンプトパターンをエミュレートし、ユーザーの同時実行数やプロンプトレートを制御するとともに、推論固有のレイテンシやスループットといった指標を報告します。 デジタルツインは、エミュレートされた推論トラフィックが計画された経路を通過する間、ネットワークとインフラストラクチャの相互作用をモデル化する場を提供します。エンジニアは、一貫した需要条件下で候補となる構成を比較し、負荷下での応答挙動の変化を検証し、スタック全体で制約が生じる箇所を分析することができます。最初のトークンまでの時間、出力トークンレート、同時実行数、およびリクエスト完了の挙動は、比較のための測定指標となります。結果はシミュレーションモデルに依存するため、本番環境での導入を承認する前に物理的な確認が必要です。
ウェブ見積

導入前のAI推論検証ソリューションのデモ動画をご覧ください

導入前のAI推論検証ソリューションの製品をご覧ください

リソースのご紹介

本番導入前のAI推論検証に関する追加リソース

関連するユースケース

1.6T光受信機の感度を測定する方法

光受信機テストソフトウェアの制御下で、パターンおよび干渉の生成、光ストレス条件設定、校正、モジュール制御、およびレーンごとのBER検出を統合することにより、800GBASEおよび1.6TBASE向けの自動ストレス光受信機感度試験を実行する。

詳細はこちら

電気評価ボードの性能を検証する方法

PRBSQパターンを被試験の能動素子または受動素子に入力し、その素子またはボードを介してループバックをルーティングし、構成済みの高速PAM4レーン全体について、レーンごとのビット誤り率および前方誤り訂正（FEC）の挙動を測定することにより、電気評価ボードの検証を行います。

詳細はこちら

1.6T光トランシーバの検証方法

ホスト側および光ループバック経路を通じて、完全にリタイミング処理された1.6T光トランシーバーのベンチマークを行い、CMISを介してサポートされているイーサネットモードを設定し、短時間または長時間のシステムレベルのエラー性能試験中に、レーンごとのBERおよびFEC統計値を測定します。

詳細はこちら

お問い合わせ ロゴ

弊社の専門家にお問い合わせください。

所望のソリューションを見つけるのにお困りですか？

お問い合わせ