KAI Inference Builder: KI-Inferenzinfrastrukturen validieren und optimieren

Die KI-Inferenz macht den Großteil der Kosten aus, wenn man den gesamten Lebenszyklus von der Entwicklung über das Training bis hin zur Bereitstellung eines KI-Modells in der Produktion betrachtet. Für eine sichere Einführung ist es daher unerlässlich, die Infrastrukturen und Stacks für die KI-Inferenz vor der Produktion umfassend zu testen, um Leistungsengpässe und Skalierungsgrenzen frühzeitig zu erkennen und präzisere Kostenschätzungen zu erhalten. Der Keysight AI Inference Builder wurde speziell für diesen Zweck entwickelt und deckt Engpässe entlang des gesamten Prozesses auf: von Front-End-ALBs/WAFs/KI-Sicherheitsgateways über SmartNICs/DPUs bis hin zu GPUs, KV-Cache, Speicherbandbreite und Warteschlangen. So werden die Ursachen für Latenz, Ausfälle oder Skalierungsgrenzen identifiziert, was eine präzise Optimierung und intelligentere Architekturentscheidungen ermöglicht.

Die Simulation realistischer KI-Workloads für Inferenztests erfordert mehr als das Senden einfacher HTTP-Anfragen. Sie setzt tiefgreifende Recherchen zu realistischen Nutzerprofilen in verschiedenen Branchen (z. B. Finanzen, Recht) voraus, da jede Anfrageform die Inferenzarchitektur hinsichtlich GPU-Auslastung, Speicherkapazität oder Bandbreite auf einzigartige Weise beeinflussen kann. Der Keysight AI Inference Builder optimiert Netzwerk, Hardwareauswahl, Modellbereitstellungsschichten, Engines, Orchestratoren sowie GPU- und Speichernutzung mithilfe einer kuratierten Bibliothek von Anfragemodellen und Workloads, die reale Nutzungsmuster branchen- und anwendungsübergreifend (z. B. Finanzen, Recht) oder Technologie-Benchmarks (z. B. GPU-Rechenleistung, Speicher) widerspiegeln.

Die Validierung von KI-Inferenz-Implementierungen erfordert die umfassende Auswertung von Statistiken aus Client-, Netzwerk- und – besonders wichtig – Serverperspektive. Eine zentrale Übersicht über die nativen KPIs der Inferenz sowohl auf Client- als auch auf Serverseite ist hierbei unerlässlich, um versteckte Engpässe und Ineffizienzen im KI-Inferenz-Stack aufzudecken. Der Keysight AI Inference Builder ermöglicht die einzigartige Korrelation clientseitiger Metriken mit der Erfassung von Telemetriedaten der Inferenz-Engine (z. B. VLLM-Statistiken) und GPU-Telemetriedaten auf Systemebene (z. B. DCGM-Daten) in einer zeitsynchronisierten Ansicht. Zu diesen Statistiken gehören die Anzahl gleichzeitiger Nutzer, die Zeit bis zum ersten und letzten Token, die Anzahl der Eingabeaufforderungen pro Sekunde, die Token-Rate, die Vorfüll- und Dekodierungszeit, die Cache-Auslastung, der Scheduler-Status, der GPU-Stromverbrauch und die Auslastung der Tensor-Kerne.

Skalierbare, robuste und ausfallsichere KI-Inferenz-Implementierungen erfordern eine gründliche Validierung mit Tools, die sich problemlos auf die Benutzeranzahl im Produktionsbetrieb skalieren lassen, eine detaillierte Kontrolle über die generierte Datenlast ermöglichen und umfassende Automatisierungsfunktionen für eine dynamische Mischung repräsentativer Testszenarien bieten. Der Keysight AI Inference Builder beschleunigt die Kapazitätsplanung und Kostenkontrolle, indem er die Skalierung auf Millionen simulierter Benutzer ermöglicht. So lassen sich die KI-Inferenz-Infrastruktur und der Software-Stack unter Produktionslast mit detaillierter Kontrolle über die generierte Testlast (d. h. Eingabeaufforderungen pro Sekunde) bewerten. Er ermöglicht beispiellose Ausfallsicherheits- und Robustheitstests von KI-Inferenz-Infrastrukturen und -Stacks mit vollautomatisierten Testszenarien für wiederholte Kurzzeittests oder Langzeittests.