Redes de IA

En una red tradicional, el tipo y el tamaño de la carga de trabajo varían, el tráfico se distribuye entre distintas conexiones, crece proporcionalmente al número de usuarios y los paquetes retrasados o perdidos no suelen causar problemas significativos. En una red de IA, todas las GPU trabajan en el mismo problema, la construcción de un gran modelo de lenguaje (LLM). Las cargas de trabajo para construir un LLM requieren que se compartan cantidades masivas de datos entre las GPU sin que se caigan paquetes o se produzcan congestiones. Dado que todas las GPU están trabajando en el mismo problema, completan una tarea cuando la última GPU finaliza el procesamiento. Cualquier retraso en la entrega de datos a una GPU significa que toda la carga de trabajo se retrasa.

Optimizar una red de IA es diferente de optimizar una red de centro de datos tradicional. Las redes de IA funcionan casi al límite de su capacidad y deben funcionar sin pérdidas para maximizar la utilización de la GPU. Existen diferentes mecanismos de congestión con diversas configuraciones. Ejecutar cargas de trabajo de IA en un entorno de laboratorio con herramientas de evaluación comparativa proporciona una vía para encontrar las configuraciones y ajustes óptimos que luego pueden aplicarse a los entornos de producción.

En una red de IA, las GPU trabajan en el mismo problema y sólo completan una tarea cuando la última GPU recibe los datos que necesita y termina de procesarlos. Una de las medidas clave del rendimiento de una red de IA es la latencia de cola, es decir, los flujos con los tiempos de finalización más largos. La medida se denomina P95: el tiempo de finalización del cinco por ciento más lento de los flujos de la red.

RDMA es un acrónimo de Remote Direct Memory Access (acceso remoto directo a memoria). RDMA permite a las GPU transferir datos entre sí en un centro de datos de IA con una participación mínima de la CPU y las pilas de red. Esto permite comunicaciones de baja latencia y alto rendimiento en un centro de datos de IA. Las tarjetas de interfaz de red RDMA de un servidor se conectan a conmutadores RDMA para permitir la comunicación a alta velocidad entre las GPU.

Ultra Ethernet (UE) añade capacidades a Ethernet para proporcionar una red rápida, altamente escalable y de baja latencia para los requisitos de IA y computación de alto rendimiento. La pulverización de paquetes permite que los flujos utilicen más de una ruta hacia un destino, lo que mejora el equilibrio de la carga en la red. El orden flexible permite que los paquetes lleguen a su destino desordenados. El control de la congestión basado en el receptor se basa en los mecanismos existentes de control de la congestión basados en el emisor para mejorar la congestión en la transmisión que se produce con colectivos de IA como All-to-All. La telemetría mejorada permite tiempos de señalización más rápidos en el plano de control, lo que mejora la respuesta a los eventos de congestión. UE es interoperable con los conmutadores Ethernet de centros de datos existentes, pero funcionará de forma más eficiente -con una mayor utilización de la red y una latencia de cola reducida- utilizando conmutadores y tarjetas de interfaz de red basados en UEC.

El movimiento de datos entre GPUs se denomina Operación Colectiva. Existen varios tipos diferentes, dependiendo de la ubicación inicial y final de los datos y de si es necesario realizar una ejecución matemática sobre los datos durante el proceso. Los tipos más utilizados son Broadcast and Gather, ReduceScatter, AllGather, AllReduce y AlltoAll. La presencia de la palabra clave "reduce" en el nombre de la operación significa que esta operación realiza cálculos sobre los datos. Una operación colectiva puede implementarse utilizando cualquier número de algoritmos. Los algoritmos más conocidos para AllReduce son Unidirectional and Bidirectional Ring, Double Binary Tree y Halving-Doubling. Cada uno de ellos muestra un rendimiento mejor o peor en función del número de GPU y de cómo estén interconectadas.