Interconexões de IA

Uma interconexão (transceptor) é um dispositivo que conecta servidores a switches em uma rede, permitindo a transferência de dados entre os componentes. Para distâncias curtas, a interconexão pode ser elétrica (cobre) ou óptica. Para distâncias mais longas, as interconexões ópticas são normalmente usadas devido ao seu melhor desempenho e à menor perda de sinal em comprimentos maiores.

Embora uma interconexão de IA (usada em um ambiente de data center de aprendizado de máquina) não seja diferente de uma interconexão semelhante usada na inferência (ambiente de data center tradicional), a carga/utilização na interconexão será muito maior durante longos períodos de tempo. A seleção de interconexões para uma implantação de IA de aprendizado de máquina deve ser feita com cuidado para garantir o desempenho e a longevidade da rede. Deve-se prestar atenção a medições como a taxa de erro de bits (BER) para garantir que haja espaço suficiente para variações de amostra para amostra entre as interconexões de produção.

Uma interconexão em uma rede conecta servidores a switches ou switches a switches. Para uma rede de IA de alto desempenho, é importante que as cargas de trabalho sejam executadas em um ambiente otimizado. As interconexões de alta velocidade e qualidade executadas em uma rede otimizada ajudam a garantir que, em uma rede de IA, as cargas de trabalho não fiquem esperando dados na rede.

Há duas famílias principais de tecnologias de interconexão usadas em sistemas de IA: interconexões fora do chip e no chip.

As interconexões fora do chip lidam com a comunicação entre componentes separados, como servidores, switches e aceleradores, geralmente entre placas ou racks. As principais tecnologias dessa categoria incluem Ethernet com RDMA / RoCEv2, InfiniBand, PCI Express (PCIe), Compute Express Link (CXL) e NVLink.

As interconexões no chip operam em um único chip ou pacote, permitindo a comunicação ultrarrápida entre componentes internos, como núcleos e memória. As principais tecnologias dessa família incluem a memória de alta largura de banda (HBM), a rede no chip (NoC) e a óptica co-embalada (CPO).

As interconexões no chip são limitadas a comunicações dentro de componentes como GPUs, CPUs e memória em um único chip. Esses caminhos de comunicação são extremamente curtos, rápidos e eficientes em termos de energia. As interconexões fora do chip podem abranger um data center e muito mais. Elas são rápidas, mas não tão rápidas quanto as interconexões curtas no chip. Entretanto, são mais tolerantes a falhas e otimizadas para comunicações em nível de sistema.

As inovações em interconexões de IA incluem Coherent Optics, Linear Pluggable Optics (LPO), Co-Packaged Optics (CPO), Compute Express Link (CXL) e topologias avançadas de rede de interconexão.