A máquina virtual (VM) da série ND MI300X v5 é uma nova adição emblemática à família de GPUs do Azure. Ele foi projetado para treinamento de Deep Learning high-end e cargas de trabalho de IA generativa e HPC fortemente acopladas.
A VM da série ND MI300X v5 começa com oito GPUs AMD Instinct MI300 e dois processadores escaláveis Intel Xeon de quarta geração para um total de 96 núcleos físicos. Cada GPU dentro da VM é então conectada uma à outra por meio de links AMD Infinity Fabric de 4ª geração com largura de banda de 128 GB/s por GPU e largura de banda agregada de 896 GB/s.
As implantações baseadas em ND MI300X v5 podem ser dimensionadas para milhares de GPUs com 3,2 Tb/s de largura de banda de interconexão por VM. Cada GPU dentro da VM é fornecida com sua própria conexão dedicada e independente de topologia de 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand. Essas conexões são configuradas automaticamente entre VMs que ocupam o mesmo conjunto de escala de máquina virtual e suportam GPUDirect RDMA.
Essas instâncias oferecem excelente desempenho para muitas ferramentas de IA, ML e análise que suportam aceleração de GPU "pronta para uso", como TensorFlow, Pytorch e outras estruturas. Além disso, a interconexão InfiniBand escalável suporta um grande conjunto de ferramentas de IA e HPC existentes que são construídas na ROCm Communication Collectives Library (RCCL) da AMD para clustering contínuo de GPUs.
Especificações do anfitrião
Parte
Quantidade Unidades de contagem
Especificações ID de SKU, Unidades de Desempenho, etc.
Processador
96 vCPUs
Intel Xeon (corredeiras de safira) [x86-64]
Memória
GiB de 1850
Armazenamento Local
1 disco temporário 8 discos NVMe
Disco temporário de 1000 GiB Discos NVMe de 28000 GiB
1 A velocidade do disco temporário geralmente difere entre as operações RR (leitura aleatória) e RW (gravação aleatória). As operações RR são normalmente mais rápidas do que as operações RW. A velocidade RW é geralmente mais lenta do que a velocidade RR em séries, onde apenas o valor da velocidade RR é listado.
A capacidade de armazenamento é apresentada em unidades de GiB ou 1024^3 bytes. Ao comparar discos medidos em GB (1000^3 bytes) com discos medidos em GiB (1024^3), lembre-se de que os números de capacidade fornecidos em GiB podem parecer menores. Por exemplo, 1023 GiB = 1098,4 GB.
O débito do disco é medido em operações de entrada/saída por segundo (IOPS) e MBps, em que MBps = 10^6 bytes/seg.
Para saber como obter o melhor desempenho de armazenamento para suas VMs, consulte Desempenho de máquina virtual e disco.
Informações de armazenamento remoto (não armazenado em cache) para cada tamanho
A capacidade de armazenamento é apresentada em unidades de GiB ou 1024^3 bytes. Ao comparar discos medidos em GB (1000^3 bytes) com discos medidos em GiB (1024^3), lembre-se de que os números de capacidade fornecidos em GiB podem parecer menores. Por exemplo, 1023 GiB = 1098,4 GB.
O débito do disco é medido em operações de entrada/saída por segundo (IOPS) e MBps, em que MBps = 10^6 bytes/seg.
Os discos de dados podem operar nos modos em cache ou não colocado em cache. Para uma operação do disco de dados em cache, o modo de cache do anfitrião está definido como ReadOnly ou ReadWrite. Para uma operação do disco de dados não colocada em cache, o modo de cache do anfitrião está definido como None.
Para saber como obter o melhor desempenho de armazenamento para suas VMs, consulte Desempenho de máquina virtual e disco.
Informações da interface de rede para cada tamanho
A largura de banda de rede esperada é a largura de banda agregada máxima alocada por tipo de VM em todas as NICs, para todos os destinos. Para obter mais informações, consulte Largura de banda da rede da máquina virtual
Os limites máximos não são garantidos. Os limites oferecem orientação para selecionar o tipo de VM certo para o aplicativo pretendido. O desempenho real da rede dependerá de vários fatores, incluindo congestionamento da rede, cargas de aplicativos e configurações de rede. Para obter informações sobre como otimizar a taxa de transferência de rede, consulte Otimizar a taxa de transferência de rede para máquinas virtuais do Azure.
Para alcançar o desempenho de rede esperado no Linux ou Windows, talvez seja necessário selecionar uma versão específica ou otimizar sua VM. Para obter mais informações, consulte Teste de largura de banda/taxa de transferência (NTTTCP).
Informações do acelerador (GPUs, FPGAs, etc.) para cada tamanho