【发现者网】11月21日消息，微软Azure AI基础设施近日宣布迎来全新升级，推出了引人瞩目的ND H100 v5虚拟机系列。这一系列虚拟机搭载了英伟达H100 Tensor Core图形处理单元(GPU)以及低延迟网络，旨在更好地满足日益增加的复杂AI工作负载需求。
据悉，全新发布的Azure ND H100 v5虚拟机系列已经在美国东部和美国中南部Azure区域提供服务。该系列不仅搭载了最新的英伟达H100 Tensor Core GPU，还配备了英伟达Quantum-2 InfiniBand网络，以提供更强大的AI处理性能。作为微软在AI领域深耕的一部分，他们计划在明年将AI优化的4K GPU集群扩展至数十万个全新的GPU。
ND H100 v5 VM虚拟机系列的主要特性包括八个英伟达H100 Tensor Core GPU，相较上一代虚拟机，能够显著提高AI模型的运算速度。此外，该系列选择了第四代英特尔Xeon Scalable处理器，优化了CPU性能，对于AI的训练和推理至关重要。采用英伟达Quantum-2 ConnectX-7 InfiniBand的低延迟网络，每个GPU拥有400Gb/s、每个VM拥有3.2Tb/s的跨节点带宽，进一步提高了数据传输效率。
微软强调，通过采用新的8位FP8浮点数据类型进行矩阵乘法操作，ND H100 v5 VM系列在速度上提升了六倍，比前一代的FP16更为高效。这一系列虚拟机为大型语言模型(如BLOOM 175B端到端模型)提供了最高两倍的推理速度提升，为AI计算提供了更强大的支持。
