NVIDIA首度公布在Arm架构伺服器上的AI测试结果

依据NVIDIA公布的资料，搭载 NVIDIA AI 平台的电脑在最新一轮的七项推论效能测试中均拔得头筹，这些系统由 NVIDIA 及九个商业生态系合作伙伴所推出，包含阿里巴巴、戴尔科技 (Dell Technologies)、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧与科技 (Hewlett Packard Enterprise)、浪潮 (Inspur)、联想 (Lenovo)、Nettrix 及美超微 (Supermicro)。

推论是电脑运行 AI 软体来辨识物体或进行预测时发生的过程。这是一个使用深度学习模型来筛选资料的过程，以找出人类无法取得的结果。 MLPerf 的推论基准是基于当今最热门的 AI 作业负载和情境，涵盖电脑视觉、医疗影像、自然语言处理、推荐系统与强化学习等。

最新的基准测试结果证明，作为一个 GPU 加速平台，采用 Ampere Altra CPU 的 Arm 架构伺服器在 AI 推论作业方面，提供与类似配置之 x86 架构伺服器几乎相同的效能表现。事实上，在其中一项测试中，Arm 架构伺服器的表现甚至优于类似的 x86 架构系统。

Arm 高效能运算与开发工具部门资深总监 David Lecomber 表示：「作为 MLCommons 的创始成员，Arm 始终致力于发展各项标准和基准，以更好地因应加速运算产业的挑战并激发创新。在最新的推论结果中可以看到，搭载 Arm 架构的 CPU 及 NVIDIA GPU 的 Arm 架构系统，已准备好处理各种资料中心的 AI 作业负载。」

NVIDIA指出， NVIDIA TensorRT 软体可针对 AI 模型进行最佳化调整，以善加利用记忆体并提高运行速度。将它用来进行 MLPerf 测试，其可用于 x86 和 Arm 架构的系统。此外，他们也在这些基准测试中使用 NVIDIA Triton 推论伺服器软体和多执行个体 GPU (MIG) 功能。

由于 NVIDIA 不断改善此软体堆叠，与四个月前的 MLPerf 推论基准测试结果相比，其效能提升 20%，而能源效率亦上升 15%。

關鍵字： NVIDIA