NVIDIA 首度公布在 Arm 架構伺服器上的人工智慧推論效能測試結果，根據今天公布的基準測試結果，NVIDIA 在使用 x86 或 Arm 架構的 CPU 進行人工智慧 (AI) 推論方面取，得最佳成績。這也是資料中心類別首次在 Arm 架構系統上進行測試。

/news/2021/09/23/1700056720S.jpg

依據NVIDIA公布的資料，搭載 NVIDIA AI 平台的電腦在最新一輪的七項推論效能測試中均拔得頭籌，這些系統由 NVIDIA 及九個商業生態系合作夥伴所推出，包含阿里巴巴、戴爾科技 (Dell Technologies)、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧與科技 (Hewlett Packard Enterprise)、浪潮 (Inspur)、聯想 (Lenovo)、Nettrix 及美超微 (Supermicro)。

推論是電腦運行 AI 軟體來辨識物體或進行預測時發生的過程。這是一個使用深度學習模型來篩選資料的過程，以找出人類無法取得的結果。MLPerf 的推論基準是基於當今最熱門的 AI 作業負載和情境，涵蓋電腦視覺、醫療影像、自然語言處理、推薦系統與強化學習等。

最新的基準測試結果證明，作為一個 GPU 加速平台，採用 Ampere Altra CPU 的 Arm 架構伺服器在 AI 推論作業方面，提供與類似配置之 x86 架構伺服器幾乎相同的效能表現。事實上，在其中一項測試中，Arm 架構伺服器的表現甚至優於類似的 x86 架構系統。

Arm 高效能運算與開發工具部門資深總監 David Lecomber 表示：「作為 MLCommons 的創始成員，Arm 始終致力於發展各項標準和基準，以更好地因應加速運算產業的挑戰並激發創新。在最新的推論結果中可以看到，搭載 Arm 架構的 CPU 及 NVIDIA GPU 的 Arm 架構系統，已準備好處理各種資料中心的 AI 作業負載。」

NVIDIA指出， NVIDIA TensorRT 軟體可針對 AI 模型進行最佳化調整，以善加利用記憶體並提高運行速度。將它用來進行 MLPerf 測試，其可用於 x86 和 Arm 架構的系統。此外，他們也在這些基準測試中使用 NVIDIA Triton 推論伺服器軟體和多執行個體 GPU (MIG) 功能。

由於 NVIDIA 不斷改善此軟體堆疊，與四個月前的 MLPerf 推論基準測試結果相比，其效能提升 20%，而能源效率亦上升 15%。