NVIDIA H100 Tensor核心GPU在MLPerf人工智慧（AI）基准测试初登场，便在各项推论作业负载创下世界纪录，其效能较前一代GPU高出达4.5倍。此测试结果显示，对於先进AI模型有最高效能需求的用户来说，Hopper就是首选产品。

NVIDIA Hopper在MLPerf人工智慧推论基准测试初登场即创新世界纪录

此外，NVIDIA A100 Tensor核心GPU及用於开发AI机器人的NVIDIA Jetson AGX Orin模组在影像和语音辨识、自然语言处理和推荐系统等所有MLPerf测试项目中，整体推论表现持续领先群雄。

亦称为Hopper的H100，在本轮测试的六个神经网路中提高单一加速器的效能标准。它在独立伺服器和离线的情况下，在传输量和速度皆展现领先优势。NVIDIA Hopper架构的效能较NVIDIA Ampere架构的GPU高出4.5倍，在MLPerf测试结果中持续保持全面领先地位。

Hopper在热门的BERT自然语言处理模型上的出色表现，部分要归功於它的Transformer引擎。BERT自然语言处理模型是MLPerf AI模型中规模最大、对效能要求最高的模型之一。这些推论基准测试是H100 GPU的首次公开展示，此产品将在今年底上市。H100 GPU将叁与MLPerf日後的训练测试。

各大云端服务供应商与系统制造商已采用的NVIDIA A100 GPU，在最新的AI推论测试中依旧位居主流效能的领导地位。在资料中心与边缘运算的类别和情境中，A100 GPU的成绩比其他叁与者提交的测试结果都更为突出。A100在六月的MLPerf训练基准测试中一马当先，展现处理整个AI工作流程的出色能力。

A100 GPU自2020年7月首次叁与MLPerf基准测试以来，随着NVIDIA AI软体持续改善，效能已经提高6倍。NVIDIA AI是在资料中心与边缘运算中，唯一能够运行所有MLPerf推论作业负载和情境的平台。

NVIDIA GPU能够在各大AI模型上提供顶尖效能，让用户成为真正的赢家。他们在真实世界中的应用通常会用到多种神经网路。例如，AI应用程式可能要理解使用者的囗语请求、对影像进行分类、提出建议，然後用听起来像人的声音做出回应。每一步都要用到不同类型的AI模型。

MLPerf基准测试涵盖这些AI模型及其它热门的AI作业负载和情境，像是电脑视觉、自然语言处理、推荐系统、语音辨识等。这些测试确保用户能获得可靠且灵活的效能来进行部署。

MLPerf基准测试具透明度且客观，也因此用户仰赖这些测试结果以做出明智的采购决策。亚马逊（Amazon）、Arm、百度（Baidu）、Google、哈佛大学（Harvard）、英特尔（Intel）、Meta、微软（Microsoft）、史丹佛大学（Stanford）与多伦多大学（University of Toronto）等众多业者与学术单位皆对MLPerf表达支持。

NVIDIA Orin运行MLPerf边缘运算类别的每一项基准测试，多项表现更胜於其他低功耗系统单晶片。相较於四月时首次叁与MLPerf测试，这次的能源效率提高多达50%。在前一回合的测试中，Orin的运行速度比上一代Jetson AGX Xavier模组快5倍，而能源效率平均高出2倍。

Orin将NVIDIA Ampere架构GPU与强大的Arm CPU核心丛集整合到单一晶片内。已可在用於开发机器人和自主系统的NVIDIA Jetson AGX Orin开发套件及生产模组中取得，并支援完整的NVIDIA AI软体堆叠，包括用於自动驾驶车（NVIDIA Hyperion）、医疗设备（Clara Holoscan）与机器人（Isaac）的多个平台。

从MLPerf的测试结果便能看出NVIDIA AI获得业界最广泛的机器学习生态系支持。在本轮测试中，有超过七十份测试结果是透过NVIDIA的平台运行，像是微软Azure即提交在其云端服务中运行NVIDIA AI的成果。

此外，由华硕（ASUS）、戴尔科技集团（Dell Technologies）、富士通（Fujitsu）、技嘉（GIGABYTE）、慧与科技（Hewlett Packard Enterprise）、联想（Lenovo）及美超微（Supermicro）等十家系统制造商推出的19款NVIDIA认证系统亦叁与本次测试。

它们的测试结果显示，无论是在云端或在用户自己的资料中心伺服器上，NVIDIA AI都能为用户提供绝隹效能。NVIDIA的合作夥伴深知，MLPerf是一项让客户用於评估AI平台及供应商的宝贵工具，因此才会加入测试。最新一轮的结果显示，他们如今提供给用户的出色效能，将随着NVIDIA平台的发展而更将持续强化。

於此次测试中使用的各种软体公开於MLPerf资源库，每个人都能取得这些世界级的成果。我们不断将最隹化结果放入NGC（GPU加速软体目录）的容器中。用来为本次提交的AI推论测试结果进行最隹化的NVIDIA TensorRT也能在NGC中取得。