MLPerf 作为独立第三方基准测试，仍然是 AI 效能的权威衡量标准。自MLPerf成立以来，NVIDIA的AI平台在训练和推论两方面一直保持领先地位，包括今天发布的MLPerf Inference 3.0基准测试。

NVIDIA H100和L4 GPU在最新MLPerf基准测试中，将工作负载提升

NVIDIA 创办人暨执行长黄仁勋表示：「三年前当我们推出A100的时候，人工智慧领域主要是以电脑视觉为主导。生成式人工智慧已经来临。这正是为什麽我们打造了Hopper，针对拥有Transformer引擎的GPT进行了优化。今天的MLPerf 3.0突显出，Hopper的性能是A100的4倍。下一世代生成式人工智慧需要新的人工智慧基础架构来训练大型语言模型，并同时具备极高的能效。客户正在大规模扩展Hopper，透过NVIDIA NVLink和InfiniBand来互通连接数万个Hopper GPU构建人工智慧基础架构。产业正努力发展安全可靠的生成式人工智慧，Hopper能够协助实现这项重要的工作。」

最新MLPerf基准测试显示，NVIDIA将人工智慧推论从云端到边缘的性能和效率提升到新境界。

具体来说，在最新一轮的MLPerf测试中，运行於DGX H100系统中的DGX H100系统中的NVIDIA H100 Tensor Core GPU在每个人工智慧推论测试中均实现了最高性能。人工智慧推论是在生产过程中运行神经网络的工作。归因於软体的优化，此GPU的效能较去年9月份首次亮相时提升了54%。

在医疗保健领域，H100 GPU自9月以来在医疗成像的MLPerf基准3D-UNet (医学图像分割)上实现了31%的效能增长。

NVIDIA H100 GPU 在资料中心类别的所有作业负载测试成果均创下新高

凭藉其Transformer引擎，基於Hopper架构的H100 GPU在BERT方面表现优异，BERT是基於Transformer的大型语言模型，是现今生成式人工智慧获得广泛应用的关键基础。

生成式人工智慧能让使用者能够快速创建文本、图像、3D模型等等，这种能力从新创企业到云服务提供商都在快速采用，以开创新的商业模式并加速现有商业模式的发展。目前数亿人正在使用像ChatGPT这样的生成式人工智慧工具（也是一种Transformer模型），期??获得即时回应。

在这个人工智慧的iPhone时代，推论的效能至关重要。深度学习现在几??被应用到各个领域，从工厂到线上推荐系统，对推理效能有着永无止境的需求。

L4 GPU 速度出众

NVIDIA L4 Tensor Core GPU 在 MLPerf 测试中首次亮相，其速度是上一代 T4 GPU 的 3 倍以上。 这些加速器采用低调外形封装，其设计旨在为几??所有伺服器提供高吞吐量和低延迟。

L4 GPU 运行所有 MLPerf 工作负载。 由於他们支援关键的 FP8 格式，他们在效能要求极高的BERT模型上的结果尤其令人惊叹。

除了出色的人工智慧效能外，L4 GPU还能提供高达10倍更快的图像解码速度，高达3.2倍更快的影片处理速度以及超过4倍更快的图形和即时渲染效能。

两周前的GTC上即宣布，已可从主要系统制造商和云端服务供应商获得这些加速器。L4 GPU是NVIDIA在GTC推出的最新人工智慧推理平台产品组合的最新成员。

软体和网路在系统测试中大放异彩

NVIDIA的全栈人工智慧平台在新的MLPerf测试中展现了其领先地位。所谓的网路划分基准测试会将资料流传输到远端推论伺服器，这反映了企业使用者在云端执行AI工作，并将资料储存到企业防火墙後的常见场景。

在BERT测试中，远端NVIDIA DGX A100系统的表现达到了其最大本地性能的96％，速度变慢的部分原因是它们需要等待 CPU 完成某些任务。而在仅由GPU处理的ResNet-50电脑视觉测试中，它们达到了100％的最隹表现。这两个结果在很大程度上要归功於 NVIDIA Quantum Infiniband 网络、NVIDIA ConnectX SmartNIC 和 NVIDIA GPUDirect 等软体。

Orin 在边缘显示 3.2 倍的效能提升

另外，NVIDIA Jetson AGX Orin 系统模组的能效和性能表现，与前一年的结果相较，分别提高了63%和81%。Jetson AGX Orin 可在有限空间以低功率水平（包括仅由电池供电的系统）提供人工智慧推论。

对於需要更小模块且功耗更低的应用，Jetson Orin NX 16G在其首次亮相的基准测试中表现出色。它提供的性能比上一代Jetson Xavier NX处理器高出多达3.2倍。

广大的 NVIDIA AI 生态系

从 MLPerf 的测试结果便能看出 NVIDIA AI 获得业界最广泛的机器学习生态系支持。

本轮有10家公司在基於 NVIDIA 平台上提交了结果。 他们来自 Microsoft Azure 云端服务和系统制造商，包括像是由华硕（ASUS）、戴尔科技集团（Dell Technologies）、技嘉（GIGABYTE）、新华三集团（H3C）、联想（Lenovo）、宁畅信息产业（北京）有限公司（Nettrix）、美超微（Supermicro）和超聚变数字技术有限公司（xFusion）。

它们的测试结果显示，无论是在云端或在用户自己的资料中心伺服器上，使用NVIDIA AI 获得绝隹效能。

NVIDIA 的合作夥伴深知，MLPerf 是一项让客户用於评估 AI 平台及供应商的宝贵工具，因此才会加入测试。最新一轮的结果显示，他们如今提供给用户的出色效能，将随着 NVIDIA 平台的发展而更将持续强化。

使用者需要多样化的效能

NVIDIA AI是唯一能在资料中心和边缘运算中执行所有MLPerf推论工作负载和情境的平台。其多功能的效能与效率，让使用者成为真正的赢家。

现实应用通常使用许多不同类型的神经网路，这些神经网路通常需要即时提供出答案。例如，AI 应用可能需要理解使用者的囗语请求，对图像进行分类，进行推荐，然後以类人声的语音传递回应。每个步骤都需要不同类型的 AI 模型。MLPerf基准测试涵盖这些和其他常见的AI工作负载。也就是这些测试何以确保IT决策者能获得既可靠且可以灵活部署的效能。

使用者可依据 MLPerf 结果做出明智的购买决定，因为这些测试是透明和客观的。 这些基准测试得到了包括 Arm、百度、Facebook AI、Google、哈佛、Intel、微软、史丹福和多伦多大学在内的广大团体支持。