NVIDIA H100 Tensor核心GPU在MLPerf人工智慧（AI）基準測試初登場，便在各項推論作業負載創下世界紀錄，其效能較前一代GPU高出達4.5倍。此測試結果顯示，對於先進AI模型有最高效能需求的用戶來說，Hopper就是首選產品。

NVIDIA Hopper在MLPerf人工智慧推論基準測試初登場即創新世界紀錄

此外，NVIDIA A100 Tensor核心GPU及用於開發AI機器人的NVIDIA Jetson AGX Orin模組在影像和語音辨識、自然語言處理和推薦系統等所有MLPerf測試項目中，整體推論表現持續領先群雄。

亦稱為Hopper的H100，在本輪測試的六個神經網路中提高單一加速器的效能標準。它在獨立伺服器和離線的情況下，在傳輸量和速度皆展現領先優勢。NVIDIA Hopper架構的效能較NVIDIA Ampere架構的GPU高出4.5倍，在MLPerf測試結果中持續保持全面領先地位。

Hopper在熱門的BERT自然語言處理模型上的出色表現，部分要歸功於它的Transformer引擎。BERT自然語言處理模型是MLPerf AI模型中規模最大、對效能要求最高的模型之一。這些推論基準測試是H100 GPU的首次公開展示，此產品將在今年底上市。H100 GPU將參與MLPerf日後的訓練測試。

各大雲端服務供應商與系統製造商已採用的NVIDIA A100 GPU，在最新的AI推論測試中依舊位居主流效能的領導地位。在資料中心與邊緣運算的類別和情境中，A100 GPU的成績比其他參與者提交的測試結果都更為突出。A100在六月的MLPerf訓練基準測試中一馬當先，展現處理整個AI工作流程的出色能力。

A100 GPU自2020年7月首次參與MLPerf基準測試以來，隨著NVIDIA AI軟體持續改善，效能已經提高6倍。NVIDIA AI是在資料中心與邊緣運算中，唯一能夠運行所有MLPerf推論作業負載和情境的平台。

NVIDIA GPU能夠在各大AI模型上提供頂尖效能，讓用戶成為真正的贏家。他們在真實世界中的應用通常會用到多種神經網路。例如，AI應用程式可能要理解使用者的口語請求、對影像進行分類、提出建議，然後用聽起來像人的聲音做出回應。每一步都要用到不同類型的AI模型。

MLPerf基準測試涵蓋這些AI模型及其它熱門的AI作業負載和情境，像是電腦視覺、自然語言處理、推薦系統、語音辨識等。這些測試確保用戶能獲得可靠且靈活的效能來進行部署。

MLPerf基準測試具透明度且客觀，也因此用戶仰賴這些測試結果以做出明智的採購決策。亞馬遜（Amazon）、Arm、百度（Baidu）、Google、哈佛大學（Harvard）、英特爾（Intel）、Meta、微軟（Microsoft）、史丹佛大學（Stanford）與多倫多大學（University of Toronto）等眾多業者與學術單位皆對MLPerf表達支持。

NVIDIA Orin運行MLPerf邊緣運算類別的每一項基準測試，多項表現更勝於其他低功耗系統單晶片。相較於四月時首次參與MLPerf測試，這次的能源效率提高多達50%。在前一回合的測試中，Orin的運行速度比上一代Jetson AGX Xavier模組快5倍，而能源效率平均高出2倍。

Orin將NVIDIA Ampere架構GPU與強大的Arm CPU核心叢集整合到單一晶片內。已可在用於開發機器人和自主系統的NVIDIA Jetson AGX Orin開發套件及生產模組中取得，並支援完整的NVIDIA AI軟體堆疊，包括用於自動駕駛車（NVIDIA Hyperion）、醫療設備（Clara Holoscan）與機器人（Isaac）的多個平台。

從MLPerf的測試結果便能看出NVIDIA AI獲得業界最廣泛的機器學習生態系支持。在本輪測試中，有超過七十份測試結果是透過NVIDIA的平台運行，像是微軟Azure即提交在其雲端服務中運行NVIDIA AI的成果。

此外，由華碩（ASUS）、戴爾科技集團（Dell Technologies）、富士通（Fujitsu）、技嘉（GIGABYTE）、慧與科技（Hewlett Packard Enterprise）、聯想（Lenovo）及美超微（Supermicro）等十家系統製造商推出的19款NVIDIA認證系統亦參與本次測試。

它們的測試結果顯示，無論是在雲端或在用戶自己的資料中心伺服器上，NVIDIA AI都能為用戶提供絕佳效能。NVIDIA的合作夥伴深知，MLPerf是一項讓客戶用於評估AI平台及供應商的寶貴工具，因此才會加入測試。最新一輪的結果顯示，他們如今提供給用戶的出色效能，將隨著NVIDIA平台的發展而更將持續強化。

於此次測試中使用的各種軟體公開於MLPerf資源庫，每個人都能取得這些世界級的成果。我們不斷將最佳化結果放入NGC（GPU加速軟體目錄）的容器中。用來為本次提交的AI推論測試結果進行最佳化的NVIDIA TensorRT也能在NGC中取得。