NVIDIA 面向企業級服務器最新推出的 A30 和 A10 GPU 兩大數據中心推理新品，今日完成性能首秀，并創下推理新紀錄。
在業界公認的 AI 性能衡量基準——MLPerf 基準測試中，NVIDIA GPU 在所有類別刷新記錄。
絕大多數參與數據中心及邊緣推理測試的系統均采用 NVIDIA GPU 作為 AI 加速器，少數則采用高通、賽靈思、Neuchips、Centaur、Arm 等其他芯片商的加速器。
NVIDIA 的兩款新 GPU 集高性能與低功耗于一身，可成為企業在 AI 推理、訓練、圖形和傳統企業級計算工作負載等諸多方面的主流選擇。思科、戴爾科技、慧與、浪潮和聯想預計會從今年夏季開始將這兩款 GPU 集成到其最高容量的服務器中。
一、NVIDIA 在六類算法測試均刷新紀錄
MLPerf 基準測試由圖靈獎得主 David Patterson 聯合科技公司和全球頂級高校于 2018 年發起，是業界首套衡量機器學習軟硬件性能的通用基準，能展示不同 CPU、GPU、加速器組合做展示出的不同性能表現，如今 MLPerf 已成為業界評測 AI 性能的最主流標準之一。
“隨著 AI 持續為各行各業帶來變革，MLPerf 也成為企業的一項重要工具，能夠助力其在IT基礎設施投資方面做出明智的決策。”NVIDIA 加速計算部門總經理兼副總裁 Ian Buck 說，“如今，所有主要 OEM 廠商都提交了 MLPerf 測試結果。”
除 NVIDIA 公司提交的測試結果外，阿里云、戴爾科技、富士通、技嘉科技、慧與、浪潮、聯想和超微等多家 NVIDIA 合作伙伴也提交了共 360 多項基于 NVIDIA GPU 的測試結果。
最新公布的測試結果顯示，NVIDIA 是唯一一家針對數據中心和邊緣類別中的每項測試都提交結果的公司，并在所有 MLPerf 工作負載中均展現出領先的性能。
例如，在數據中心基準測試中，NVIDIA A100 的性能表現相較 CPU 提高 17-314 倍，最新發布的 A10 和 A30 也展現出不錯的測試結果。
相比高通 Cloud AI 100，NVIDIA A100 在 ResNet-50 和 SSD-Large 算法中均展現出更高的性能。
NVIDIA A100、Jetson 系列在邊緣基準測試中展示了全部六類算法測試的結果。
此外，NVIDIA 還開創性地使用 NVIDIA Ampere 架構的多實例 GPU 性能，在單一 GPU 上使用 7 個 MIG 實例，同時運行所有 7 項 MLPerf 離線測試。該配置實現了與單一 MIG 實例獨立運行幾乎相同(98%)的性能。
這些提交結果展示了 MIG 的性能和通用性。基礎設施經理可以針對特定應用，配置適當數量的 GPU 計算，從而讓每個數據中心 GPU 都能發揮最大的效用。
多項提交結果還基于 NVIDIA Triton 推理服務器。該推理服務器支持來自所有主要框架的模型，可在 GPU 及 CPU 上運行，并針對批處理、實時和串流傳輸等不同的查詢類型進行了優化，能簡化在應用中部署 AI 的復雜性，同時保證領先的性能。
在配置相當的情況下，采用 Triton 的提交結果所達到的性能接近于最優化的 GPU 實現及 CPU 實現能夠達到的性能。
二、A30 和 A10 今夏商用
NVIDIA 能夠取得如此佳績，得益于 NVIDIA AI 平臺的廣度。
該 AI 平臺包含多種類型的 GPU 以及經優化后能實現 AI 加速的全棧 NVIDIA 軟件，包括 TensorRT 和 NVIDIA Triton 推理服務器。微軟、Pinterest、Postmates、T-Mobile、USPS、微信等企業都部署了 NVIDIA AI 平臺。
A30 和 A10 GPU 是 NVIDIA AI 平臺中的最新成員。
A30 能夠為行業標準服務器提供通用的性能，支持廣泛的 AI 推理和主流企業級計算工作負載，如推薦系統、對話式 AI 和計算機視覺。
A10 可加速深度學習推理、交互式渲染、計算機輔助設計和云游戲，使企業能夠基于通用基礎設施，為混合型 AI 和圖形工作負載提供支持。通過采用 NVIDIA 虛擬 GPU 軟件，可改進管理，為設計師、工程師、藝術家和科學家所用的虛擬桌面提高利用率并完善配置。
NVIDIA Jetson 平臺基于 NVIDIA Xavier 系統級模塊，可在邊緣提供服務器級的 AI 性能，助力機器人、醫療健康、零售等領域實現更多的創新應用。Jetson 基于 NVIDIA 的統一架構和 CUDA-X 軟件堆棧，是唯一采用緊湊型設計、能夠運行所有邊緣工作負載且功耗低于 30W 的平臺。
過去 6 個月，NVIDIA 端到端 AI 平臺在 MLPerf 的性能提升達 45%。
NVIDIA A100 GPU 搭載于領先服務器制造商的服務器、所有主要云服務提供商的云端，以及 NVIDIA DGX 系統產品組合(包括 NVIDIADGX StationA100、NVIDIA DGX A100 和 NVIDIA DGX SuperPOD)。
A30 和 A10(功耗分別為 165W 和 150W)預計將從今夏起用于各類服務器中，包括經嚴格測試以確保在各類工作負載下均可實現高性能的 NVIDIA 認證系統。
NVIDIA Jetson AGX Xavier 和 Jetson Xavier NX 系統級模塊已通過全球經銷商供貨。
NVIDIA Triton 和 NVIDIA TensorRT 均可通過 NVIDIA 的軟件目錄 NGC 獲取。
結語：MLPerf 參與者集中于芯片大廠
總體來看，參與 MLPerf 基準測試的 AI 加速器主要來自 NVIDIA、高通、賽靈思等芯片巨頭，尤其是 NVIDIA GPU 幾乎刷屏數據中心及邊緣的加速器一列，相對而言，我們鮮少看見 AI 硬件初創公司的身影。
NVIDIA 加速計算部門總經理兼副總裁 Ian Buck 說：“NVIDIA 及合作伙伴的關注點不僅在于實現全球領先的 AI 性能，同時還注重通過即將面市的一系列搭載 A30 和 A10 GPU 的企業級服務器來實現 AI 普及化。”
