NVIDIA 面向企業(yè)級服務器最新推出的 A30 和 A10 GPU 兩大數(shù)據(jù)中心推理新品，今日完成性能首秀，并創(chuàng)下推理新紀錄。
在業(yè)界公認的 AI 性能衡量基準——MLPerf 基準測試中，NVIDIA GPU 在所有類別刷新記錄。
絕大多數(shù)參與數(shù)據(jù)中心及邊緣推理測試的系統(tǒng)均采用 NVIDIA GPU 作為 AI 加速器，少數(shù)則采用高通、賽靈思、Neuchips、Centaur、Arm 等其他芯片商的加速器。
NVIDIA 的兩款新 GPU 集高性能與低功耗于一身，可成為企業(yè)在 AI 推理、訓練、圖形和傳統(tǒng)企業(yè)級計算工作負載等諸多方面的主流選擇。思科、戴爾科技、慧與、浪潮和聯(lián)想預計會從今年夏季開始將這兩款 GPU 集成到其最高容量的服務器中。
一、NVIDIA 在六類算法測試均刷新紀錄
MLPerf 基準測試由圖靈獎得主 David Patterson 聯(lián)合科技公司和全球頂級高校于 2018 年發(fā)起，是業(yè)界首套衡量機器學習軟硬件性能的通用基準，能展示不同 CPU、GPU、加速器組合做展示出的不同性能表現(xiàn)，如今 MLPerf 已成為業(yè)界評測 AI 性能的最主流標準之一。
“隨著 AI 持續(xù)為各行各業(yè)帶來變革，MLPerf 也成為企業(yè)的一項重要工具，能夠助力其在IT基礎設施投資方面做出明智的決策。”NVIDIA 加速計算部門總經(jīng)理兼副總裁 Ian Buck 說，“如今，所有主要 OEM 廠商都提交了 MLPerf 測試結果。”
除 NVIDIA 公司提交的測試結果外，阿里云、戴爾科技、富士通、技嘉科技、慧與、浪潮、聯(lián)想和超微等多家 NVIDIA 合作伙伴也提交了共 360 多項基于 NVIDIA GPU 的測試結果。
最新公布的測試結果顯示，NVIDIA 是唯一一家針對數(shù)據(jù)中心和邊緣類別中的每項測試都提交結果的公司，并在所有 MLPerf 工作負載中均展現(xiàn)出領先的性能。
例如，在數(shù)據(jù)中心基準測試中，NVIDIA A100 的性能表現(xiàn)相較 CPU 提高 17-314 倍，最新發(fā)布的 A10 和 A30 也展現(xiàn)出不錯的測試結果。
相比高通 Cloud AI 100，NVIDIA A100 在 ResNet-50 和 SSD-Large 算法中均展現(xiàn)出更高的性能。
NVIDIA A100、Jetson 系列在邊緣基準測試中展示了全部六類算法測試的結果。
此外，NVIDIA 還開創(chuàng)性地使用 NVIDIA Ampere 架構的多實例 GPU 性能，在單一 GPU 上使用 7 個 MIG 實例，同時運行所有 7 項 MLPerf 離線測試。該配置實現(xiàn)了與單一 MIG 實例獨立運行幾乎相同(98%)的性能。
這些提交結果展示了 MIG 的性能和通用性。基礎設施經(jīng)理可以針對特定應用，配置適當數(shù)量的 GPU 計算，從而讓每個數(shù)據(jù)中心 GPU 都能發(fā)揮最大的效用。
多項提交結果還基于 NVIDIA Triton 推理服務器。該推理服務器支持來自所有主要框架的模型，可在 GPU 及 CPU 上運行，并針對批處理、實時和串流傳輸?shù)炔煌牟樵冾愋瓦M行了優(yōu)化，能簡化在應用中部署 AI 的復雜性，同時保證領先的性能。
在配置相當?shù)那闆r下，采用 Triton 的提交結果所達到的性能接近于最優(yōu)化的 GPU 實現(xiàn)及 CPU 實現(xiàn)能夠達到的性能。
二、A30 和 A10 今夏商用
NVIDIA 能夠取得如此佳績，得益于 NVIDIA AI 平臺的廣度。
該 AI 平臺包含多種類型的 GPU 以及經(jīng)優(yōu)化后能實現(xiàn) AI 加速的全棧 NVIDIA 軟件，包括 TensorRT 和 NVIDIA Triton 推理服務器。微軟、Pinterest、Postmates、T-Mobile、USPS、微信等企業(yè)都部署了 NVIDIA AI 平臺。
A30 和 A10 GPU 是 NVIDIA AI 平臺中的最新成員。
A30 能夠為行業(yè)標準服務器提供通用的性能，支持廣泛的 AI 推理和主流企業(yè)級計算工作負載，如推薦系統(tǒng)、對話式 AI 和計算機視覺。
A10 可加速深度學習推理、交互式渲染、計算機輔助設計和云游戲，使企業(yè)能夠基于通用基礎設施，為混合型 AI 和圖形工作負載提供支持。通過采用 NVIDIA 虛擬 GPU 軟件，可改進管理，為設計師、工程師、藝術家和科學家所用的虛擬桌面提高利用率并完善配置。
NVIDIA Jetson 平臺基于 NVIDIA Xavier 系統(tǒng)級模塊，可在邊緣提供服務器級的 AI 性能，助力機器人、醫(yī)療健康、零售等領域?qū)崿F(xiàn)更多的創(chuàng)新應用。Jetson 基于 NVIDIA 的統(tǒng)一架構和 CUDA-X 軟件堆棧，是唯一采用緊湊型設計、能夠運行所有邊緣工作負載且功耗低于 30W 的平臺。
過去 6 個月，NVIDIA 端到端 AI 平臺在 MLPerf 的性能提升達 45%。
NVIDIA A100 GPU 搭載于領先服務器制造商的服務器、所有主要云服務提供商的云端，以及 NVIDIA DGX 系統(tǒng)產(chǎn)品組合(包括 NVIDIADGX StationA100、NVIDIA DGX A100 和 NVIDIA DGX SuperPOD)。
A30 和 A10(功耗分別為 165W 和 150W)預計將從今夏起用于各類服務器中，包括經(jīng)嚴格測試以確保在各類工作負載下均可實現(xiàn)高性能的 NVIDIA 認證系統(tǒng)。
NVIDIA Jetson AGX Xavier 和 Jetson Xavier NX 系統(tǒng)級模塊已通過全球經(jīng)銷商供貨。
NVIDIA Triton 和 NVIDIA TensorRT 均可通過 NVIDIA 的軟件目錄 NGC 獲取。
結語：MLPerf 參與者集中于芯片大廠
總體來看，參與 MLPerf 基準測試的 AI 加速器主要來自 NVIDIA、高通、賽靈思等芯片巨頭，尤其是 NVIDIA GPU 幾乎刷屏數(shù)據(jù)中心及邊緣的加速器一列，相對而言，我們鮮少看見 AI 硬件初創(chuàng)公司的身影。
NVIDIA 加速計算部門總經(jīng)理兼副總裁 Ian Buck 說：“NVIDIA 及合作伙伴的關注點不僅在于實現(xiàn)全球領先的 AI 性能，同時還注重通過即將面市的一系列搭載 A30 和 A10 GPU 的企業(yè)級服務器來實現(xiàn) AI 普及化。”
