NVIDIA发表最新MLPerf测试成绩,Jetson AGX Orin取得边缘AI效能领先

NVIDIA发表最新MLPerf测试成绩,Jetson AGX Orin取得边缘AI效能领先

采用Ampere架构的NVIDIA Orin低功耗SoC在MLPerf效能测试中创下AI推论新记录,推升了边缘AI运算的效能标杆。

Orin也加入MLPerf性能测试

MLPerf是由学术界、研究实验室和业界人士共同组成组织,旨在打造公正且能够反映实际应用情境的AI运算测试基准。 在最新的MLPerf 2.0规范中,在边缘运算环境导入多数据流(Multi Stream)测试项目,测量边缘运算装置在多摄影机、多感应器情境的效能表现,以得到更贴近真实使用情况的数据。

Orin是针对边缘AI运算设计的低功耗SoC,除了能搭配Hyperion自驾车平台应于车用电脑,也适合多种机器人应用。 在最新MLPerf 2.0性能测试中,Jetson AGX Orin的效能最高可达前代Jetson AGX Xavier的5倍,同时提供平均2倍的电力效率。

MLPerf测试包含推荐系统、自然语言处理、语音识别、医学影像、影像分类、对象侦测等多个项目。▲ MLPerf测试包含推荐系统、自然语言处理、语音识别、医学影像、影像分类、对象侦测等多个项目。

MLPerf 2.0导入多资料流(Multi Stream)测试项目,测量边缘运算装置在多摄影机、多感应器情境的效能表现。▲ MLPerf 2.0导入多资料流(Multi Stream)测试项目,测量边缘运算装置在多摄影机、多感应器情境的效能表现。

根据最新MLPerf 2.0性能测试,Jetson AGX Orin的效能最高可达前代Jetson AGX Xavier的5倍,同时提供平均2倍的电力效率。▲ 根据最新MLPerf 2.0性能测试,Jetson AGX Orin的效能最高可达前代Jetson AGX Xavier的5倍,同时提供平均2倍的电力效率。

Jetson AGX Orin的性能表现也高于竞争对手Qualcomm Cloud AI100 DM.2。▲ Jetson AGX Orin的性能表现也高于竞争对手Qualcomm Cloud AI100 DM.2。

同为PCIe适配器型式的产品NVIDIA A100也有高于Qualcomm Cloud AI100 PCIe的表现。▲ 同为PCIe适配器型式的产品NVIDIA A100也有高于Qualcomm Cloud AI100 PCIe的表现。

各测试项目中A100的性能皆领先Cloud AI100 PCIe,但部分项目的电力效率落后。▲ 各测试项目中A100的效能皆领先Cloud AI100 PCIe,但部分项目的电力效率落后。

在特定项目中,NVIDIA A100甚至有105倍于处理器的AI运算效能。▲ 在特定项目中,NVIDIA A100甚至有105倍于处理器的AI运算效能。

从测试数据可以看到多执行个体 GPU 仅会损失 2% 的效能。▲ 从测试数据可以看到多执行个体 GPU仅会损失2%的效能。

NVIDIA也透过数据表示现有的A100 GPU在众多测试项目都有出色表现,而且NVIDIA是唯一在所有MLPerf测试中都有提交成绩的公司,并透过测试成绩说明多执行个体 GPU(Multi-Instance GPU,MIG)能在几乎不影响效能的前提下进行GPU的虚拟化,增加使用弹性。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表评论

登录后才能评论