NVIDIA刷新AI推理记录，推出大杀招，六类AI算法通杀

一、NVIDIA在六类算法测试均刷新纪录

MLPerf基准测试由图灵奖得主David Patterson联合科技公司和全球顶级高校于2018年发起，是业界首套衡量机器学习软硬件性能的通用基准，能展示不同CPU、GPU、加速器组合做展示出的不同性能表现，如今MLPerf已成为业界评测AI性能的最主流标准之一。

“随着AI持续为各行各业带来变革，MLPerf也成为企业的一项重要工具，能够助力其在IT基础设施投资方面做出明智的决策。”NVIDIA加速计算部门总经理兼副总裁Ian Buck说，“如今，所有主要OEM厂商都提交了MLPerf测试结果。”

除NVIDIA公司提交的测试结果外，阿里云、戴尔科技、富士通、技嘉科技、慧与、浪潮、联想和超微等多家NVIDIA合作伙伴也提交了共360多项基于NVIDIA GPU的测试结果。

最新公布的测试结果显示，NVIDIA是唯一一家针对数据中心和边缘类别中的每项测试都提交结果的公司，并在所有MLPerf工作负载中均展现出领先的性能。

例如，在数据中心基准测试中，NVIDIA A100的性能表现相较CPU提高17-314倍，最新发布的A10和A30也展现出不错的测试结果。

此外，NVIDIA还开创性地使用NVIDIA Ampere架构的多实例GPU性能，在单一GPU上使用7个MIG实例，同时运行所有7项MLPerf离线测试。该配置实现了与单一MIG实例独立运行几乎相同（98%）的性能。

这些提交结果展示了MIG的性能和通用性。基础设施经理可以针对特定应用，配置适当数量的GPU计算，从而让每个数据中心GPU都能发挥最大的效用。

多项提交结果还基于NVIDIA Triton推理服务器。该推理服务器支持来自所有主要框架的模型，可在GPU及CPU上运行，并针对批处理、实时和串流传输等不同的查询类型进行了优化，能简化在应用中部署AI的复杂性，同时保证领先的性能。

在配置相当的情况下，采用Triton的提交结果所达到的性能接近于最优化的GPU实现及CPU实现能够达到的性能。

二、A30和A10今夏商用

NVIDIA能够取得如此佳绩，得益于NVIDIA AI平台的广度。

该AI平台包含多种类型的GPU以及经优化后能实现AI加速的全栈NVIDIA软件，包括TensorRT和NVIDIA Triton推理服务器。微软、Pinterest、Postmates、T-Mobile、USPS、微信等企业都部署了NVIDIA AI平台。
 

（编辑：焦作站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!