制订行业标准一直是行业老大们热衷于做的事，而在高速发展的AI芯片领域，话语权一直掌握在美国手中。国内有没有自己的行业标准呢？有，但影响力都有限，很难成为国际通用标准。其中，由信通院主导，发改委、科技部、工信部、网信办等多部门背书的AI芯片新标准AIIA DNN benchmark是其中最有可能跑出来的。
几日前，WIFI联盟等通信行业标准联盟组织撤销华为会员资格一事，引起业界哗然。
尽管5月29日这些联盟已经迅速恢复华为资格，但这已经足够令人警醒：不掌握行业标准的话语权，随时可能出局。方兴未艾的AI芯片行业更是如此。
如何检测一块AI芯片的性能？如今最简单直白的方式就是“不服跑个分”。
分数确实是衡量性能的直观方式，而跑分也经常被安卓手机作为衡量性能的重要手段之一，甚至已经从单纯的芯片跑分蔓延至相机跑分。对AI芯片来说，确实也需要一些方式来作为衡量标准，即Benchmark，通过一些基准对芯片进行测评，并以直观的数据等形式来衡量芯片的真实水平。
因此Benchmark的设立某种程度上代表着芯片的行业标准，成为芯片厂商们在设计芯片时瞄准的方向。
1 权威Benchmark缺位，厂商和用户鸡同鸭讲
纵观计算机体系结构的发展史，Benchmark一直在幕后担任着指挥棒的角色，深刻地影响、甚至左右着芯片行业的发展。
远到超算领域的Linpack，CPU界的SPEC，近到GPU世界的3DMark以及智能手机的AnTuTu，不知道有多少公司多少工程师为此而“分”狂。
AI 领域的Benchmark却一直缺乏一个权威有力的平台来给出标准。
对于AI芯片的衡量标准是多维度的，影响一款芯片的性能主要有三个因素：
首先是芯片设计。在芯片设计中，主要的指标是芯片的算力，即每秒的运算次数，一般以TOPS为单位（每秒进行1012次运算），如果将算力比喻成芯片的肌肉，算力只能作为芯片的规模，而不能代表整体的能力。
越多的算力堆砌往往意味着着越高的功耗，而既降低功耗又能达到更好效果才是一块优质芯片的设计方向。此外，系统带宽设计、非深度学习部分的加速等等都是芯片设计的一部分。
第二点是算法优化，例如某个硬件架构不适合某网络，在选择算法时，可以选择其他适合这个硬件的算法网络来实现同样的功能。
第三点是软件代码，即使是在芯片硬件、算法一致的情况下，代码的质量也会影响芯片的实际性能。因此要通过这三方面来评估，缺一不可。
影响因素又多又专业，但芯片好不好终究还是要看使用情况，这或许恰恰是AI芯片至今没有一个权威Benchmark的原因所在。中国信息通信研究院云计算与大数据研究所副主任王蕴韬近日在第三界全球人工智能大会上表示，目前的Benchmark测定标准和真正的客户使用是有距离的。
生厂商和用户一直存在着沟通不畅通的问题。生产商的宣传一般是：首款达到多少倍水平提升的芯片；超高性能，TOPS绝对领先；DSA硬件架构最优等等。但是站在用户的角度，真正在意的是芯片是否匹配自己的业务需求；在部署、适配、扩展的时候能否灵活快速；实际的性价比等等，往往厂商宣传的数据并不是用户首先考虑的点。
因此，AI芯片需要一个符合用户需求的Benchmark，作为芯片消费大国，中国也正在着手推进自己的Benchmark。
2 AI芯片中国版Benchmark 已启动
千里之行，始于一年半前。 2017年10月23日，在国家发改委、科技部、工信部、网信办指导下，由中国信息通信研究院等单位发起的中国人工智能产业发展联盟（AIIA）组织了人工智能芯片Benchmark研讨会，正式启动人工智能芯片Benchmark项目。
该项目由中国信息通信研究院、华为海思、中科院计算所、清华大学、寒武纪、深鉴科技、地平线、旷视科技等共同发起。目前AIIA已经联合阿里巴巴集团、百度、寒武纪科技等多家企业，推出了AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案。
“从联盟的角度来说，我们做不出芯片IP核，也研发不出EDA工具，因此AIIA将目光放在了标准化，我们也希望能借助Benchmark标准化的工作为芯片行业的发展助力。”王蕴韬说。
中国信息通信研究院云计算与大数据研究所副主任王蕴韬
从产业层面来说，Benchmark可以影响到芯片的行业标准，在国际环境下来讲，影响到行业标准即增加了国家在AI芯片领域的话语权。
去年10月，AIIA DNN benchmark v0．5版本正式发布，并于12月开始正式启动。
今年3月6日，AIIA DNN benchmark V0．5首轮评估结果发布，麒麟980和瑞芯微RK3399开发板两款产品作为首批测试芯片，均表现上佳。据王蕴韬介绍，AIIA DNN benchmark希望能统筹产业界和学术界实际应用的网络模型，以基于公开数据集和企业数据集的测试数据为输入，针对芯片的应用场景、应用架构、处理器硬件系统三个维度进行输出。
AIIA DNN benchmark输出的将是一套清晰的指标体系，包括时间、准确率、功率、吞吐量、成本等，并随着Benchmark的发展不断扩充新的指标。
其实AI芯片的Benchmark并不好做，中国信息通信研究院云大所人工智能部副主任孙明俊表示，AI 基准测试方案的制定面临诸多挑战。即便抛开优化程度、硬件架构等若干问题不谈，延迟、带宽、能耗都要纳入考虑范围。
同时，各种神经网络模型都有不同参数，不同设备在不同参数下有不同的输出曲线。如何让指标在不同级别的设备中横向可比？而云端和终端的应用是否需要不同的基准测试？如何为不同测试项目分配权重，以获得一个相对公正客观、有代表性的评分？这些都是应用领域的差异性和实现选择的多样性导致的测评难题。
对于AIIA来说，AIIA DNN benchmark v0．5的推出只是迈出第一步，据悉，V1．0版本也将于年内发布。
3 国产标准的自娱自乐？
其实基于AI芯片的性能测试跑分软件并不少见，阿里的AI matrix、寒武纪的benchip，以及百度的deepbench等等，但这些软件其实并没有站在一个很大的角度来去串联整个人工智能芯片领域。
AIIA DNN benchmark这套系统的目标是站在相对比较客观的角度来进行跑分测试。并且在开源社区Github中也在积极地联系更多具有AI芯片研发和制造能力的科技企业参与其中，通过企业的参与完善并加速AIIA DNN benchmarks版本的迭代。
但是作为一个国际竞争的行业，AI芯片的Benchmark如果只停留在国内，只是在自娱自乐。
某国际芯片厂商的专家表示，从芯片生产商的角度，Benchmark机构的测试需要得到厂商、用户等多方认可，这种较高的商业化程度和业内影响力需要很长时间的积累，国内的Benchmark标准的建立是好事，但是要得到业内的认可尤其是国际厂商的参与，尚需时日。
当然，对于整个中国AI芯片产业来说，拥有多重背景、含着“金钥匙”出身的AIIA DNN benchmark，可能已经是国内最有可能跑出来的行业标准了。
