中国信通院牵头编制的全球首个AI 芯片基准测试国际标准正式发布

  近年来，AI芯片发展呈现出百花齐放的态势，然而在产业成熟度、落地应用等方面仍存在诸多问题。其中，AI芯片的选型就是当前AI企业面临的一大难题，建立AI芯片测评标准已成为助力AI产业健康发展的一大诉求。基准测试是一种常用的性能指标测试方式，在计算架构演进中扮演着很重要的角色，清晰的基准测试指标，不但可以帮助技术供给企业快速进步，还可为需求方的选型提供参考。

  目前，AI芯片的评测，国际上主流的有MLPerf，苏黎世理工的AI benchmark，国内有中国人工智能产业发展联盟（以下简称“AIIA”或“联盟”）的 AIIA DNN benchmark，小米的Mobile AI bench, 中科院计算所智能计算机研究中心的NPUBench等。这些评测多数属于基准测试的范畴，由于这些基准测试的出发点不同，设计的思路，基准测试的内容和评估指标也都不完全一样，业界尚未有公认的基准测试标准。权威基准测试标准的缺失，某些特定的程度上导致了AI应用企业、集成商、开发者无法准确评价芯片在同行业的技术水平，也无法体现国际市场中的地位。

  该项国际标准由中国信息通信研究院牵头，于2019年7月在国际电信联盟第十六研究组（简称ITU-T SG16）Q5 报告人会议上提出立项，并担任编辑人（Editor），历时近1年，经过多轮讨论修订，于2020年6月22日-7月3日，举行的ITU-T SG16全员会议提交报批并通过全会审议进入公示阶段，于2020年8月正式发布。

  其评测方法、评测指标及场景参考并采纳了联盟评估规范、AIIA DNN benchmark项目相关研究和中国通信化标准协会行业标准的相关联的内容，参与单位包括华为、腾讯、Arm中国、寒武纪、阿里巴巴、百度、Intel、赛灵思、Imagination、紫光展锐、鲲云科技、地平线、南京新一代、燧原科技、西安交通大学、清华大学等20余家企业、高校及科研机构。

  AI 芯片基准测试国际标准的正式发布，标志着我国在AI芯片领域评测能力得到了国际认可，也是我国AI芯片科研人员对国际标准化研究的重要贡献，将为我国AI芯片技术、产品和评测走出国门开辟了道路。

  ITU（国际电信联盟）为三大国际标准化组织之一，ITU-T即国际电信联盟电信标准分局 (ITU-T for ITU Telecommunication Standardization Sector), 它是ITU管理下的专门制定电信标准的分支机构。ITU-T SG16是国际电信联盟标准化局非常活跃的研究组，主要研究领域为多媒体与e-Services。目前，SG16的研究范围覆盖了视频与音频处理与压缩编码、视频监控、内容分发、大数据、区块链、人工智能等众多热点标准化研究方向。

  2017年起，中国信息通信研究院联合20余家国内外企业、高校及科研机构，在联盟下发起AI芯片基准测试评估项目AIIA DNN benchmark，目标是围绕人工智能芯片研究制定客观、可信及可复现的评估指标，为产业界提供专业评估评测服务。目前AIIA DNN benchmark已初步形成端+云全方位基准测试方案，来自华为、Arm中国、高通、赛灵思、Imagination、启英泰伦、鲲云科技、上海海思等企业的AI芯片参与了评估评测，项目受到了国内外产业界的广泛认可。