人工智能行业核心技术产业白皮书：深度学习技术驱动下的人工智能时代.pdf

人工智能人工智能核心技术产业核心技术产业白皮书白皮书深度学习技术驱动下的人工智能时代深度学习技术驱动下的人工智能时代中国信息通信研究院中国信息通信研究院中国人工智能产业发展联盟中国人工智能产业发展联盟20212021 年年 4 4 月月rQzRxOoNqPtQrPoQvNnRnQ6McM8OmOpPmOnMfQqQqMjMmOsQ8OrQpQwMtQsNvPqMrP前前 言言今天，人工智能已经成为全球最为活跃的创新领域，对经济社会的发展影响深远。自 2012 年以来，以深度学习为代表的人工智能技术与产业浪潮汹涌澎湃，新的算法技术层出不穷，图像识别、机器翻译等智能任务水平逼近人类，技术红利快速释放，已在多个领域初具应用成效。在过去一年中，人工智能的新算法不断涌现，深度学习仍是这一时期发展主线，尝试解决更为复杂的应用任务。人工智能的产业格局与生态体系更为明晰，开源开发框架格局逐步确立，以科技巨头引领的生态系统垂直整合速度不断加快；同时，产业发展重心开始转变，企业比拼重点从单项技术的“理论”准确率转向应用场景白热化的“跑马圈地”；人工智能的技术应用开始全面覆盖日常生活、科学研究、社会治理、商业创新和国家安全等经济社会的关键领域，以空前的广度和深度推动社会发展。然而，由于人工智能技术成熟周期相对较长，产业发展速度不及资本市场预期，资本热度开始减退。人工智能产业似乎显现出“陷入困境”与“高速发展”的矛盾现象。在此背景下，我院发布人工智能核心技术产业白皮书，探讨以深度学习技术为主要驱动力的人工智能发展状况、技术创新重点与产业发展趋势，总结十三五期间我国发展情况，提出十四五期间的发展方向与机遇，以期与业界分享，共同推动我国人工智能的技术创新与产业发展。编制说明本白皮书撰写过程中获得了众多专家的指导和帮助。北京百度网讯科技有限公司、上海依图网络科技有限公司、科大讯飞股份有限公司、北京旷视科技有限公司、商汤智能产业研究院、京东科技集团、中国电信股份有限公司研究院、阿里云计算有限公司、华为技术有限公司、中兴通讯股份有限公司、出门问问信息科技有限公司、中科寒武纪科技股份有限公司、北京澎思科技有限公司、新华三人工智能科技有限公司等单位的专家在白皮书成稿过程中提出了许多建设性意见，在此一并致谢。（排名不分先后）目目 录录一、人工智能核心技术产业发展总体态势.1（一）深度学习技术进入升级优化阶段，产业开始步入高速发展阶段.1（二）寒冬并非低谷，产业生态已现加速构建态势.1（三）人工智能以空前广度与深度推动社会发展，加速产业结构升级进程.4二、人工智能技术创新重点.5（一）深度学习试图从多角度融合创新，开启认知时代仍在探索.5（二）任务场景愈加复杂，倒逼学习方式多元化发展.8（三）深度神经网络理论体系尝试颠覆性创新，多分支融合趋势渐显.9（四）预训练模型加速演进，试图实现语言处理领域的通用智能.10（五）模型小型化成为提升模型运行效率的关键.11（六）深度学习应用加速推动智能计算革命.12三、人工智能产业发展趋势.12（一）从谋求单点技术的“极致”，向场景化综合生态发展.12（二）以科技巨头引领的产业垂直整合速度不断加快.14（三）开发框架格局逐步清晰，已从百花齐放向几家分争转变.15（四）以研发和技术服务为核心，产业开始打造平台化发展模式.18（五）智能计算产业形态初显，呈现蓬勃发展态势.20（六）全球数据鸿沟仍在加大，开放共享机制与数据服务能力加速构建.22（七）以开源开发框架为核心的生态体系雏形渐显，多种小生态同步形成.24四、我国人工智能发展重点与机遇.26（一）十三五期间我国总体发展情况.26（二）十四五期间我国发展方向与机遇.29图图 目目 录录图 1 全球融资轮次数量分布.2图 2 人工智能规模经济 S 曲线.4图 3 人工智能技术发展阶段.8图 4 垂直一体化布局.15图 5 开源框架发展历程.16图 6 技术体系按创新程度和突破难度分级.30表表 目目 录录表 1主要开源框架活跃情况.16人工智能核心技术产业白皮书1一、一、人工智能核心技术产业发展总体态势人工智能核心技术产业发展总体态势（一）（一）深度学习技术进入升级优化阶段，产业开始步入深度学习技术进入升级优化阶段，产业开始步入高速发展阶段高速发展阶段人工智能技术体系与产业体系错位发展，深度学习理论突破速度逐步放缓，产业开始步入高速发展阶段。目前，本轮深度学习理论突破速度开始放缓，技术红利的持续释放驱动图像分类、机器翻译等多类感知任务准确率大幅增长，步入升级优化期。人工智能本轮爆发初期主要在探讨算法理论的可能性，聚焦探索强化学习、迁移学习等新的学习方式以及 AlexNet、VGG、GoogLeNet 等结构多样的算法模型；算法理论的不确定性和技术的不成熟耗费产业界大量精力和时间，阻碍人工智能大规模应用进程。目前，产业开始步入高速发展时期，2020年技术标志性生产工具 TensorFlow 框架下载量爆发式增长，仅一个月1超 1000 万次，占发布四年半下载总量（1 个亿+）的十分之一；同时，技术成本快速下降，同等算法水平所需计算量每八个月降低一倍，成本降低百倍，业内涌现出研发平台、技术服务平台等多样化的平台形态，工程技术正在引领产业快速发展。（二）（二）寒冬并非低谷，产业生态已现加速构建态势寒冬并非低谷，产业生态已现加速构建态势资本寒冬已经出现。其中，预期过高是主要原因。人工智能企业增速明显放缓，2019、2020 年全球每年新增人工智能企业数量已不足 100 家2 2，且投融资的轮次后移趋势不断扩大。2020 年 B 轮及以上融资笔数占总笔数的 62.3%，较上一年增长 40%以上。同时，曾获大笔融资的知名创新企业由于预期过高、虚假宣传等原因退出产业舞台。曾对标英特尔的芯片企业 Wave Computing，是人工智能计算领1根据 2020 年 4 月 TensorFlow 官方发布数据显示。2数据来源：中国信息通信研究院。人工智能核心技术产业白皮书2域最受关注的独角兽之一，2020 年 4 月由于数据流处理器性能不达预期而宣告破产；智能会计工具 ScaleFactor 宣称利用人工智能技术自动化生成财务报表，但实际却部分采用人工外包方式处理，在融资1 亿美元后于 2020 年 3 月宣告倒闭。此外，资本早期对人工智能产业回报周期过于乐观是资本寒冬的另一原因。移动互联网在偏向工程属性的前提下，资本预期取得成效的时间为二到四年；与之相较，人工智能与传统行业核心业务深度融合，需更高的技术准确率和更深刻的行业理解力。因此，人工智能产业孕育时间更长，资本市场的期望和现实出现较大偏差。来源：中国信息通信研究院图 1 全球融资轮次数量分布3从技术基础理论突破到工程化落地应用，既有技术红利已为产业发展奠定坚实基础。当前，虽然资本市场的泡沫逐步破裂，但优质企业的估值仍在持续增长，独角兽企业不断出现，产业呈现良性发展态势。深度学习技术局限性似乎导致人工智能产业发展将遇天花板，然而事实并非如此。虽然，可解释性、理解推理等局限性确已显现，但这是下一时期理论技术突破重点，不能因此否定图像识别、语音合成、机器翻译等感知类任务上的应用技术成就和产业应用前景。目前，基3投融资这里主要统计的是风险投资，不包含战略轮（国内）和其他风险投资。人工智能核心技术产业白皮书3于深度学习理论的优化技术层出不穷，RegNet4、GPT-3 等模型不断提升视觉处理、阅读理解等基础智能任务水平，虚拟助手、多语种翻译等智能应用已开始进入规模化应用阶段,大量的行业应用场景加速深度融合，技术能力和优化速度可见 5 到 8 年的红利。产业各环节逐步明晰，规模化应用突破已现曙光。人工智能技术在消费互联网领域发展速度较快，智能推荐、视觉识别、语音助手等智能技术能力已深度应用至电商、社交、资讯等消费互联网平台以及手机、无人机等消费终端中，并加速与核心业务进行整合。当前，智能技术正在向更多的行业领域渗透，融合渗透仍需时日孕育。相较于消费互联网领域，传统行业的知识获取和积累需要较长时间，应用场景碎片化的特点导致低成本、易用、泛化能力较强的能力平台构建需较长周期。总体来看，人工智能产业正处于 S 曲线中快速发展的临界位置（如下图），现阶段智能技术落地成本较为昂贵，导致智能产品绝对量增加时，其单位成本并未明显下降。目前，人工智能头部企业加速布局，不断完善技术生产工具（开源开发框架、数据处理、验证分析、部署监测等完备研发工具链），加速建立全栈智能计算技术体系（形成基础计算理论、芯片、软硬协同、系统协同全栈技术支撑能力），探索孕育基础和垂直行业技术平台；产业规模化发展的进程正在不断加速，规模经济有望形成。42020 年 4 月，脸书人工智能实验室何恺明团队推出新型网络设计范式 RegNet，性能优于 2019 年 5月谷歌提出图像分类模型（SOTA）EfficientNet，且在 GPU 上的速度提升 5 倍。人工智能核心技术产业白皮书4来源：中国信息通信研究院图 2人工智能规模经济 S 曲线（三）（三）人工智能以空前人工智能以空前广度与深度推动社会发展，加速广度与深度推动社会发展，加速产业结构升级进程产业结构升级进程人工智能已全面覆盖社会运行的基本要素，内生化提升全局运转效率。从社会运行角度，人工智能加速影响日常生活、科学研究、商业创新和国家安全等社会运行的基本要素。一是人工智能与科学研究的结合已开始改变基于传统学术经验的科学研究方式,实现从大量已知论文、实验数据中挖掘未知理论，加速提升化学、材料、物理、药物研发等领域文献获取速度与实验发现效率，成为下一时期科技竞争的重要动力。二是人工智能成为商业创新与竞争的下一个主战场，传统行业巨头加速布局智能供应链、质量检测、商业决策等细分应用，有望显著提升生产流程、质量控制、商业营运等环节效率，改善工作条件；三是娱乐、消费电子、医疗等生活领域的智能应用不断贴近、细化场景需求，室内安防无人机、人性化虚拟助手等智能消费产品不断涌现，问诊机器人及智能影像逐步推广使用，医疗资源紧缺、分布不均等一些行业痛点开始缓解；四是疫情加速教育培训向在线智能化发展，试题 OCR 识别、辅助批改等应用已从试点向规模化发展，推动人工智能核心技术产业白皮书5教学管理向精准管理转变，助力个性化学习体系的建立；五是全球领先国家已充分意识到人工智能技术与国防安全融合的重要程度，投入针对性资金推动预测维护、自动驾驶、情报分析、智能飞控等国防智能应用的发展。人工智能渗透率的提升有望显著加快全产业链结构的优化速度，牵引产业向高附加值的产品与服务转变。一方面，人工智能作为众多技术产品创新核心，是下一时期最为关键的高附加值产业。据预测，到 2030 年约 70%的行业企业将使用人工智能技术，预计为全球增加13 万亿美元的附加值5。另一方面，人工智能加速提升传统行业高附加值产品的比重，进一步优化产业结构。人工智能技术与核心业务、专家经验深度融合，行业主营产品和运行方式的智能化程度正在不断提升，衍生新产品与新服务。麻省理工科技评论全球 50 家聪明企业（TR50）榜单中已显现传统行业企业的身影，如布局医药研发赋能平台的传统药物研发厂商药明康德，利用智能技术提升物流收派效率的顺丰科技等。二、二、人工智能技术创新重点人工智能技术创新重点（一）（一）深度学习试图从多角度融合创新，开启认知时代仍深度学习试图从多角度融合创新，开启认知时代仍在探索在探索深度学习仍然是人工智能技术发展的主导路线。当前，基于大量标注数据进行训练是深度学习技术实际应用的主要路线，从 1400 余万幅图片的ImageNet数据集至2020年脸书和卡内基梅隆大学构建的超过 130 万种化合物分子间作用数据集 Open Catalyst，模型训练所需标注数据普遍达十万以上。然而，这种路线在取得良好成效的同时，面临着严重依赖标注数据的问题，带来在更多细分场景中应用落地的5数据来源：麦肯锡。人工智能核心技术产业白皮书6局限性。业内不断拓展深度学习解决问题的边界，推动人工智能进入感知增强时代。人工智能纯粹使用有监督学习方式训练深度学习模型的时代基本结束，受限于对大量标注数据依赖与理解能力缺乏，这种路径难以解决更多应用问题。当前，感知增强时代拉开序幕，这一时期的新算法聚焦提升数据的质量和规模，通过迁移其他领域训练成果、自主生成或增强数据、依托知识图谱常识关系、利用多源数据等方式侧面弥补深度学习的局限性。深度强化学习、多模态学习等多元化的学习方式受到产业热捧，深度学习技术与知识工程、传统机器学习等分支的结合成为学界探索的热点新方向。深度学习加速探索与多元学习方式、多种技术分支的结合，少量数据训练、弱化人为干预以及多模态学习成为下一时期的发展关键。一是减少数据量依赖的少样本学习。少样本学习通过复用其他领域知识结构，使用少量数据对新领域进行训练，已进入初步应用阶段，如英伟达提出基于少样本学习的视频转化（Few-shot vid2vid）框架，仅借助少量目标示例图像即可合成未出现过的目标或场景视频。二是弱化人为干预的自监督学习、强化学习。业内主流的有监督学习方式数据标注成本高昂，以机器翻译任务为例，市场人工翻译每单词平均价格约 7.5 美分，假设单个句子平均长度为 30 个单词，1000 万个句子人工翻译标注的成本约为 2200 万美元；若需支持上百种语言的互译，人工标注训练集的成本将达上千亿美元。这种高昂的数据成本促使学产两界加速对深度强化学习、自监督学习等范式的探索。图灵奖获得者杨立昆（Yann LeCun）加速自监督学习的研究进程，通过从未标记的数据集中学习监督信息，提升数据无标注下的学习能力；DeepMind、OpenAI 等机构不断演进深度强化学习算法，试图显著提人工智能核心技术产业白皮书7升智能体的自主决策和多智协同能力。三是提高应用场景复杂度的多模态学习。应用场景正从单一视觉、语音的感知向多模态理解侧重，复杂度不断提升，从多模态信息源中学习模态间关系成为焦点，如菜肴制作视频与菜谱文本步骤对齐、唇动视觉描述与语音信号融合预测单词等。深度学习技术正在不断挑战更为复杂的任务，扩展能够解决问题的边界。直面推理理解问题的算法路径尚无定论，距离认知时代到来仍需数年。从理论体系角度来看，深度学习的领军专家开始探索深度学习理论体系的新形态，反向传播、经典神经网络模型等已有基础理论受到质疑。目前，杰弗里辛顿（Geoffrey Hinton）提出替代深度神经网络（DNN）架构的胶囊网络，试图解决小样本问题。然而，胶囊网络虽连续三年推陈出新，但研究进程并非叠加式的演进，而是完全不同路径的替代。从学习方式角度来看，近一年来，强化学习实现通用智能的技术路径不再是业内共识，不依赖大量人工标注数据的自监督学习成为学习方式的新焦点，并在 2020 年 ICML、ICLR 等全球人工智能学术会议上高频出现，已成为众多专家所关注的关键路径。然而，无论是深度学习体系的颠覆式创新，还是多种学习方式的不断尝试，具备理解能力的算法模型目前未有显现迹象，真正的认知时代到来仍未可知。人工智能核心技术产业白皮书8来源：中国信息通信研究院图 3人工智能技术发展阶段（二）（二）任务场景愈加复杂，倒逼学习方式多元化发展任务场景愈加复杂，倒逼学习方式多元化发展有监督学习建立在严苛条件之上，已不能完全满足模型学习需求，面对更为复杂的任务场景，业内加速探索强化学习、自监督学习等多元学习方式，试图缩小与通用智能的距离。深度强化学习不断演进，加速提升自主决策能力。深度强化学习加速拓展任务边界,突破性解决多人棋牌、即时战略游戏等多智能体非完全信息博弈任务。目前，OpenAI、谷歌、微软等企业相继攻克即时战略、德州扑克、麻将等复杂游戏，并加速向无人机群体飞行等更为实际的应用场景拓展。另一方面，深度强化学习不断提升处理复杂任务的能力，逐步拓展至芯片设计、音乐编曲等对知识技能要求更高的专业领域，如 2020 年谷歌研究人员利用深度强化学习优化设计芯片布局，达到 PPA（功率、性能、面积）的最佳平衡，显著缩短设计时间；清华大学提出用于在线伴奏生成的深度强化学习算法，能够根据输入音乐实时生成伴奏。自监督学习成为最为活跃的学习方式。谷歌、脸书等多家企业先后发布使用自监督学习的算法模型，通过挖掘无标注数据的监督信人工智能核心技术产业白皮书9息，显著减少人为干预，在自然语言理解（NLP）领域取得显著成效，如谷歌 BERT、脸书 RoBERTa、OpenAI GPT-3 等。目前，学产两界正在加速自监督学习在计算机视觉（CV）领域的突破创新，已在精细图像处理方面初步取得进展，如华盛顿大学利用自监督学习方式实现图像背景的前后景分离，精度达像素级别，可实现头发丝的精确分离。然而，尽管在自然语言理解、视觉处理等方面取得初步进展，现阶段自监督学习本质上仍依赖规范化、标签化的数据，主要借助预训练模型构造并学习数据特征,而非基于对数据内容和任务对象的深层次认知；真正理解数据内容的自监督学习尚未出现。（三）（三）深度神经网络理论体系尝试颠深度神经网络理论体系尝试颠覆性创新，多分支覆性创新，多分支融合趋势渐融合趋势渐显显深度学习局限性日益凸显，理论体系探索革新。当前，以杰弗里辛顿（Geoffrey Hinton）为代表的业内巨头持续推动理论体系的创新，其中，胶囊网络作为革新热点，试图解决数据依赖与不可解释问题；然而，历史上胶囊网络的三个版本更新大相径庭，尚未形成稳定的新形态架构，仍处于探索阶段。此外，以胶囊网络为核心的应用也在不断探索，2020 年 Hinton 团队提出一种用于机器学习安全领域的网络检测机制，显著提升攻击检出率；中佛罗里达大学学者提出胶囊路由方法，可通过输入句子查询视频中符合条件的人物及特定动作，但上述成果仍停留在研究阶段。深度神经网络与其他技术分支加速融合发展。人工智能头部企业、高校等开始摸索深度神经网络与知识图谱、传统机器学习等分支的融合创新。一方面，知识图谱试图在不颠覆深度学习理论的基础之下，弥补小样本训练与理解推理能力不足的技术天花板。目前，面向垂直领域的专业知识图谱加速发展，已在金融、医疗、司法多个行业人工智能核心技术产业白皮书10初步应用，显著提升垂直行业应用中知识自动关联、自动获取的智能化水平。如金融消费领域，蚂蚁金融知识图谱平台已经广泛应用在蚂蚁内部以及合作伙伴的微贷、保险智能理赔和智能理财等业务领域中；药物研发领域，亚马逊开发药物重定位知识图谱（DRKG）预测药物与疾病靶点结合的可能性，缩短药物研发周期并降低成本，已用于新冠病毒药物研发。另一方面，深度学习与传统机器学习融合已显现新的算法形态；贝叶斯深度学习成为热点方向之一，有效利用先验知识解决过拟合、小样本数据等问题，模型性能超越传统深度学习方法，如 DeepMind 提出贝叶斯 RNN 模型，图注释生成任务表现显著优于传统 RNN 模型；纽约大学和三星研究人员提出基于贝叶斯思想的深度学习不确定性表示方法 SWAG，大幅提高模型泛化能力，在异常点检测、校准等计算机视觉任务上表现良好。（四）（四）预训练模型预训练模型加速演进，试图实现语言处理领域的加速演进，试图实现语言处理领域的通用智能通用智能预训练模型参数已至万亿级，训练成本之高几乎成为业内头部玩家的专属技术路径。2020 年，OpenAI 发布 GPT-3 模型，模型参数多达 1750 亿个，高达 1200 万美元的训练费用为预训练模型的构建构筑壁垒，中小型人工智能企业难以望其项背。2021 年，谷歌发布 SwitchTransformer 模型，再次将模型参数推至 1.6 万亿新高。此外，微软宣布与 OpenAI 达成合作协议，获得 GPT-3 语言模型源码的独家授权，升级巨型模型的寡头格局形势，预示着未来超大规模预训练模型或将掌握在少数头部企业手中。预训练模型已进入可直接用于多种自然语言处理任务的“通用”智能阶段。预训练模型再次升级，头部人工智能企业先后发布通用预训练模型，可直接面向多种自然语言处理任务使用，不再需要针对不人工智能核心技术产业白皮书11同任务进行微调。目前，谷歌 T5、OpenAI GPT-3 等通用预训练模型进一步提升文本理解能力，在包含阅读理解、问答等任务的基准测试中接近人类水平。另一方面，通用预训练模型加速步入产业应用阶段，OpenAI 公司发布 GPT-3 商用应用程序接口（API）,提供问答、翻译、文本生成等服务，搜索服务提供商 Algolia、社交媒体平台 Reddit等多家企业已开始使用。（五）（五）模型小型化成为提升模型运行效率的关键模型小型化成为提升模型运行效率的关键深度学习模型效率提升成为应用落地的关键突破点。目前，深度学习模型的复杂度会随着模型精度的提升而提升，步入通过大幅增加计算量而获取高精度的时期。计算量的增长虽带来性能的提升，但高度复杂模型在硬件能力受限的设备上部署运行难度越来越大，以AlphaGo 为例，每场比赛仅电费耗费就高达 3000 美元，模型运行性能与硬件能力的矛盾成为模型效率的关注重点。模型小型化成为提升模型运行效率的主要方向。目前，知识蒸馏6、剪枝7、量化8等模型小型化的技术手段逐步成熟，主流模型可达几十倍压缩率。如亚马逊利用知识蒸馏进行预训练，从 BERT 模型中提取压缩模型 Bort，压缩后模型大小仅为 BERT-large 的 6%，推理速度提升七倍；麻省理工学院与上海交大的研究人员提出 LiteTransformer，结合量化和剪枝技术将 Transformer 模型压缩 95%，加速在边缘设备上部署自然语言处理模型的应用进程。与此同时，开发框架中的模型压缩功能创新活跃，模型压缩已成为开发框架必不可少的关键能力，脸书、腾讯、谷歌等头部人工智能企业以及英伟达、英特尔等芯片大厂加速构建完善模型压缩能力，依托自身算法技术与6将原大型网络中通过预训练学到的“知识”迁移到小网络中，由 Geoffrey Hinton 在 2015 年提出。7通过删除网络中冗余连接，增加网络的稀疏性，从而减小网络体积。8将全精度浮点数用低精度定点数代替，减小存储体积的同时加快运算速度。人工智能核心技术产业白皮书12硬件芯片优势，在其主导的 TensorFlow、PyTorch、TensorRT 等开发框架中提供剪枝、量化等算法压缩工具，并针对 GPU、CPU 等硬件芯片进行特定压缩优化。（六）（六）深度学习应用加速推动智能深度学习应用加速推动智能计算革命计算革命深度学习应用加速推动云端计算范式进入高性能计算时代。深度学习训练效果高度依赖计算资源和数据质量，追求大规模高速处理能力。当前，全球最大规模的训练模型所需算力每年增长幅度高达 10倍9。谷歌曾预测，如所有用户每天使用 3 分钟语音搜索功能，基于传统 CPU 的数据中心算力就必须提升一倍，对算力需求快速增长的预期也促使谷歌加速研发针对人工智能应用更有优势的张量处理器。随着深度学习模型结构日益复杂以及训练样本规模持续扩大，算力需求与日俱增，对云侧计算性能提出更高要求。计算模式走向云边协同，端侧场景化算力成爆发新方向。在去中心化的计算形态下，自动驾驶、工业智能、智慧城市等边缘场景产生出大量的算力需求，边缘智能设备需要通过芯片架构、编程模型、专用加速库以及软件框架等多个环节与特定应用深度融合，实现边缘计算平台全栈能力升级，以满足低功耗、实时性、可靠性和安全性等复杂边缘场景需求。预计未来三年，面向工业电子、汽车电子和传统消费电子应用等场景化智能计算芯片增长迅速，市场容量年复增长率高达 100%10以上，成为推动智能芯片产业主要驱动力量。三、三、人工智能产业发展趋势人工智能产业发展趋势（一）（一）从谋求单点技术的“极致”，向场景化综合生态发从谋求单点技术的“极致”，向场景化综合生态发展展9由 OpenAI 测算，AI 模型训练算力需求每 3.4 月翻一倍，约为每年 10 倍。10Gartner 2019-2024 年 AI 半导体产品细分市场空间（TAM，Total Available Market）年复增长率数据。人工智能核心技术产业白皮书13单项技术的“理论”准确率不再是智能企业的比拼重点，产业进入应用场景”跑马圈地”新阶段。人工智能企业单点技术标签化的特点逐步弱化，企业加速进入实质应用转化阶段，人工智能技术服务企业的变化尤为凸显。如旷视、商汤、科大讯飞等企业已将重心从视觉、语音等技术转移至社会治理、供应链物流、生活消费等领域的软硬件解决方案，从而催生出旷视天元、商汤 SenseParrots 等开发框架和基础技术服务平台。目前，以物流、零售、公共安全等为代表的先导应用领域“跑马圈地”持续白热化。旷视升级发布机器人仓储物流软件平台“河图 2.0”，并计划投入 20 亿元与合作伙伴搭建完整的机器人行业解决方案；商汤持续推进城市级开放平台方舟（SenseFoundry）在城市域落地，已覆盖全国 31 个省市、近 100 座城市，总计接入摄像头十万路；云从推出“云从起云智慧 Mall”运营平台，聚焦新零售领域帮助商业地产拥有者进行决策，实现精细化运营。场景化综合生态模式开始清晰，与“类”安卓开发者生态共同驱动产业发展。一方面，“类”安卓开发者生态模式逐步成熟，头部智能企业延续移动互联网典型发展模式，以微服务形式提供视觉、语音等技术服务，凭借第三方开发者来构建多样化的智能应用，大幅提升开发的易用性。另一方面，纯粹基础技术输出难以完全满足智能技术与各行业深度融合和应用落地，主要有三方面挑战：一是需要与行业专有知识深度结合；二是场景碎片化特征突出；三是使用标准数据集训练的图像识别、对话系统在实际行业场景中泛化能力不足，需基于实际场景数据进行二次训练和优化处理，这些均导致开发周期较长和开发成本居高不下。因此，头部智能企业认识到智能技术与传统行业的深度融合应用需要构建新的发展模式。一是加速打造提供模型选择、训练、部署监测等一体化的研发平台，奠定智能技术渗透至各行人工智能核心技术产业白皮书14业规模化应用的基础；二是面向工业、农业、金融、公共安全等行业领域构建多样化行业技术服务及解决方案平台，将行业特有数据、专业知识、业务流程与智能技术进行深度融合；发展速度较快的公共安全、医疗、智能驾驶等领域已初步形成垂直行业平台，提供相对通用的行业应用服务。在此基础之上，智能音箱、智能录音笔、安防无人机等垂直行业智能产品不断涌现，场景化综合生态正在形成。（二）（二）以科技巨头引领的产业垂直整合速度不断加快以科技巨头引领的产业垂直整合速度不断加快在过去的一年中，由于人工智能发展所需算力、算法、数据等要素的高位起点以及硬件、软件框架、平台等核心环节间的紧耦合衔接特点，使得谷歌、微软等科技巨头生态系统的垂直整合引领产业整体发展；产业垂直一体化的趋势不断加强，计算支撑、软件框架、研发平台等核心环节基本被老牌科技巨头所把持。算力、软件框架、研发平台、技术服务的纵向一体化几乎成为全球头部科技企业的共识。人工智能硬件、算法、软件平台与行业应用场景的结合紧密度空前，驱使不同环节具备点状竞争力的科技巨头争相探索行业实际应用需求。目前，产业仍为早期发展阶段，任何一个环节的水平化都尚未完全确立，过去以通用基础能力自居的芯片企业、云计算企业，抑或是具有技术独到优势的互联网企业都难以将自身的优势能力直接渗透至复杂多变的行业应用场景中来。因此，科技巨头加速从自身优势能力出发，延伸至行业应用的多个中间环节，试图以这种方式准确把握智能时代的需求方向；在持续保持自身已有优势的同时，布局支撑行业应用的多个核心环节，巩固其生态系统在人工智能时期的领导地位。亚马逊、微软等云服务企业不断强化其智能服务能力，紧抓面向基础技术服务、研发训练与推理等智能计算需求，通过布局研发平台、开源开发框架等技术生产工具，以及更为底层的人工智能核心技术产业白皮书15专用硬件及芯片，提升其智能计算服务的竞争力；谷歌、百度等 AI技术优势显著的互联网头部企业基于先进算法和技术优势布局开源框架，并以此为核心上下延伸，构建智能服务生态体系。以英伟达为代表的 AI 芯片巨头加速提升面向智能任务的芯片性能，积极丰富性能库、编译器、编程框架等软件配套，通过多样化方式壮大开发者社区及产业合作伙伴规模，力图构建软硬协同的产业生态体系。来源：中国信息通信研究院图 4垂直一体化布局（三）（三）开发框架格局逐步清晰，已从百花齐放向几家分开发框架格局逐步清晰，已从百花齐放向几家分争转变争转变以谷歌 TensorFlow、脸书 PyTorch 等为代表的开源框架格局初显清晰，框架格局已从百花齐放转向几家分争。目前，业界开源开发框架主导权基本被 TensorFlow(谷歌)、PyTorch(脸书)等掌握；微软CNTK、日本初创企业首选网络（preferred networks）Chainer、加拿大蒙特利尔大学主导的 Theano 等早期热点框架已通过与主流框架合并或直接停止更新的方式退出历史舞台。TensorFlow 依托工业界的部署优势持续位于第一，市场关注度达15万,超过第二名3倍以上，脸书的 PyTorch（合并 Caffe2）凭借其易用性迅速突起，在各大顶级人工智能核心技术产业白皮书16学术会议论文中占比超过 50%，有赶超势头。同时，我国正在快速进行开源开发框架的系统化布局，百度飞桨、旷视 MegEngine、华为MindSpore、清华大学 Jittor 等国产框架加速升级，其中，百度飞桨作为最早推出的开放框架之一，已初步应用于工业、农业、服务业等业务场景，服务 230 余万开发者，整体应用广度和深度正在不断成熟和完善。来源：中国信息通信研究院整理图 5开源框架发展历程表 1主要开源框架活跃情况序号序号名称名称热度热度关注度关注度活跃度活跃度贡献人数贡献人数1 1TensorFlowTensorFlow150k99600+27892 2PyTorchPyTorch43.9k31400+16553 3MXNeMXNet t19.1k11400+8454 4CNTKCNTK16.9k16100+2025 5PaddlePaddlePaddlePaddle13.3k28900+3476 6DL4JDL4J11.8k1000+417 7TheanoTheano9.3k28100+350人工智能核心技术产业白皮书178 8ChainerChainer5.5k30500+250来源：中国信息通信研究院整理11端侧推理框架遇碎片化挑战。随着各行业终端智能化需求加速增加，算法模型的终端推理性能引起业内重视。目前，推理框架面临碎片化挑战，一方面，计算终端所使用的芯片类型多样，CPU、GPU 虽为主流架构，但 NPU、DSP、FPGA 等多样的人工智能芯片也在不断涌现，终端推理框架对底层硬件的适配难以统一；另一方面，算法架构尚不稳定，算子（卷积、激活函数-ReLU 等）及组合方式的多样化和持续演化使得单一的推理框架短时间内难以覆盖所有的可能性，推理框架显现出各为其主的发展格局。端侧推理框架处于多元化发展阶段。谷歌、脸书主导的头部开源开发框架加大训练、推理一体化的布局力度，但推理部分在终端侧市场占比不高。目前，业内涌现了一批各具特色的终端推理框架，如阿里提出 MNN 框架，集成在手淘、优酷、飞猪等 20 余终端应用中，实现互动营销、实人认证、试妆等功能；小米构建 Mace 框架，在小米手机中的相机场景识别、人像模式、人脸解锁等诸多场景中进行应用。但由于硬件芯片、软件算法仍在快速发展，推理框架预计将在很长一段时间难以统一，或始终处于多元发展的格局。开源开发框架竞争焦点从模型库转移至易用性和硬件适配优化。高级语言接口与硬件适配优化成为开源框架构筑壁垒的关键，一方面，高级语言接口封装后端框架中关键的模型构建、训练等功能，降低研发门槛。目前，三大主流框架加速绑定或构建高级语言接口，已出现合作圈地现象。TensorFlow 与 keras 形成排他性合作，提升框11关注度：数据来源于每个框架在 Github 上的 Star 数量（截至 2020.11.15）；活跃度：数据来源于每个框架在 Github 上的 Commit 数量（截至 2020.11.15）；贡献人数：数据来源于每个框架在 Github 上的Contributor 数量（截至 2020.11.15）。人工智能核心技术产业白皮书18架易用竞争力，与近期以易用性为优势快速提升地位的 PyTorch 抗衡；MXNet 与 Gluon 联合，由亚马逊与微软共同维护；PyTorch(脸书)以 Torch 和 Caffe2 作为后端框架，内部先天构筑高级语言接口。另一方面，硬件适配优化试图解决多样硬件编译工具导致的适配复杂和性能参差不齐问题，统一编译工具与编译语言成为主流开源开发框架的布局重点。目前，谷歌、脸书加速构建统一的编译语言（IR），试图引导硬件厂商主动适配，获取框架适配的话语权。（四）（四）以研发和技术服务为核心，产业开以研发和技术服务为核心，产业开始打造平台化始打造平台化发展模式发展模式平台化发展速度不断加快。当前，人工智能平台发展步伐加快，2020 年上半年我国人工智能研发平台市场规模达 1.4 亿美元，复合增长率超 30%12；头部智能技术服务平台的单日调用次数已过万亿次，如阿里云 AI 服务的日调用规模超 1 万亿次,日处理图像 10 亿张，百度大脑已对外开放了 270 多项 AI 能力,日调用量突破 1 万亿次。与此同时，人工智能的平台生态规模不断扩大，如讯飞开放平台聚集超过175.6 万开发者团队，累计支持超过 28.9 亿终端;腾讯 AI 开放平台已服务全球用户数超 12 亿，客户数超 200 万。云服务厂商积极主导人工智能研发平台发展。云服务厂商主导人工智能研发平台的发展，亚马逊、微软、谷歌等拥有云计算业务的企业加速布局人工智能研发平台，其中，亚马逊 SageMaker 平台最为成熟，份额高于后两者近两倍，占据全球 TensorFlow 负载八成以上；H2O.ai、DataRobot 等研发平台创新企业不断出现，成为资本市场的追捧对象，人工智能研发平台的发展空前繁荣。技术工具链成为研发平台的竞争核心。目前，研发平台整体呈现12数据来源于 IDC。人工智能核心技术产业白皮书19三类发展特点：一是工具体系化，打造全面的技术工具链成为了这一时期研发平台的竞争核心，技术工具链提供数据处理、模型构建、部署、监测分析等全生命周期的工具服务，如 SageMaker Autopilot、谷歌 AutoML、微软 MLOps 等；二是开放框架开放化，研发平台基本均同时支持 TensorFlow、PyTorch、MXNet 等多个主流框架；三是分布式计算不断优化，研发平台围绕人工智能技术的特点和开发框架对自身的云计算架构进行深度优化，如 SageMaker 在 256 个 GPU 下的TensorFlow 扩展效率可达 90%，并同时支持多种类型人工智能芯片。基础技术服务平台走向成熟，已形成涵盖多种基础技术的综合性平台。包含视觉、语音、自然语言处理等智能技术服务能力的基础技术平台是人工智能产业形成最早的平台形态，产业主体主要包括谷歌、微软、亚马逊等拥有云计算业务的厂商和科大讯飞、旷视科技等人工智能技术服务厂商，前者构建的基础技术服务平台在布局初期即向涵盖多种技术能力的综合性平台发展，后者早期主要依托自身某一类技术优势开展平台建设，如科大讯飞侧重语音文本，旷视则侧重视觉处理。目前，业内的基础技术服务平台形态基本成熟，领先平台基本同时包含多类技术能力。究其原因，一方面是由于基础技术能力的构建不再神秘，一家技术厂商同时拥有视觉、文本等能力的难度大幅降低；另一方面则是行业应用场景常常需视觉、语音等多种技术共同支撑，单一类型的技术服务平台不再适合目前的应用需求。垂直行业技术服务平台发展处于早期阶段，尚未形成规模发展。除研发平台显著降低技术与垂直行业融合成本外，垂直行业技术服务平台成为另一种重要平台形态；平台把垂直行业中的关键场景、相对通用的应用技术总结提炼，进而复制推广。目前，业内主流的垂直行业技术平台存在技术服务直接输出和提供关键应用场景解决方案两人工智能核