2020-2021全球AI技术发展趋势报告.pdf

章节一：顶会趋势（NeurIPS）分析章节二：20202021 技术趋势总结211-1 发表论文作者相关数据情况1-2 发表论文机构相关数据情况1-3 趋势分析1-3-1 论文热门主题1-3-2 知名机构关注论文主题1-3-3 报告相关热门技术1-3-4 趋势小结2-1 背景2-2 人工智能技术总趋势2-3 人类语言技术趋势2-4 计算机视觉技术趋势2-5 机器人与自动化技术趋势2-6 机器学习技术趋势2-7 智能基础设施技术趋势2-8 数据智能技术趋势2-9 前沿智能技术趋势04081212161920222328313334363839Contents目录02前言01章节三：20202021 技术趋势分析详解413-1 人类语言技术42本章节仅于完整版报告内收录3-3 机器人与自动化技术44本章节仅于完整版报告内收录3-4 机器学习45本章节仅于完整版报告内收录3-2 计算机视觉43本章节仅于完整版报告内收录3-5 智能基础设施46本章节仅于完整版报告内收录附录 I：技术趋势分析方法、数据及局限49本章节仅于完整版报告内收录3-7 前沿智能技术48本章节仅于完整版报告内收录3-6 数据智能技术47本章节仅于完整版报告内收录附录 II：技术领域相关大事件(20152020)501 人类语言技术2 计算机视觉3 机器人与自动化技术4 机器学习5 智能基础设施6 数据智能技术7 前沿智能技术51535456596468附录 III：Synced Indicators751.人类语言技术2.计算机视觉3.机器人与自动化技术4.机器学习5.智能基础设施6.数据智能技术7.前沿智能技术76777879808182附录 IV：参考文献83结束语8601 前言 2017 年，我们发布了机器之心人工智能技术趋势报告，系统介绍了人工智能领域（AI）下不同的技术分支，并以定性分析的方法讨论了各分支技术当时所处的发展阶段、瓶颈以及未来发展方向，帮助读者理解飞速发展中的 AI 领域内各项技术的概况和层出不穷的新鲜技术内涵。在初版报告发布至今的这三年里，越来越多的 AI 技术实现了商业落地，但也有不少深度学习方法开始触碰到技术自身的天花板，亟需突破。在这个可能是 AI 技术发展的关键拐点，我们发布2020-2021 全球 AI 技术趋势发展报告，兼顾 2017 年初版报告定性分析方法的同时，重点加强了数据层面的挖掘、分析和探索，更加侧重对具体技术趋势的挖掘以及量化分析指标的形成。定量研究方面，本报告基于近五年的开源论文与专利语料，结合机器之心自有的新闻舆论以及模型最佳表现（SOTA）等相关数据库进行了探索性数据分析，并形成了用以帮助技术趋势判定的量化指标 Synced Indicator；定性研究方面，我们邀请了近 100 位专家学者通过问卷形式了解其对具体技术成熟情况的分析判断。报告分 Lite（简要版）与 Plus（完整版）两个版本。当前的 Lite 版涵盖“顶会趋势（NeurIPS）分析”、“2020-2021 技术趋势总结”两个主要部分，同时包含“参考文献”、“近年技术领域相关大事件”以及“Synced Indicator技术指标”的附录供参考。另有 Plus 版在 Lite 版的基础上增加了包含完整数据和丰富图表的各技术领域趋势分析细节，同时在附录介绍了具体的数据来源、分析方法、研究局限以及未来研究方向供参考。02 章节一 顶会趋势（NeurIPS）分析1-1 发表论文作者相关数据情况1-2 发表论文机构相关数据情况1-3 趋势分析1-3-1 论文热门主题1-3-2 知名机构关注论文主题1-3-3 报告相关热门技术1-3-4 趋势小结032020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究NeurIPS 2020 刚刚落下帷幕，今年的 NeurIPS 2020 因疫情原因而改为线上举行，一万八千人参会的 NeurIPS 2020 相比去年数量暴涨了三成。今年的最佳论文奖项（Best Paper Awards）由三篇论文共同获得，分别是 CMU 与米兰理工大学合著的No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium，利用学习的方法为通用交互寻找相关均衡（correlated equilibria，CE），UC Berkeley 学者发表的关于复杂数据的高效数据总结（data summarization）任务 相 关 论 文Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystrom Method，以及 OpenAI 今年 5 月公开的有史以来最大的预训练语言模型 GPT-3 论文Language Models are Few-Shot Learners。对于 GPT-3 未来的研究发展方向，论文作者之一的 Dario Amodei 在 NeurIPS 2020 大会上表示：“GPT-3 仍然只是预测一段文字之后的下一个字，我们还有很多事可以做，如通过强化学习来微调语言模型以改变目标函数，进而生成更复杂的文字内容。”今年的时间检验奖（Test of Time Award）则是颁给了由 UW Madison 华人学者 Feng Niu 作为一作在 NeurIPS 2011 上发表的论文HOGWILD!:A Lock-Free Approach to Parallelizing Stochastic Gradient Descent，NeurIPS 大会认为，该研究提出了首个在没有任何锁定机制情况下并行运行随机梯度下降算法的实验，且能够保证强大的性能；自提出以来至今，该论文的被引用量接近 2000 次，它不仅对机器学习领域有影响，对计算机系统和优化领域也有影响，这些都促进了对 Hogwild!方法的发展和理解。根据大会官方数据，今年的 NeurIPS 2020 共计收到 9467 篇完整的论文提交，投稿数量较 2019 年增加了 40%，与 2018年至 2019 年的增长率接近。其中，大会接收了 1899 篇论文，包含 105 篇 Oral 论文和 280 篇 Spotlight 论文，分别占录取论文数的5.53%和14.74%。尽管今年的论文投稿和录取数量都创下纪录，但论文录取率仅为20.06%，为近三年最低低于 2019 年的 21.59%和 2018 年的 20.81%。与往年相比，今年 Oral 论文和 Spotlight 论文，无论是数量还是在录取论文中的比重，都创下新高。?年年份份?投投稿稿(同同增增)?录录取取(录录取取率率)?O Or ra al l(%)?S Sp po ot tl li ig gh ht t(%)?2 20 02 20 0?9467?(40.40%)?1899?(20.06%)?105?(5.53%)?280?(14.74%)?2 20 01 19 9?6743?(38.92%)/6614*?1428?(21.59%)*?36?(2.52%)?164?(11.48%)?2 20 01 18 8?4854?1010?(20.81%)?NULL?NULL?表 1-1 NeurIPS 近三年投稿/录取论文数量表*注：根据 NeurIPS 官方数据，2019 年投稿数量有 6743（初始投稿数）和 6614（有效投稿数），计算同比增长时使用6743，计算录取率时使用 6614。042020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-1 NeurIPS 投稿/录取论文数量情况 1-1 发表论文作者相关数据情况从发布论文作者的角度切入，被NeurIPS 2020录用的1899篇论文共计覆盖6012位从业学者（经过简单的同名作者识别后），其中 1 位学者有 12 篇相关论文发布在 NeurIPS 2020，7 位学者有 9 篇相关论文，6 位学者有 8 篇相关论文，总计 77 位学者被录取的论文数量在 5 篇以上（含 5 篇），27 位学者录取论文数量在 7 篇以上，详情参见下表。录录取取论论数数量量?对对应应作作者者数数量量?1 1?4909?2 2?751?3 3?202?4 4?73?5 5?31?6 6?19?7 7?13?8 8?6?9 9?7?1 12 2?1?总总计计?6012?=5 5?77?=7 7?27?表 1-1-1 录取论文数量及对应作者数量统计052020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-1-1 每位学者发表论文数量统计NeurIPS 2020 录取论文数量最多的作者是来自 UC Berkeley EECS 学院的助理教授 Sergey Levine，该学者的研究方向是用于决策和控制的机器学习算法，主攻深度学习和强化学习算法，应用方向覆盖自动驾驶、机器人以及计算机视觉和图形相关技术领域。值得注意的是，Sergey Levine 同样是去年的 NeurIPS 2019 上被接收相关论文数量最多的学者（同样以12 篇相关论文数量排名第一），详情参见下表。?作作者者?相相关关论论数数量量?Sergey?Levine?(UC?Berkeley)?12?Csaba?Szepesvari?(DeepMind?/?University?of?Alberta)?9?Jinwoo?Shin?(KAIST)?9?Lin?Yang?(UCLA)?9?Mihaela?van?der?Schaar?(University?of?Cambridge)?9?Stefano?Ermon?(Stanford)?9?Sung?Ju?Hwang?(KAIST,?AITRICS)?9?Zhaoran?Wang?(Northwestern?University)?9?Jason?Lee?(Princeton?University)?8?Jun?Zhu?(Tsinghua?University)?8?Pieter?Abbeel?(UC?Berkeley?&?covariant.ai)?8?Russ?Salakhutdinov?(Carnegie?Mellon?University)?8?Zhangyang?Wang?(University?of?Texas?at?Austin)?8?Zhuoran?Yang?(Princeton)?8?Andreas?Krause?(ETH?Zurich)?7?062020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究表 1-1-2 录取论文数量最多作者及相应论文数量与 Sergey Levine 类似连续两年位列 NeurIPS 接收论文数量前列的还有毕业于清华大学，目前在普林斯顿大学就读博士的中国学者杨卓然（Zhuoran Yang），其研究方向主要是设计有效的学习算法以解决在强化学习和随机博弈中出现的大规模决策问题。杨卓然在 NeurIPS 2019 上有 7 篇相关论文被接收，今年更进一步有 8 篇相关论文被 NeurIPS 录取。UCLA 教授杨林（Lin Yang）和美国西北大学教授汪昭然（Zhaoran Wang）今年各有 9 篇论文被接收，是仅次于 Sergey Levine 被接收论文数量最多的学者，其目前的研究重点也均是强化学习。整体而言，今年录取论文数在 7 篇或以上的共有9 位华人学者，除了前面提到的几位，还包括清华大学教授朱军，UT Austin 教授汪张扬，悉尼大学教授陶大程，毕业于清华姚班的 CMU 在读博士 Ruosong Wang，以及创新工场合伙人张潼，华人学者占全部 27 人中的 1/3，成绩可谓不错。发表论文数量在 7 篇以上的学者中，来自 UC Berkeley 的 Pieter Abbeel 与 Michael Jordan 均是人工智能领域的知名学者。尤其是 Michael Jordan 教授，是人工智能领域的先行者之一，其指出了机器学习与统计学之间的联系，使机器学习界广泛认识到了贝叶斯网络的重要性，前谷歌大脑与百度大脑负责人 Andrew Ng（吴恩达）以及图灵奖得主 Yoshua Bengio均曾是 Michael Jordan 的学生。Pieter Abbeel 曾在吴恩达处就读过博士学位，是伯克利大学机器人学习实验室的主要负责人，也是伯克利大学人工智能研究院(Berkeley Artificial Intelligence Research Lab,BAIR)的联合主任。Pieter Abbeel 在人工智能相关产业界也有非常积极的活动，是人工智能初创公司 covariant.ai 和 gradescope 的联合创始人，还兼任OpenAI 的顾问。Zhuoran?Yang?(Princeton)?8?Andreas?Krause?(ETH?Zurich)?7?Anima?Anandkumar?(NVIDIA?/?Caltech)?7?Bo?Dai?(Google?Brain)?7?Chelsea?Finn?(Stanford)?7?Dacheng?Tao?(University?of?Sydney)?7?Jure?Leskovec?(Stanford?University?and?Pinterest)?7?Masashi?Sugiyama?(RIKEN?/?University?of?Tokyo)?7?Max?Welling?(University?of?Amsterdam?/?Qualcomm?AI?Research)?7?Michael?Jordan?(UC?Berkeley)?7?Michael?W?Mahoney?(UC?Berkeley)?7?Ruosong?Wang?(Carnegie?Mellon?University)?7?Sham?Kakade?(University?of?Washington?&?Microsoft?Research)?7?Tong?Zhang?(The?Hong?Kong?University?of?Science?and?Technology)?7?072020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-1-2 作为一作的相关论文数量基于进一步的统计，以第一作者身份被 NeurIPS 2020 接收论文最多的学者是来自 UW Madison 的 Ilias Diakonikolas，该学者曾先后于南加州大学、爱丁堡大学、加州大学伯克利分校、哥伦比亚大学、以及雅典国立科技大学都有研究经历，其主要研究兴趣和方向是统计、博弈以及机器学习算法。其次是来自 CMU 的 Ruosong Wang 以及来自 Berkeley 的 Michal Derezinski，两者均是博士在读，各有 4 篇 1 作论文发表。Ruosong Wang 目前的研究以强化学习为主，而 Michal Derezinski 目前的研究则侧重于可用于学习理论和最优化的有效的数据采样技术。详情参见上图。从论文的合著作者数量角度来看，超过 97%的论文是合作完成的，由单个学者独立完成发表的论文数量共计 44 篇，占全部录取论文数量的2.32%。被录取数量最多的是由34人合著的论文，合计占比约50%。近90%的录取论文有26名作者，而参与合著作者最多的一篇录取论文是来自 OpenAI 的Language Models are Few-Shot Learners，有共计 31 位合著作者。图 1-1-3 不同数量作者合作发表论文的分布情况082020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究基于录取论文的作者数据，我们还额外尝试了基于姓名的性别预测分析仅供参考。Genderize 是一个根据姓名预测性别的在线工具，它基于一个庞大的人名数据库（包含一亿多条来自世界各地的人名数据），根据给出的人名（first name）预测其性别，预测结果是“男”、“女”、“unknown”之一。使用该工具对论文作者进行性别预测，能够预测出性别的作者约占全部作者人数的 60%，其中男性作者占比超过 50%，约为女性作者的五倍，后者仅占比不到 10%。另有 39%的作者难以确定其性别，其中大多是汉语拼音形式的姓名。1-2 发表论文机构相关数据情况从相关机构的角度切入，NeurIPS 2020 录用的 1899 篇论文共计覆盖 1329 个机构（经过简单的机构名合并，可能会出现同一机构不同写法导致的误差），其中谷歌发表的论文数量高居榜首，共计 204 篇。斯坦福、MIT、微软、UCLA、UC Berkeley 也取得不错的成绩，各有 100 篇左右的论文被接收。?机机构构?相相关关论论数数量量?Google?204?MIT?112?UCLA?109?Stanford?University?106?Microsoft?Research?103?UC?Berkeley?94?CMU?87?University?of?Oxford?67?Tsinghua?University?66?Princeton?University?62?University?of?Texas?at?Austin?62?Facebook?60?University?of?Columbia?37?New?York?University?47?UIUC?45?IBM?45?Cornell?University?44?ETH?Zurich?44?University?of?Cambridge?42?Harvard?University?41?表 1-2-1 NeurIPS 2020 相关论文数量最多的机构（Top 20）092020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究在仅考虑一作的情况下，谷歌以 81 篇的相关论文数量依然占据第一的位置，但自此之后的 210 名均由名校占据。微软与Facebook 的排名有所下降，IBM 则跌出榜外。从一作论文占比的角度来看，Google 的 81 篇占据其被录取论文总数 204篇的 39.7%，Facebook 与之类似占比约为 40%，而微软虽然相关被接收的论文数量有 103 篇，但一作论文数量为 30 篇，占比不到 30%。?机机构构?作作论论数数量量?Google?81?Stanford?University?72?MIT?60?UC?Berkeley?59?CMU?55?UCLA?55?Tsinghua?University?46?University?of?Oxford?43?University?of?Texas?at?Austin?32?ETH?Zurich?32?Microsoft?Research?30?Princeton?University?29?University?of?Columbia?21?New?York?University?27?University?of?Cambridge?25?Peking?University?25?Harvard?University?24?Facebook?24?KAIST?23?Cornell?University?21?表 1-2-2 NeurIPS 2020 相关一作论文数量最多的机构（Top 20）从每篇论文的相关机构数量角度来看，有约 19%的论文是由单个机构独立完成发表的，其余论文均由多家机构合作完成，超过 90%以上的论文由 5 家以下机构合著发表，论文合著机构数最多能达到 7 家，共有 3 篇这样的论文，分别是Part-dependent Label Noise:Towards Instance-dependent Label Noise（悉尼大学，西安电子科技大学，香港浸会大学，RIKEN 研究所等），Online Fast Adaptation and Knowledge Accumulation(OSAKA):a New Approach to Continual Learning（MILA，ElementAI，蒙特利尔大学，Facebook 等），以及Learning Dynamic Belief Graphs to Generalize on Text-Based Games（滑铁卢大学、微软、布拉格查理大学、MILA 等）。102020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究表 1-2-3 不同数量合著机构发表的论文数量分布在独立发表论文的机构中。牛津和斯坦福大学各有 13 篇独立论文占据第一。哥伦比亚、加州大学伯克利分校、EPFL 三家机构也各有 10 篇独立发表的论文。相对高校，企业独立发布的论文数目则较少，谷歌是在这方面投入最多的机构，依然有 8 篇独立研发的相关论文，而在合著论文榜单上排名靠前的其他企业机构独立发表的论文则均在 8 篇以下，未能入榜。合合著著机机构构数数?相相关关论论数数?相相关关论论占占?1 1?372?19.59%?2 2?650?34.23%?3 3?443?23.33%?4 4?271?14.27%?5 5?115?6.06%?6 6?45?2.37%?7 7?3?0.161.74%?图 1-2-1 不同数量合著机构发表的论文数量分布112020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究表 1-2-4 NeurIPS 2020 独立发表论文（无其他合著机构）数量最多的机构（Top 10）?机机构构?独独发发表表论论数数?University?of?Oxford?13?Stanford?University?13?University?of?Columbia?10?UC?Berkeley?10?EPFL?10?MIT?9?KAIST?9?University?of?Michigan?8?New?York?University?8?Google?8?基于 Github 用户 Sergey Ivanov 整理的机构-国家对照表，结合我们去重后的论文相关机构数据，我们还额外尝试了相关机构的地区分布分析供参考。根据各个机构所属的国家或地区，得到机构的地区分布如下：图 1-2-2 论文相关机构最多的国家（Top 10）根据各个机构所属的国家或地区，得到机构的地区分布如下：122020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-2-3 论文相关作者最多的国家（Top 10）无论是相关作者还是机构数量，美国都是牢牢占据第一位的，且均几乎领先第二名两倍的优势。而比较有趣的是中国作为人才输出大国，在相关作者数量方面被英国赶超，但是相关机构方面却占据到了第二位。同处亚洲的韩国在相关机构上没有进入前十，但人才方面却排在了第六位。与这样的情况相反的是德国，人才方面虽仅排名第 7，但是在相关机构方面却占在了第三的位置。1-3 趋势分析1-3-1 论文热门主题根据 NeurIPS 组委会博客的数据，今年论文涉及的主题非常广泛，在今年提交的论文中，关于算法以及深度学习的论文合计仍占据了近 50%，比去年略有下降。应用方面的论文占比约 18%，同样比去年有约 2%的小幅度下降。除此以外，强化学习与规划以及基础理论方面的论文各占比约 10%，与去年大体持平。而概率论和最优化各占比约 5%左右，比去年都有 1 个百分点左右的下滑。与占比下降相对应的，神经认知科学相关论文以及数据挑战相关论文的占比均有所上升，此外特别值得一提的是今年大会新增了“机器学习社会方面”的研究主题分类，一次占据了 2020 年提交论文的近 5%。132020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-3-1-1 NeurIPS 会议不同分类论文投稿比例对比从论文接受率的角度来看，基础理论方面的论文近三年来的接受率都很高，它同样是今年接受率最高的论文分类。而“数据、挑战、实现和软件”分类的论文去年接收率排在第三位，今年却是论文接收率最低的分类。整体来看所有论文分类的接收率均高于 10%，但最高的也只是勉强超过 30%，整体均维持在论文平均录取率 20%左右。142020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-3-1-2 NeurIPS 会议不同分类论文接收率对比根据对 NeurIPS 2020 收录论文的标题及摘要进行关键词的挖掘筛选，我们得出了 NeurIPS 2020 收录论文最相关的技术主题（下图），我们发现神经网络、机器学习、以及强化学习依然是最热门的研究主题，这与我们在发表论文作者相关数据情况的分析比较一致，本届会议上发表论文最多的学者也多是研究机器学习算法和强化学习方向的。半监督学习、对抗学习、表征学习以及在线学习这一系列新的学习范式的研究热度也比较高。152020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究图 1-3-1-3 NeurIPS 论文相关技术主题具体模型方面，生成模型（Generative Model）相关研究论文的数量已经非常接近热度最高的深度神经网络。生成对抗网络（GAN）近年来热度虽有下降，但其相关的生成模型，对抗攻击，以及对抗学习等领域的研究热度却有上升。在数据挖掘结果中，集成模型（Ensemble）的方法也是热门的技术词汇，在传统模型突破空间达到瓶颈的情况下集成学习总不失为一种尝试的方向。其中最值得关注的当属图神经网络，该模型近年来研究热度不断攀升，在 NeurIPS 2020 接收的论文里涵盖的主题也十分广泛，包括与不同学习范式的组合以及特定的 GNN 改进等，其中，图卷积神经网络是目前最流行的图神经网络。有关优化方面的论文也占有一定的篇幅，如贝叶斯优化、凸优化、非凸优化、策略优化、其他优化等。另外，本届 NeurIPS 中收录的关于联邦学习的论文有二十多篇，涵盖计算机视觉、自然语言处理、数据挖掘、机器学习、安全与隐私、分布式系统、移动通信等领域，是一个热门的研究方向，并且可能会随着通信技术与物联网技术的发展而越来越受关注。具体技术任务方面，游戏博弈(Game)作为强化学习的主要研究任务排名靠前，而计算机视觉领域的图像分类和物体识别热度也较自然语言处理相关任务更高。在自然语言处理方面，“注意力机制”、“Transformer”、“BERT”，以及“预训练”等是较热门的主题。除此之外，数据增强（Data Augmentation）这一技术任务的研究也非常引人注意，体现了数据在神经网络相关研究方面的重要性，在数据需求越来越高的今天成为该领域寻求突破的主要方向之一。另外还能看到自动化机器学习相关的“神经结构搜索(NAS)”，无监督学习相关的“Few-shot”，以及神经网络领域绕不开的“模型可解释性”等热点方向。162020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究1-3-2 知名机构关注论文主题中国知名企业情况中中国国企企业业?论论数数?阿巴巴（Alibaba）?23?华为（Huawei）?23?腾讯（Tencent）?21?字节跳动（Bytedance）?6?百度（Baidu）?5?京东（JD）?5?表 1-3.2-1 中国知名企业被录取论文数量中国知名企业里，在 NeurIPS 上发表论文数量最多的是阿里巴巴和华为，各有 23 篇相关论文，“BAT”里的腾讯也有 21篇相关论文，而百度在这方面的投入并不太多，仅有 5 篇相关论文，与京东齐平，少于新兴科技独角兽字节跳动的 6 篇。在具体的论文相关主题方面，阿里巴巴（不含蚂蚁金服）被接收的 23 篇论文里围绕最优化算法的研究最多，具体的讨论主题包括随机梯度优化、策略梯度优化以及超参数优化等。Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning以及Neuron-level Structured Pruning using Polarization Regularizer两篇是阿里巴巴学者作为一作发表的论文。在新兴领域中，阿里还在“图神经网络”、“领域自适应”以及“少样本学习”的研究中均有所涉猎。与阿里共同占据录取论文数量第一位的华为则相对侧重具体的模型优化方法，包括自动化机器学习相关的神经架构搜索，模型压缩相关的模型蒸馏，以及提高模型推理效率的神经网络剪枝等主题。相比阿里，华为有更多以一作身份发表的论文（8 篇），包括其年初提出的可以自适应训练宽度和深度动态 BERT 模型 DynaBERT（DynaBERT:Dynamic BERT with Adaptive Width and Depth）以及轻量级网络模型 TinyNet（Model Rubiks Cube:Twisting Resolution,Depth and Width for TinyNets），其他华为论文相关的主题还包括回归问题、强化学习、半监督学习等。腾讯被接收论文为 21 篇，区别于阿里和华为的是没有呈现出明显的研究偏好，整体研究涉猎较广，包括对抗学习、注意力机制、自编码器和强化学习等领域。其作为一作发表的论文共三篇，均是当下较为热门的研究主题，Towards Playing Full MOBA Games with Deep Reinforcement Learning主要研究深度强化学习在完整 MOBA 游戏中更进一步的实践；Self-Supervised Graph Transformer on Large-Scale Molecular Data研究大规模分子数据上自监督学习图transformer 的应用；CodeCMR:Cross-Modal Retrieval For Function-Level Binary Source Code Matching提出基于跨模态检索的二进制代码与源码的端到端匹配算法，聚焦解决二进制安全问题。字节跳动被接收论文中有一半是自身作为一作发表的，研究问题集中于对抗学习，以及视觉领域的图像修复、实例分割等。值得注意的是，字节跳动还有一篇关于 COVID-19 的论文The Devil is in the Detail:A Framework for Macroscopic Prediction via Microscopic Models，该论文基于 COVID-19 数据使用围观模型进行宏观预测。百度和京东的研究内容则多是在小领域内深耕，如百度的稀疏学习、发声物体定位、判别分析，京东的 3D 点云估计、CTR 预测、度量学习、贝叶斯学习等。172020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究中国知名高校情况?中中国国校校?论论数数?清华学（Tsinghua?University）?66?北京学（Peking?University）?38?上海交通学（Shanghai?Jiao?Tong?University）?21?中学?(Sun?Yat-sen?University)?6?复旦学?(Fudan?University)?3?表 1-3-2-2 中国知名高校被录取论文数量国内高校中，清华大学被 NeurIPS 2020 接收的论文最多，高达 66 文。其研究重心与阿里有些许相似，整体侧重于最优化方法和强化学习方面的研究。值得注意的是，清华在图结构神经网络方面的论文占比也非常高（6 篇以上），除此之外，清华发表论文的研究主题还在对抗学习、知识表征、目标检测等领域有一定的集中。北大与上交被收录的论文总数在清华的一半左右，但两者同样有相当数量的论文聚焦图神经网络（北大 4 篇以上，上交 3 篇以上）。此外这两家高校的录取论文里也有较多关于强化学习和无监督学习的研究。海外知名企业情况?海海外外知知名名企企业业?论论数数?Google?204?Microsoft?Research?103?DeepMind?65?Facebook?60?IBM?45?Nvidia?27?Amazon?24?Samsung?15?Adobe?11?Intel?10?Apple?8?OpenAI?3?Sony?2?表 1-3-2-3 海外知名企业被录取论文数量182020-2021 全球 AI 技术趋势发展报告（简要版）机器之心 产业研究谷歌被接收的论文不仅在海外名企中占据榜首，在所有机构的排名中也是高居首位。其研究主题包括强化学习，图神经网络、最优化理论（策略梯度）、模型优化、数据增强以及多种新型的学习范式（如元学习、在线学习，对抗学习、以及多组织学习）等。微软的研究方向除了强化学习和最优化方法外，图神经网络和对抗学习的出现频率也较高。DeepMind 依然专注研究强化学习，其中多臂老虎机似乎成为其今年论文里有较多研究的强化学习技术任务；Deepmind 在强化学习方面的研究也多更为深入，体现在有较多强化学习与各种模型和其他学习范式的融合，如强化学习和图神经网络的结合Reward Propagation Using Graph Convolutional Networks以及与元学习的结合Meta-Gradient Reinforcement Learning with an Objective Discovered Online等。Facebook 方面，似乎非常重视贝叶斯优化方法，与之直接相关的论文有6 篇之多。除此以外，其研究多结合自身实际应用，在语音和视频领域有着更多的侧重，如语音类的wav2vec 2.0:A Framework for Self-Supervised Learning of Speech Representations、The Hateful Memes Challenge:Detecting Hate Speech in Multimodal Memes 以 及 视 频 类 的COBE:Contextualized Object Embeddings from Narrated Instructional Video、Hierarchical Patch VAE-GAN:Generating Diverse Videos from a Single Sample 等。整体而言，较为受国外各大企业关注的研究技术主题主要是强化学习、最优化算法、模型训练、图神经网络、对抗网络，以及数据增强等。海外知名高校情况?海海外外校校?论论数数?MIT?112?UCLA?109?Stanford?University?106?UC?Berkeley?94?CMU?87?University?of?Oxford?67?Princeton?University?62?University?of?Columbia?37?Cornell?University?44?University?of?Cambridge?42?Harvard?University?41?University?of?Pennsylvania?31?表 1-3-2-4 海外知名高校被录取论文数量相比企业，海外高校被接收的论文数总体而言数量较多。MIT 在今年的 NeurIPS 上收获最多，共有 112 篇论文被接收。其研究重点与主流趋势相似，以强化学习、对抗学习和最优化理论为主。总体而言，MIT 在偏向应用的技术任务领域（如模型优化、语音、视觉等）的论文较少，其研究更多集中在模型背后的算法和数学原理。另外值得注意的是，MIT 在其他机构较少涉猎的前沿领域-联邦学习方面有着相对集中的研究论文发表（4 篇以上），这在高校分类中尤为罕见。UCLA 与 Stanford 的被接收的论文数量也均达到百篇以上，研究重点同样集中在强化学习和最优化理论的基础上。UCLA192020-2021 全球 AI 技术趋势发展报告（简要版）