基于专利文本挖掘的细粒度技术机会分析.pdf

情报学报 2023 年 10 月 第 42 卷 第 10 期Journal of the China Society for Scientific and Technical Information,Oct.2023,42(10):1199-1212基于专利文本挖掘的细粒度技术机会分析吴柯烨1，2，孙建军1，2，谢紫悦1（1.南京大学信息管理学院，南京 210023；2.南京大学数据智能与交叉创新实验室，南京 210023）摘要 新一轮科技革命和产业变革中，技术机会分析在研发管理、企业决策中的战略地位不断攀升。然而，利用传统链路预测指标开展的技术机会分析精度已达到瓶颈，且固有的专家知识无法应对技术创新的动态性和复杂性，难以实现细粒度技术机会识别与分析。鉴于此，本文提出了基于专利文本挖掘的细粒度技术机会分析框架，该框架将专利文本挖掘和图神经网络链路预测法有机结合，将技术机会分析拆分为知识网络构建及演化分析、知识元素链路预测以及技术机会评估与筛选3个研究子任务。实证研究结果表明，利用多维关键词特征构建的知识网络能够完整呈现交叉领域的知识全貌，结合复杂网络指标和时间序列能进一步揭示技术发展脉络，为后续技术机会分析提供方向指引。BERT（bidirectional encoder representations from transformers）模型配合图神经网络方法适用于各技术生命周期的知识元素链路预测任务，相较于传统预测指标，BERT表现出更高的准确率和鲁棒性。经过与多源技术报告的对比评估，证实了基于该框架所析出的9个技术机会与计算机视觉技术发展实际情况相吻合，具备实际研发价值。关键词 技术机会分析；文本挖掘；图神经网络；链路预测；多源数据互证Research on Fine-Grained Technology Opportunity Analysis Based on Patent Text MiningWu Keye1,2,Sun Jianjun1,2 and Xie Ziyue1(1.School of Information Management,Nanjing University,Nanjing 210023;2.Laboratory for Data Intelligence and Cross-Innovation of Nanjing University,Nanjing 210023)Abstract：In the new round of scientific and technological revolution and industrial transformation,the strategic position of technology opportunity analysis in R&D management and corporate decision-making is growing.However,the accuracy of technology opportunity analysis based on traditional link prediction indicators has reached a bottleneck,the stubborn expertise can hardly cope with the dynamics and complexity of technological innovation,and fine-grained technical opportunity identification and analysis are difficult to realize.As a result,this study proposes a fine-grained technical opportunity analysis framework based on patent text mining that combines patent text mining and the graph neural network link prediction method and divides technology opportunity analysis into three research subtasks:knowledge network construction and evolution analysis,element link prediction and technology opportunity assessment,and screening.An empirical study in the field of computer vision shows that the knowledge network built using multi-dimensional keyword features can fully present the knowledge panorama of cross-fields,and the combination of complex network indicators and time series can further reveal the context of technological development and provide direction for subsequent technological opportunity analysis guidance.The BERT model combined with the graph neural network method is suitable for the knowledge element link prediction task of each technology life cycle,and it shows higher accuracy and robustness than traditional predic收稿日期：2022-09-16；修回日期：2023-08-03基金项目：国家自然科学基金项目“引文扩散理论及实证研究”（18ZDA326）。作者简介：吴柯烨，男，1996年生，博士研究生，研究领域为科学计量、技术预测；孙建军，通信作者，男，1962年生，教授，博士生导师，研究领域为网络信息资源管理、大数据分析，E-mail：；谢紫悦，女，1997年生，博士研究生，研究领域为政策计量、文本挖掘。DOI:10.3772/j.issn.1000-0135.2023.10.006第 42 卷情 报 学 报tion indicators.Following a comparison and evaluation with multi-source technical reports,it is confirmed that the nine technical opportunities based on this framework are in line with the current development of computer vision technology and have practical R&D value.Keywords:technical opportunity analysis;text mining;graph neural network;link prediction;multi-source data mutual verification0引 言随着新一轮的科技革命与产业变革席卷全球，科技已逐渐成为评估国家综合实力、促进社会经济转型、提升企业竞争优势的关键变量。及时洞悉技术发展变化并快速识别潜在机会，不仅是各级科研单位实现自主创新，攻克核心技术壁垒，国家提升科技竞争力的必经之路；更是技术密集型企业高效管理生产活动，合理调配研发资源，提高科技成果转化率的先决条件。因此，技术机会分析对于技术创新活动的开展，具有重大的战略指导意义。为清晰识别不同场景下的技术机会，满足企业的异质性需求，技术机会分析需要对于复杂技术创新系统进行细粒度拆解。鉴于此，现有研究通常以关键词形式细粒度地表征领域知识，并采用技术主题或SAO（subject-action-object）语 义 结 构 表 示 技 术 机会1。然而，此类方法主要依赖于专家预先定义的领域专业词表来确定领域关键词2，知识体系较为固化，难以匹配技术的动态发展；而技术机会又具备较强的时效性，应精准适配当下的环境变迁与技术发展。因此，技术机会分析的前提工作是实现自动化构建细粒度领域知识网络并探究其演化路径。只有在清晰掌握领域知识全貌、明确技术生命周期的基础上，才能精准且高效地开展技术机会识别和分析。另外，在学科交叉与技术融合的大背景下，知识重组俨然成为了技术机会的核心特征3。通过整合来自不同领域的知识，可以有效解决复杂技术难题，推动技术发展。组合性和递归性作为技术的本质特征，使得技术需依赖于自身结构完成自循环式的进化4，因此，现有研究通常从知识挖掘与组合的角度开展定量化技术机会分析5。链路预测法通过测算网络中每一对节点产生链接可能性的链路预测法，不仅能够最细粒度地直观体现知识元素间关联性，还可以灵活地应用于大规模的图结构数据，是技术机会分析的主流方法之一。然而，该类研究中所采用的链路预测指标较为传统，一方面对图结构信息的捕获能力有限，另一方面又依赖于固定的前提假设，只抽取片面的节点或图结构特征，难以整合技术机会分析所需要的多方面信息，预测精度已达瓶颈。鉴于此，本文以专利文本为数据源，利用文本挖掘、网络分析、链路预测、深度学习等多种方法构建了一套细粒度技术机会分析框架。该分析框架的优势主要包括：基于关键词的多维度文本特征构建了特定领域下的技术知识网络，克服领域知识表征不准确、不全面等问题。在此基础上开展的技术演化分析有助于把握技术发展脉络，为技术机会识别提供方向指引。将 BERT（bidirectional encoder representations from transformers）预训练向量模型与图自编码器模型有机结合，充分捕获并融合了词语间共现关系特征及自身语义特征，显著提升知识网络链路预测精度，为技术机会分析产出高质量候选集。基于产业链结构和链路预测结果，佐以多源技术发展报告，模块化产出并验证细粒度的技术机会。1研究综述根据 Lee6总结的技术预测研究框架，现有技术机会分析可大致划分为 4 个步骤：数据收集、技术知识测度、技术机会挖掘以及技术机会评估。其中，专利作为技术研发的成果文件，最直接地反映了技术本身的发展现状和演化过程，是技术机会分析最主要的数据来源7-8。由于研究对象和研究场景的差异，各研究在技术知识测度、技术机会挖掘等环节存在异同，但也呈现一定的研究特点和趋势。1.1技术知识测度单元日趋细化技术机会被认为是“技术进步可能性的集合”，而这种可能性往往蕴藏于细微的技术变化之中9。传统的技术机会分析方法通常采用粗粒度的 IPC（international patent classification）分类号或单篇专利表征技术知识，无法从微观层面对技术细节变化实施监测。譬如，Kim 等10基于异常值检测方法在专利引文网络中识别出离群专利，并从中析出未来技术创新方向。然而，离群专利所涵盖的技术知识十分广泛，难以表征确切的技术机会方向，可解释1200第 10 期吴柯烨等：基于专利文本挖掘的细粒度技术机会分析性较弱。随着自然语言处理的进步和发展，基于专利文本内容的细粒度技术知识挖掘与技术测度受到大多数学者的青睐。以主题11、关键词1和关键词组12等作为技术知识的最基本表示单元，为技术机会分析提供语义特征，更精准地揭示技术内容和细节。Tshitoyan 等12基于领域关键词表利用 word2vec 模型训练出材料科学领域的关键词向量，以达到超前预测材料功能性应用的目的；Feng 等2利用 TF-IDF（term frequency-inverse document frequency）指标并佐以专家知识识别特定领域下的技术创新元素。然而，此类测度方式通常初始化于固化的领域知识，无法匹配技术的多维度、跨领域发展与应用，难以动态揭示领域全貌，且仅依据单一的词语特征，如词频或 TF-IDF 指标，抽取的领域关键词较为片面，无法精准捕获新兴知识元素。鉴于此，本 文 集 成 了 TF-IDF、RAKE（rapid automatic keyword extraction）和 BERT 这 3 种关键词抽取算法，综合考量词语的词频、语法结构以及语义特征，从细粒度与自动化两个方面入手，实现对技术领域知识的抽取与知识网络的组织，有效避免了固有领域知识的参与。1.2技术机会挖掘注重知识关联性现有研究中机会挖掘方法未形成统一范式，呈现百花齐放的态势，主要包含技术空白法、形态分析法、异常值检测法、科学与技术关联性法、链路预测法等主流机会挖掘方法13-14。根据分析方法的不同，各研究涉及的技术机会分析环节上存在较为明显的差异，如表1所示。虽然技术机会表征形式不一，但是其本质均是揭示技术知识之间的关联性。在针对技术空白的相关研究中，龚惠群等16、Lee 等17以领域关键词作为技术信息载体，采用主成分分析法降维并生成专利地图，将地图中的空白区域定义为所研究领域的技术机会。在探索科学与技术关联性的相关研究中，黄鲁成等22通过主题聚类和 SAO结构相似度从语义层面细粒度地揭示科学与技术间主题差异性，将此种差异性解释为可能出现的技术机会。由此可见，大多数学者是以知识元素间的组合关联或差异归纳来表达技术机会的主要特征14，从知识挖掘和组合的角度开展技术机会分析5。链接预测作为上述方法中最能直接体现知识之间关联性的技术机会挖掘方法，主要从特定领域的技术知识网络出发，通过链路预测指标计算网络中未来最有可能产生链接的“IPC 对”25或“关键词对”12。但是，此类研究中所采取的链路预测指标均需要具备较强的前提假设和应用场景。譬如，AA（Adamic-Adar）26指标在社交网络中具有很强的解释性，认为两个节点的共同领域中度小的节点贡献大于度大的节点，即若两位用户同时处在某一位小博主的朋友圈内，则可能产生较高的链接概率；反之，若两位用户同时是一位名人的粉丝，则其相互认识的概率较小。但知识元素间的共现关系可能并不会受到“明星”节点的影响，一切与研究热点相关的知识元素都可能在未来产生联动，促成相关技术的创新与发展，因此，该指标并不适用于技术知识网络。图神经网络方法的兴起为解决上述问题提供了契机，该方法有效避免了预定义节点间相似度的计算方式，通过卷积操作学习图结构信息，并利用节点向量表征有效地融合了节点自身特征与图结构特征，为链路预测任务提供丰富信息。其中，图自编码器27作为该类方法的开篇之作，在各领域中有着广泛的应用。譬如，自编码器模型在生物领域中常被用于预测人类基因与疾病之间关联性，经验证其具备较高的准确性和鲁棒性28-29。在社交网络中，图自编码器也已经成为商品推荐、消息推送等任务的主流推荐算法30。另外，在交通领域，学者们基于图自编码器对交通流量31、交通事故32和交通需表1不同机会挖掘方法所涉及的知识测度与机会表示差异机会挖掘方法技术空白法15-17形态分析法1-2异常值检测法18-19科学与技术关联法9,20-22链路预测方法12,23-24主要数据源专利专利专利期刊论文+专利专利技术知识测度与组织专利地图、GTM（generative topographic mapping）专利地图等技术形态矩阵SAO结构、单个专利文本等文本向量、文本主题；引文网络等IPC共现网络、关键词共现网络等技术机会定量表示地图中的空白区域未出现过的技术形态组合离群专利文本主题差异性、聚类差异性等预测的IPC间引用、共现；预测的关键词的引用和共现1201第 42 卷情 报 学 报求等实现了智能化的时空预测33。类似地，本文将图自编码器模型应用于技术机会挖掘，在大规模的技术知识网络中识别出未来可能产生链接的知识元素对，为后续技术机会分析提供高质量的候选集。2研究框架及方法结合现有研究特点和存在问题，本文设计了如图 1 所示的基于专利文本挖掘的细粒度技术机会分析框架，以关键词或词组的形式细粒度表征技术知识，并采用关键词或词组的组合关系表征技术机会，凸显技术机会的知识关联特性。该分析框架主要包含知识网络构建及演化分析、知识元素链路预测以及技术机会评估与筛选 3 个模块。下文将着重介绍技术知识网络构建方法和知识元素链路预测方法。2.1技术知识网络构建及演化分析方法在知识网络构建方面，本文秉持知识表征的细粒度原则，基于“关键词与词组是知识最基本的载体单位”这一假设34，融合关键词的多维度特征，自动化抽取具有技术表征能力的知识元素并构建网络。如图 2 所示，知识元素的具体抽取流程依赖于3 种不同的关键词抽取算法，分别捕获专利文本中词语的词频、语法和语义特征。首先，采用 TF-IDF算法抽取专利文本中的高频关键字，将其作为知识元素的必要组成部分。其次，通过 RAKE 模型捕获词语之间的共现关系，识别出占据核心语法位置的 n-gram 关键词组35。再其次，利用 BERT 预训练模型和向量相似度，计算得出与文本内容最契合的关键短语36。需要注意的是，上述两组关键词中都必须包含 TF-IDF 候选字，以保证领域专指性。最后，合并 RAKE 与 BERT 模型的抽取结果，即可得到同时具备高词频、动名词性以及核心语义等多个关键特征的技术知识元素。在构建网络连边方面，为避免知识元素间的语义重复性，将网络中连边由简单的共现关系改为仅关联非语义重复的知识元素对，即两个知识元素没有相同的 TF-IDF 关键字才可以建立链接。例如，“training sample”和“training set”中都出现 training，存在语义重复，即使两者出现在同一篇专利文献中彼此也不会建立链接。另外，为确保技术机会分析的时效价值，本文利用复杂网络分析法对知识网络结构进行深层次剖析，结合时间序列窥探技术的演化历程，以此指引技术机会的分析方向。具体来说，先利用知识网络的节点数和连边数揭示目标技术的横纵向发展趋势，再利用网络密度、平均路径长度、聚类系数等网络结构指标，深度挖掘知识元素间的交融模式，探析领域内部知识讨论热度与成熟度，以此确定各历史时期目标技术的发展形态及其所处的生命周期。图1基于专利文本挖掘的细粒度技术机会分析框架图2知识元素抽取方法1202第 10 期吴柯烨等：基于专利文本挖掘的细粒度技术机会分析2.2技术机会挖掘与评估方法在技术演化的指引下，本文采用图神经网络链路预测方法挖掘各生命周期下所蕴藏的细粒度技术机会，利用变分图自编码器27（variational graph auto-encoder，VGAE）及其变体图自编码器（graph auto-encoder，GAE）模型开展知识网络的链路预测任务，将知识元素之间未来可能产生的链接关系作为技术机会。图 3 描述了基于变分图自编码器的技术机会挖掘流程。如图 3 所示，VGAE 由两层图卷积神经网络编码器与解码器组成。编码器的工作思路是通过学习T 时间下可观测到的知识网络结构，获取各节点向量分布的均值 和方差，并据此从标准高斯分布中采样，生成新的节点向量 Z。解码器则是利用节点向量 Z 内积得到节点间链路预测存在的可能性，通过 sigmod 激活函数将链接可能性归一至 0 和 1 之间，以实现知识网络的重构和还原，生成预测的T+1 时间下知识网络。在此过程中，模型通过反向传播不断更新模型参数（均值 和方差），将真实网 络 与 预 测 网 络 之 间 的 交 叉 熵 和 KL（Kullback-Leibler）散度损失值最小化。最终，预测所得的 T+1 知识网络中链路增加的部分被认为是可能出现的技术机会。另外，GAE 相较于 VGAE 简化了编码步骤，只用了一层图神经网络结构就得到节点的向量分布Z，提高了链路预测的计算效率。为验证细粒度技术机会挖掘的可靠性，首先，本文基于历史真实数据采用 AUC（area under curve）和平均准确率（average precision，AP）指标对链路预测结果进行直接的定量评估，与其他算法进行对比，验证图自编码器方法的稳定性与鲁棒性。其次，综合多源技术发展报告对所挖掘出来的技术机会进行二次识别和评估。在此过程中，本文将特定领域的技术机会按照产业链结构进行划分，针对链路预测值（连边可能性）排序靠前的多对知识元素及其组合关系在技术发展报告中进行循证，以确定特定领域在各产业链环节上的技术机会。3计算机视觉领域实证研究为探究本文所提出分析框架的实际效用，选取典型交叉技术领域计算机视觉作为研究对象，开展实证研究。其主要原因有两点：一是在融合发展范式的驱动下，交叉领域存在大量潜在的技术发展机遇，如人工智能、生物信息学等，是各国各企业技术竞争的焦点，对该类领域的技术机会分析具有实际意义；二是交叉领域的技术覆盖面广泛，本身存在多学科参与、多场景应用的特征，其技术机会出现的方向和维度具有不确定性，能够有效检验本文所提出的分析框架的鲁棒性。3.1知识网络构建及技术演化分析3.1.1知识网络构建在数据收集方面，本文基于中国人工智能产业发 展 联 盟（Artificial Intelligence Industry Alliance，AIIA）所制定的计算机视觉专利检索式37，从德文特数据库中共抽取 82535 条相关专利。鉴于专利的公 开 具 有 滞 后 期，与 2020 年（10632 件）相 比，2021年的专利数据量（1420件）有断崖式下降，故下文只采用截至 2020 年的专利数据开展技术机会挖掘。根据 2.1 节网络构建方法，知识元素抽取结果按照重要性排序，如表 2 所示。可以看出，TF-IDF能够识别具有领域特征的单个关键字，如“image”“iris”“pixel”等大部分词语属于计算机视觉领域常用的专业词汇。RAKE 在抽取长短语上效果较为突出，但是普遍存在长度过长的情况，例如，长度为 3 的关键词短语“fingerprint identification device”的重要性得分比“fingerprint identification”高，但其涵盖语义却是后者的子集。结合文献38-39与上述验证结果，本文将 KeyBERT 模型中的 n 设置为 2抽取关键词，将所得结果与前两种算法取交集，得到 1457 个知识元素。最后，根据其间的 229573 条链路关系构建知识网络。3.1.2知识网络演化分析为确保微观层面技术机会分析遵循宏观技术演化历程，本节基于全局网络指标详细探究计算机视觉技术的发展脉络。从网络节点增量来看，技术知识网络规模逐年增大，增长速率呈现由缓到急再逐步进入平缓的态势，如图 4 所示。其中，1990 年以前，计算机视觉技术知识网络扩张速率处于较低的图3基于变分图自编码器的知识元素链路预测流程1203第 42 卷情 报 学 报水平，证明该阶段技术处于萌芽期，受到的关注较少；自 1990年以来，计算机视觉领域的知识元素数量激增，且 10 年内均保持较高的增长水平，这意味着自 20 世纪 90 年代起计算机视觉技术开始进入技术生长期。如图 5 所示，从网络中连边增量来看，对于步入生长期的计算机视觉技术而言，虽然其知识网络中新链接与旧链接均呈现幂指数增长态势，但是新链接（灰色柱状）占所有新增链接（黑色柱状）的比例（图 5 中曲线）逐渐变小，尤其从 2016 年开始，该比例大幅减小。这表明计算机视觉领域在经历了 19902015年这数十载的飞速发展后，领域内创新水平逐步变缓，新兴技术知识受到较少关注，开发者主要聚焦于已形成的技术方向，计算机视觉技术开始进入成熟期。结合其他全局网络指标可以进一步明确计算机视觉所处的技术生命周期，如图 6 所示。其中，19902000 年，网络聚类系数和平均最短距离指标浮动明显，图密度却保持在 5%以下，这表明虽然该阶段知识网络规模急剧扩张，但节点间的共现关系没有被完全挖掘，领域内知识交融程度并不充分，仍存在诸多值得学者探索的可能性，可以将其视作技术生长初期。20002010 年，图密度指标开始呈现上升趋势，而聚类系数与平均最短距离的上升和下降态势逐步趋于稳定，这表明技术的纵向挖掘正逐步追赶上技术横向扩张的步伐，计算机视觉正处在横纵向齐头并进的关键阶段，可以将其视作技术生长中期。2010年以后，随着深度学习助力计算机技术的二次腾飞，图密度指标呈现激增态势，尤其在 2015年以后更为明显，这表明计算机视觉技术的研发方向更集中于现有技术方向的纵向研究与细化，计算机视觉技术正由技术生长期逐步过渡到技术成熟期，可以将其视作技术生长后期。表2知识元素抽取结果TF-IDF关键字fingerprintercharacteririsimagefaceexpressionposturefeaturerecognitionpixeltrackingoptical权重0.710.710.680.620.610.530.430.420.400.400.400.36RAKE关键词convolutional neural networkoptical character recognitioncharacter recognition processfingerprint identification deviceflow diagram illustratingfingerprint identificationimage datafacial expressioncontrol unittarget objectdigital cameraschematic representation权重10.669.729.709.649.015.605.335.205.104.984.354.01KeyBERT（n=2）关键词identity authenticationbiometric recognitionimage processingimage recognitiontraining sampleiris recognitionvideo datadigital camerafeature extractionneural networkartificial intelligencedeep learning权重0.560.560.540.530.520.510.510.510.480.470.470.45图4知识网络逐年新增节点数量图5知识网络逐年新增连边数量灰色柱状表示从未建立过链接的知识元素间建立新链接的数量，即新建立的新链接；黑色柱状则表示所有的新增链接总数，不仅包含灰色柱状的新链接，还包含了已建立过链连接的知识元素间建立更频繁的联系，即旧链接。1204第 10 期吴柯烨等：基于专利文本挖掘的细粒度技术机会分析3.2知识元素链路预测3.2.1数据集划分为验证变分图自编码器（VGAE）及其变体（GAE）对于不同历史形态下技术机会挖掘的鲁棒性，本文根据知识网络演化结论，将计算机视觉网络按照时间拆分为 4 个动态子网络，并按照时间顺序切分各子网络的训练集、验证集和测试集，以此监督模型学习并验证预测结果，划分结果如表 3 所示。具体来看，为体现技术机会所具备时间特性，将某个动态子网络中特定时间节点 t 年的网络快照作为模型训练集，将 t+1 年网络快照中的新增链路作为测试集和验证集监督模型学习。例如，对于19801990 年的动态子网络而言，训练集由子网络中所有 311 个元素在 19801989 年产生的 1206 条链接构成，验证集和测试集则是由 1990年网络中相较于 1989 年网络中新建立的 513 条链接随机平均分配得到。此种数据集划分方式，一方面，可以消除动态技术知识网络中频繁建立的旧链接所导致前后知识网络中链路的天然重复性，保证了模型的泛化能力；另一方面，技术知识网络中旧链接的反复出现只能表示现有方向的深入研发，而新链接的初次建立则意味着技术机会的产生。因此，此种划分方式更关注新链接产生，具有实际技术意义，有助于提升模型预测结果效用。3.2.2参数设置图自编码器的链路预测性能在很大程度上取决于模型超参数的设置，需要通过反复实验加以确定。为节省计算资源，本文将学习率和随机丢弃率参照文献40分别固定为 0.01 和 0.05，只优化数据迭代轮次（Epoch，模型学习整个数据集的轮次），以使链路预测性能达到最佳。另外，鉴于本文所构建的训练集和验证集存在时间先后性，在训练集上具备较高的预测性能并不意味着在验证集上同样具有良好的泛化效果。因此选取训练集的 Epoch-Loss曲线和验证集的 Epoch-AUC 曲线共同确定数据迭代轮次 Epoch，以 19801990 年动态子网络为例，绘制上述两种曲线，如图7和图8所示。由图 7 和图 8 可知，训练集的损失值在前 10 个Epoch 内骤减后趋于缓慢减小，意味着模型已经学习到大部分训练集数据的特征；验证集则在近 50个 Epoch左右趋于相对稳定状态，在 250个 Epoch后出现波动下降趋势，表明此时模型出现过拟合情况。此外，GAE和 VGAE在拟合数据过程中 Loss曲线和AUC曲线趋势几乎保持一致，因此，将 19801990年中的GAE和VGAE的Epoch均设置为50。同样地，对各动态子网络的 GAE 和 VGAE 模型均进行 Epoch优化后，重新训练模型并进行后续的结果评估。图6全局网络指标变化趋势1990年和1991年的技术知识网络是非连通图，因此其平均最短距离实际应当无穷大；为完整展现平均最短距离的逐年变化趋势，1990年和1991年的数据分别由1988年和1989年的网络节点间平均最短距离代替。表3动态子网络的数据集划分动态子网络时间跨度（年）19801990199020002000201020102020节点数31190113061457训练集时间跨度（年）19801989199019992000200920102019连边数量12061412137306156257验证集时间跨度（年）1990200020102020连边数量2572306697636658测试集时间跨度（年）1990200020102020连边数量25623056976366581205第 42 卷情 报 学 报此外，为探究知识元素的语义属性是否会对技术机会挖掘能力产生影响。本文基于预训练向量模型 BERT-Base抽取各节点的语义特征，将节点特征矩阵作为模型输入参数X。3.2.3模型评估确定模型超参数后，将图自编码器与其他链路预测算法进行对比分析，以验证不同历史时期图自编码器链路预测算法的优越性与鲁棒性。在评价指标方面，本文采用链路预测任务中两种最常见的AUC和AP指标，定量评估各模型预测性能的优略。其中，AUC是模型的综合评价指标，其主要计算测试集链路得分值高于不存在链路得分值的概率，概率越高表示模型鲁棒性越好。准确率考量预测得分最高的L条边是否准确，计算前L条边存在于测试集中的占比，平均准确率（AP）则是将不同 L 取值下的精确率取均值而得。在基线方法方面，除了传统的链路预测指标，如 CN（common neighborhood）、AA 和 PA（preferential attachment）等，本文还选取了同属于图表示学习的 node2vec 算法。最终预测结果如表4所示。结果显示，VGAE 及其变体 GAE 在各历史时期的技术知识网络链路预测任务中都表现出卓越的性能，尤其是针对近 20 年来的知识网络，图自编码器比最优的传统链路预测指标在 AUC 和 AP 两个指标上均有近 10 个百分点的提升，可达到 90%左右。这表明图自编码器能够高效捕获大规模、高密度网络下的链路信息。另外，GAE 模型和 VGAE 模型比node2vec 具有明显优势，但变分操作并没有显著提升图自编码器的预测性能，这证明只采用简单的两层图卷积神经网络结构就可以达到精准预测链路的目的。在 19802000年，计算机视觉知识网络密度较低，可捕获的网络结构特征较少，此时节点语义特征的输入显著提高了 GAE模型和 VGAE模型的预测准确率，表明知识元素的语义特征同样也是识别 https:/ VGAE*增加了节点语义向量作为模型输入，而 GAE 和 VGAE 则采用 one-hot 向量作为模型初始化编码。RA 是 resource allocation 的缩写。粗体表示不同时期所有模型中最优的链路预测结果。1206第 10 期吴柯烨等：基于专利文本挖掘的细粒度技术机会分析技术机会的关键特征。综上所述，本文所构建的图自编码器模型能够适应于不同历史形态下知识元素的关联预测，预测结果可以作为潜在的技术机会以备进一步筛选和分析。3.3技术机会评估与筛选为进一步明确并细化未来计算机视觉领域潜在的技术机会，本节针对 20102020年的技术知识子网络中的链路预测结果进行二次验证，结合多源技术报告解读并筛选未来有发展前景的技术机会。根据中国移动研究院于 2020年发布的 计算机视觉研究报告41（以下简称 报告），计算机视觉产业链可分为上游感知层、中游计算层和下游应用算法层。基于此，本节采用人工方式对细粒度的技术组合关系做进一步筛选，并映射至各产业链环节中。3.3.1上游感知层技术机会上游感知层的主要任务是图像数据的采集，主要涉及硬件设备，如工业视觉中的工业摄像头、视觉传感器等。链路预测结果中与硬件设备相关的知识元素及其组合关系如图 9 所示。可以看出，上游硬件设备主要围绕移动终端和智能设备进行技术研发，集成了多种传感器设备，具体包含红外传感器、光学传感器、触摸屏幕、数码相机和深度相机等。其中，“multiple cameras”一词较好地概括了上游设备的未来发展趋势，即能够捕获的信息日益增多，包含除图片特征外的指纹、虹膜等多种特征。房建武42认为，环境感知是计算机视觉发展的基础，他预测多传感信息鲁棒融合方向是环境感知未来的主要手段。由此可得出，计算机视觉的上游感知层技术机会主要聚焦于“多传感信息融合”方向。3.3.2中游计算层技术机会位于计算机视觉产业链中游的计算层包含了芯片、深度学习框架和计算平台等相关技术，主要涉及图片传输、处理和识别等任务。基于此，抽取相关知识元素及其链路预测结果，如图 10 所示。可以看出，中游计算层是以人工智能算法为核心，主图9产业链上游知识元素及链路预测结果1207第 42 卷情 报 学 报要负责图像处理以及上下游数据的存储与传输任务。具体的技术机会可以总结为以下3个方面。（1）算法模型优化。神经网络、深度学习和机器学习等方法被广泛认为是计算机视觉技术突破的重要推动力。由图 10 可知，“deep learning”“machine learning”和“neural network”等词语占据较为核心的位置，这预示着人工智能类算法在计算机视觉上的应用性能还可能进一步突破。卢湖川在RACV（Recent Advances on Computer Vision）2019会议上也提到这一点，其认为虽然深度学习模型实现了特征抽取的自动化，但是压缩、裁剪和优化神经网络结构以更好地抽取特征、准确识别是未来技术发展的重点之一43。（2）高质量传输。位于图 10边缘位置的知识元素多涉及图片传输任务，如“wireless transmission”“network communication”和“wireless communication”等。这些知识元素与“mobile communication”“recognition module”的组合关系表明图片传输与处理技术正逐渐集成于移动硬件设备。由此可知，随着 5G 技术的崛起，图片等音视频信息在智能设备端的高质量传