面向三维重建的自适应步长视频关键帧提取.pdf

第 22卷 第 9期2023年 9月Vol.22 No.9Sept.2023软 件 导 刊Software Guide面向三维重建的自适应步长视频关键帧提取郑义桀，陈卫卫，罗健欣，潘志松，张艳艳，孙海迅（陆军工程大学 指挥控制工程学院，江苏 南京 210007）摘要：为解决视频帧数量多、易出现模糊帧造成的三维重建计算量过大、三维模型误差较大问题，提出一种自适应步长视频关键帧提取算法。该算法基于多通道直方图欧式距离计算图像相似性，利用拉普拉斯梯度函数计算图像清晰度，根据视频帧之间的相似性动态确定关键帧提取步长，通过清晰度检测规避模糊帧。在高清匀速视频和变速模糊视频上进行实验，并与当前多种视频关键帧提取算法进行比较。实验表明，该算法显著缩短了关键帧的提取时间，重建的三维模型精度更优。关键词：三维重建；关键帧；自适应步长；图像相似性；图像清晰度DOI：10.11907/rjdk.222214开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP391 文献标识码：A文章编号：1672-7800（2023）009-0159-08Adaptive Step Size Video Key Frame Extraction for 3D ReconstructionZHENG Yijie，CHEN Weiwei，LUO Jianxin，PAN Zhisong，ZHANG Yanyan，SUN Haixun（College of Command and Control Engineering，Army Engineering University，Nanjing 210007，China）Abstract：In order to solve the problem of large calculation of 3D reconstruction and large error of 3D model caused by the large number of video frames and easy to appear fuzzy frames，an adaptive step video key frame extraction algorithm is proposed.The algorithm calculates the image similarity based on the multi-channel histogram Euclidean distance，and the image sharpness based on the Laplacian gradient function.The key frame extraction step is dynamically determined according to the similarity between video frames，and the fuzzy frame is avoided through the sharpness detection.Experiments are carried out on high-definition constant speed video and variable speed blurred video.Compared with the current multiple video key frame extraction algorithms，the key frame extraction time of the proposed algorithm is reduced significantly，and the accuracy of the reconstructed 3D model is better.Key Words：3D reconstruction；key frames；adaptive step size；image similarity；image sharpness0 引言三维重建是利用二维图像恢复三维信息，以获得更直观的视觉效果。传统三维重建主要通过多视角的无序图像进行三维建模，因此对拍摄角度、图像清晰度要求较严格，且操作流程较复杂。随着多媒体信息发展，视频已成为信息的主要载体，相较于图像包含着更多信息，如果能通过视频进行三维重建将更有实际应用意义。由于视频是连续图像帧的集合，基于视频的三维重建归根到底还是依赖多视角图像，但视频帧存在冗余量大、因相机抖动而造成图像模糊等情况，因此需要提取视频序列关键帧。当前，关键帧提取算法可分为基于时间间隔采样算法1、基于帧间差异提取算法2-4、基于内容聚类提取算法5-7、基于光流运动提取算法8-9。其中，基于时间间隔采样算法预先设定采样时间间隔，遍历所有视频帧提取关键帧，实现简单、速度较快、关键帧分布均匀，但在不同时间间隔下的结果存在较大差异，当相机处于非匀速运动收稿日期：2022-10-17基金项目：国家自然科学基金项目（62076251）作者简介：郑义桀（1991-），男，陆军工程大学指挥控制工程学院硕士研究生，研究方向为计算机视觉；陈卫卫（1967-），女，硕士，陆军工程大学指挥控制工程学院教授、硕士生导师，研究方向为服务计算与云计算；罗健欣（1984-），男，博士，陆军工程大学指挥控制工程学院讲师，研究方向为计算机视觉、计算机图形学、网络与多媒体通信；潘志松（1973-），男，博士，陆军工程大学指挥控制工程学院教授、博士生导师，研究方向为模式识别、机器学习和神经网络；张艳艳（1986-），女，硕士，陆军工程大学指挥控制工程学院讲师，研究方向为机器学习、三维重建；孙海迅（1990-），男，陆军工程大学指挥控制工程学院硕士研究生，研究方向三维重建。本文通迅作者：陈卫卫。2023 年软 件 导 刊时将造成部分关键帧冗余或缺失；基于帧间差异提取算法取视频第一帧为关键帧，与之后的图像帧逐帧比较相似度，当相似度小于阈值则提取关键帧，并以新的关键帧寻找下一关键帧，该方法能保留较多原视频的主要内容，但阈值的设定将直接影响关键帧提取的质量且计算量较大；基于内容聚类提取算法以图像间的相似性为度量，依据不同类间相似性最小、类内部相似性最大的原则，将图像聚类后从每类中选取一帧作为关键帧，虽然该方法图像冗余度相对较小，但聚类数目和聚类中心需提前设定，因此聚类数目和聚类中心设定的好坏将直接影响关键帧提取的质量且计算量较大；基于光流运动提取算法通过计算图像光点的运动信息，估计场景中相机的运动量，将一定时间范围内运动量最小的帧提取为关键帧，该方法需要计算运动量的局部极小值点，计算过程较复杂且消耗较长。传统关键帧提取算法的主要目的是为了用尽可能少的图像代表整个视频，主要应用于视频检索和分类、目标检测和识别等任务。然而，三维重建任务需要在较清晰的图中提取关键帧，不同关键帧间还需具备较好的重叠度，因此需要改进传统关键帧提取算法，使其适应三维重建需求。陈旭等10-12采用一种层次化的设计解决该问题，但此类算法前期依然需要采用时间间隔采样来降低计算量，难以适应相机运动突变的情况。为此，本文提出一种自适应步长视频关键帧提取算法。该算法结合基于多通道直方图欧式距离13的图像相似性度量算法和基于拉普拉斯梯度函数14的图像清晰性度量算法，可根据视频帧变换率和清晰度变换来实时确定视频帧采样步长，并剔除模糊视频帧。实验表明，该方法相较于传统算法，能提升视频关键帧采样的效率和质量。1 自适应步长视频关键帧提取算法本文算法总体流程如图1所示，其中C代表清晰度，Cl代表清晰度阈值，S代表两幅图像的相似度，Sl、Sh分别代表相似度最低和最高阈值，step代表视频帧提取步长，K表示提取的关键帧。算法可分为两个阶段：（1）自适应步长采样。根据图像间的相似度确定视频帧提取步长，目的是尽可能减少关键帧的提取操作和相似度、清晰度计算过程，以最快速度提取高质量的关键帧。算法开始时，假设相机匀速运动，按固定步长提取关键帧，一旦发现图像相似度增大则需增加步长，反之减小步长；如果图像清晰度较差则继续以原步长向前搜索，最后生成初始关键帧队列。（2）深度去重。通过比较非相邻关键帧间的相似度，剔除相似度过高的关键帧，目的是避免因相机环绕物体拍摄而出现的前后场景重合的情况。该阶段将自适应步长采样阶段生成的初始关键帧队列的每个关键帧，与非相邻关键帧进行相似度计算，如果高于阈值则去除其中一个关键帧，最终生成关键帧队列。其中，自适应步长采样阶段主要可分为以下 3 个步骤：步骤1：确定首关键帧。第一个关键帧的要求是清晰度高，为后续关键帧选取提供参照。从第一帧开始逐帧判断，满足清晰度要求即加入关键帧队列。步骤2：确定初始步长。从第一关键帧后逐帧判断，将第一个满足清晰度和相似度要求的视频帧加入关键帧队列，并设其为参考帧，将两帧间的帧数作为初始步长。步骤3：向前搜索关键帧。按照原步长在参考帧后向前搜索视频帧，此时有3种情况：当前帧满足清晰度、相似度要求时，将该帧加入关键帧队列并设为新的参考帧；当前帧满足清晰度要求但相似度过低时，按照回退折半查找方法向后搜索关键帧；当前帧满足清晰度要求但相似度过高或清晰度不够时，按原步长继续向前搜索关键帧。1.1回退折半查找关键帧算法当前帧相似度过低进行回退折半查找时，由于视频变2step2step2step1step0step0step重去度深样采隔间应适自.iK3K2K1K0KiK.4K3K2K1K0K0step lCCllhCCSSSlhCCSSllhCCSSSlSSCCllhCCSSSllC CllhCCSSSllhCCSSS14(,)hS K KS(,)ijhS K KSFig.1Adaptive step video keyframe extraction process图1自适应步长视频关键帧提取流程 160第 9 期郑义桀，陈卫卫，罗健欣，等：面向三维重建的自适应步长视频关键帧提取化存在一定规律，因此，一旦视频帧出现模糊帧，则此帧周围必然存在一定数量的模糊帧，为了提高效率，如图2所示，若发现中间帧为模糊帧，则以本轮折半查找的最前帧作为关键帧，采用函数调用方式实现回退折半查找，如算法1所示。算法1 回退折半查找关键帧算法输入：回退最后帧序号idmin，回退最前帧序号idmax。输出：关键帧序号。1.function frameback(idmin，idmax)2.idmid(idmin+idmax)23.IF idmid=idmin idmid=idmax4.Return idmax5.ELSE C(fidmid)Cl Sl S(fidref，fidmid)Cl S(fidref，fidmid)Sh8.RETURN frameback(idmid，idmax)9.ELSE C(fidmid)Cl S(fidref，fidmid)Sl10.RETURN frameback(idmin，idmid)11.ELSE C(fidmid)视频总帧数4.RETURN id5.END IF6.IF C(fidnew)Cl Sl S(fidref，fidnew)Sh7.RETURN idnew8.ELSE C(fidnew)Sh9.RETURN frameforward(idnew，step)10.ELSE C(fidnew)Cl S(fidref，fidnew)Sl11.RETURN frameback(id，idnew)12.END IF13.END function1.3自适应步长视频关键帧提取算法然而，回退折半查找法提取的视频帧并不一定满足相似度要求，也不能确定相机运动是否发生突变。因此，在更新步长时，如果当前关键帧与前一关键帧间的帧差与原步长不同，则需要判断两个关键帧间相似度是否满足要求，满足则更新步长，反之步长保持不变。自适应步长关键帧提取流程如算法3所示。算法3 自适应步长视频关键帧提取算法输入：视频序列video=f0，f1，fn。输出：关键帧队列keyqueue=k0，k1，km。1.初始化keyqueue ，id 0，idref 0，step=12.WHILE id Cl4.fid插入keyqueue5.idref id6.END IF7.id id+18.END WHILE9.WHILEid Cl S(fidref，fid)Sh11.fid插入keyqueue12.step id-idref13.idref id14.END IF15.id id+116.END WHILE17.id id-1+step18.WHILE id Cl Sl S(fidref，fid)Cl S(fidref，fid)Sl22.id frameback(idref，id)23.IF Sl S(fidref，fid)Cl S(fidref，fid)Sh27.id frameforward(id，step)28.执行212329.END IF.最后帧最前帧中间帧lCClCClCC.视频序列关键帧队列 Fig.2Principle of split-half search for key frames图2折半查找法搜索关键帧原理 1612023 年软 件 导 刊30.id id+step31.END WHILE32.输出keyqueue1.4关键帧队列深度去重算法在深度去重阶段剔除非相邻关键帧间相似度过高的关键帧，具体流程如算法4所示。算法4 关键帧队列深度去重算法输入：初始关键帧队列keyqueue。输出：优化关键帧队列keyqueue。1.FOR i 0 to keyqueue元素个数2.FOR j i+2 to keyqueue元素个数3.IF S(fi，fj)Sh4.去除第j个关键帧5.END IF6.END7.END8.输出keyqueue2 基于多通道直方图欧式距离的图像相似性度量算法2.1算法原理在本文提出的视频关键帧提取算法中，计算图像相似度是关键，目前基于直方图的相似度计算是较为常用的方法。首先进行灰度处理，记录像素灰度值；然后统计每个灰度的次数，生成图像灰度直方图；最后通过两个直方图的欧式距离代表图像相似性进行灰度处理，虽然能简化计算，但容易造成误差，尤其在三维重建中颜色不同将直接影响视角匹配的精确度。为此，本文采用基于多通道直方图欧式距离计算图像相似度。首先通过直方图欧式距离计算R、G、B通道的相似性，然后计算3个通道相似性的平均值，并将其作为两幅图像的相似性。对于任一颜色通道，两帧图像的直方图分别为H=h1，h2，hn、G=g1，g2，gn，该颜色通道相似性可表示为：D(G，H)=1ni=1n()1-|gi-himax(gi，hi)（1）式中：n为像素值划分数量，像素值范围为 0，255，为了提升比较效果，n取256。两幅图像的相似度可表示为：S(G，H)=13(DR(G，H)+DG(G，H)+DB(G，H)（2）2.2相似度阈值相邻两幅图像相似度需要设定合理阈值，相似度太高将造成图像冗余度大、后期三维重建计算量大；相似度太小则会导致图像匹配困难、三维重建精度不高。为了合理选择阈值，本文采用文献 15 的相机视角选择方式对每个视频帧进行评分。具体为，针对一段视频序列，首先选取某个图像i，计算该图像与其他图像j的匹配得分Score（i，j）；然后按得分进行排序，选取得分最高的10个图像。其中，匹配得分的计算方法如式（3）所示。Score(i，j)=p()ij()p（3）式中：p为图像i、j的可视三维点；ij（p）为p与视角i、j的相机中心连线夹角，计算方法如式（4）所示。ij(p)=(180)arccos(ci-p)(cj-p)（4）式中：ci、cj分别为视角i、j的相机中心。（）为分段高斯函数：()=exp()-()-02221，0exp()-()-02222，0（5）式中：0为一个确定的基线夹角，越接近该夹角得分越高，本文参照DTU数据集参数设置方法，将0、1、2设置为5、1、10。本文选取 tanks and temples 数据集16进行测试，按照上述方法计算视频序列中每个图像与其他图像的匹配得分并排序。选取得分最高的前 10帧匹配图像后，计算各个图像与其他图像对应的 10 帧匹配图像的直方图相似性，Museum、Panther、Horse、Family视频结果如图3所示。图 3 横轴为匹配图像序号，纵轴为相似度。由此可见，每个图像与其匹配图像的相似度在0.600.90，且总体随得分呈下降趋势。此外，结合文献 10 中指出相邻图像相 似 度 应 低 于 0.88，因 此 本 文 将 相 似 度 阈 值 设 置 为0.600.88。3 基于拉普拉斯函数的清晰性度量算法3.1算法原理由于本文在评价图像清晰度时无参考图像，因此可将该问题归为无参考图像清晰度评价，采用常用的拉普拉斯（Laplacian）梯度函数进行计算。Laplacian 算子的定义如（a）Museum（c）Horse（b）Panther（d）FamilyFig.3Matching image similarity between different video frames图3不同视频帧匹配图像相似度 162第 9 期郑义桀，陈卫卫，罗健欣，等：面向三维重建的自适应步长视频关键帧提取式（6）所示，图像清晰度函数定义如式（7）所示。L=161414-204141（6）D(f)=yx|G()x，y（7）式中：G（x，y）为像素点（x，y）处Laplacian算子卷积。3.2清晰度阈值为确定清晰度阈值，研究 tanks and temples 数据集中视频清晰度的变化规律。首先，对原图添加3种不同程度的运动模糊17；然后比较不同模糊下清晰度值发生的变化，Horse、Family的测试结果如图4所示。其中，横轴表示视频帧序号，纵轴表示清晰度。由图4可见，原图清晰度均在70以上，经过模糊后清晰度下降明显，均在50以下。为了尽量保证图像质量，本文将清晰度阈值设为70。4 实验与结果分析4.1实验环境与评价方法本文编程语言为 Python，在 Ubuntu18.4 Intel（R）Xeon（R）Gold 5118 CPU系统上进行测试。首先提取视频关键帧，然后通过MVE18进行三维重建。MVE是一个开源、基于传统方法的三维重建系统，从输入多视角图片开始，包含了运动重建、稠密重建、网格重建、纹理贴图整个流程。由于本文主要比较重建效果，因此只采用运动重建、稠密重建这两个模块。将本文算法与时间间隔采样算法1、帧间差异提取算法19、K-means聚类提取算法5和光流运动提取算法8进行比较，根据关键帧提取时间、关键帧数量、关键帧质量和三维重建质量分析各算法特点。具体的，关键帧质量包括有无模糊关键帧或相似度过高的关键帧；图像相似度过高定义为两幅图像间基于多通道直方图欧式距离0.88；图像模糊定义为图像的拉普拉斯梯度函数值70；三维重建质量主要用来比较重建的三维点云与真实物体的相似程度，可分为点云精确度和完整度。其中，精确度通过重建的三维点云与真实物体点云的距离来衡量，表示重建点的精度；完整度表示物体表面被重建的完整程度，一般以两者间的平均值作为最终点云质量的评价指标。本文采用DTU数据集评价计算方法，假设基准三维点云中空间点gi，重建点云距离gi最近的三维点ri的欧氏距离为di，具体精确度计算方式为：Acc=1|Ri=1|Rdi（8）式中：|R|表示重建点云中参与评价的点云数量，重建点云精度越高，精确度值Acc越小。完整度计算方式为：Comp=1|Gk=1|Gdk（9）式中，|G|表示基准三维点云的空间点个数，重建点云的完整度越高，完整度值Comp越小。整体度为两者平均值：Overall=Acc+Comp2（10）4.2实验数据通常情况下，以tanks and temples数据集中的视频Caterpillar片段作为数据集进行实验，但该视频均为高清视频且相机匀速运动，因此本文参考文献 20 的方法制作了一段虚拟视频 Visual Car，并且虚拟视频通过人工控制相机运动，可方便、有效的评估视频帧提取算法。其中，Caterpillar是高清匀速视频、Visual Car是变速且包含模糊帧的视频。本文利用Unity3D引擎搭建了一个虚拟场景，设置相机匀速、加速和减速运动并增加抖动情况，因此该视频包含了变速和模糊情况，可有效检测算法在不同情况下的性原图模糊度：20模糊度：40模糊度：80FamilyHorse Fig.4Image sharpness changes after different degrees of blur图4不同程度模糊后图像清晰度变化 1632023 年软 件 导 刊能。图5展示了两段视频中的部分视频帧，具体参数如表1所示。为了比较点云重建质量，采用tanks and temples数据集给出的Caterpillar基准点云，Visual Car的基准点云需手动制作。首先通过Unity3D生成多视角图像和视角相机参数，然后通过深度学习多视角网络 PatchMatchNet21生成三维点云，如图6所示。4.3实验结果本文调整时间间隔采样算法的时间间隔、K-means聚类提取算法的类间距和光流运动提取算法的光流变化阈值等参数，使3种算法生成的关键帧数量与本文算法基本相同，并将帧间差异提取算法的帧间差异阈值与本文算法中相邻图像相似性阈值设置一致。表2展示了各算法提取Caterpillar关键帧的结果，图7为重建的点云效果。由此可知，时间间隔采样算法耗时最少，但由于该算法不比较帧之间的变化，容易存在高相似帧情况，重建效果一般；帧间差异提取算法需比较每两帧间的差异，用时最长，不具备高相似帧，重建结果相对较好；K-means聚类提取算法用时较长，存在高相似帧，重建结果最差；光流运动提取算法需提取图像光流信息并比较光流变化，耗时最长且重建点云完整性较差；本文算法耗时虽然为时间间隔采样算法的3倍，但仅为帧间差异提取算法的1/13.5、K-means聚类提取算法的1/9.1、光流运动提取算法的1/15，且不存在高相似帧，重建质量最优。表3展示了各算法提取Visual Car关键帧的结果，图8为重建的点云效果。由此可知，时间间隔采样算法虽然耗时最短，但不存在高相似帧和模糊帧的识别能力，重建点云质量较差；帧间差异提取算法可剔除高相似帧，但提取时间最长且包含大量模糊帧，因此重建点云质量较差；K-means聚类提取算法耗时长，包含高相似帧和模糊帧，重建点云完整性不高，存在较多杂点；光流运动提取算法用时最长，存在较多高相似帧和模糊帧，重建点云质量一般；本文算法用时虽然相较于时间间隔采样算法耗时更长，但仅为帧间差异提取算法的 1/5.19、K-means聚类提取算法的1/4.29、光流运动提取算法的1/5.56，且不存在高相似帧和模糊帧，重建点云质量最优。综上所述，时间间隔采样算法需提前调整时间间隔，K-means聚类提取算法需提前设置类间距，光流运动提取Table 1 Video data parameters表1视频数据参数数据名称CaterpillarVisual Car数据类型公开数据虚拟数据分辨率3 8402 1601 6001 200时长/s8047帧数2 3981 439匀速帧02 39803308861 0261 1461 439变速帧-3318851 0271145模糊帧-2002501 0001 080Table 2Comparison of Caterpillar key frame extraction results表2Caterpillar关键帧提取结果比较算法名称本文算法时间间隔采样算法帧间差异提取算法K-means聚类提取算法光流运动提取算法提取时间/s119.5240.561 610.021 091.221 890.72关键帧数8585888784高相似帧数08050重建模型大小/MB128.595.7122.748.561.2重建整体度/mm0.871.320.962.352.21Fig.5Video part video frame图5视频部分视频帧注：下半部分图片为Caterpillar，下半部分图片为Visual Car。Fig.6Datum point cloud图6基准点云注：左半部分为Caterpillar，右半部分为Visual Car。（a）The proposed algorithm（a）本文算法（d）K-means clustering（d）K-means聚类（b）Practices interval sampling（b）实践间隔采样（e）Optical flow motion（e）光流运动（c）Inter frame differences（c）帧间差异Fig.7Comparison of reconstruction effect of different algorithms in Caterpillar图7不同算法在Caterpillar的重建效果比较 164第 9 期郑义桀，陈卫卫，罗健欣，等：面向三维重建的自适应步长视频关键帧提取算法需提前设置光流变化阈值，因此难以适应动态变化的视频，且不具备高相似帧和模糊帧的识别能力。本文算法在高清匀速视频或变速模糊视频下，在提取关键帧时相较于现有方法存在一定优势。此外，帧间差异提取算法计算量过大，且不具备模糊帧识别能力。本文算法通过设置步长可减少视频帧间的比较计算用时，通过清晰度判断剔除模糊帧、帧间差异的变化以动态改变步长，既保证了关键帧间具有较好的视角变化，又能快速确定下一关键帧的位置。为了进一步比较算法的通用性，本文通过相机随机拍摄了3个物体的视频，分别采用上述5种算法提取关键帧，并采用MVE进行三维重建，重建点云效果如图9所示。由此可见，虽然本文提出的关键帧提取算法无法保证点云重建效果总为最优，但算法鲁棒性较强，重建的点云质量普遍较高。5 结语本文基于多通道直方图欧氏距离的图像相似性与拉普拉斯梯度函数的图像清晰度计算方式，提出一种面向三维重建的自适应步长视频关键帧提取算法。根据视频帧的变化快慢、清晰度，以实时确定视频帧采样步长、去除模糊视频帧。实验结果表明，该算法相较于多种传统算法能提升视频关键帧采样的效率和质量，三维重建效果最优，但提取的视频关键帧数量仍然较多。下一步，将重点研究关键帧数量与三维重建效果的关系，以改进关键帧提取算法，进一步提升视频关键帧提取的效率和质量。（a）The proposed algorithm（a）本文算法（d）K-means clustering（d）K-means聚类（b）Practices interval sampling（b）实践间隔采样（e）Optical flow motion（e）光流运动（c）Inter frame differences（c）帧间差异Fig.9Comparison of reconstruction effect of objects taken by camera图9相机拍摄物体重建效果比较Table 3Comparison of extraction results of Visual Car key frames表3Visual Car关键帧提取结果比较算法名称本文算法时间间隔采样算法帧间差异提取算法K-means聚类提取算法光流运动提取算法提取时间/s33.2417.41172.63142.66185.12关键帧数79781158079高相似帧05043模糊帧0818915重建模型大小/MB98.935.519.838.358.7重建整体度/mm0.721.281.411.340.96（a）The proposed algorithm（a）本文算法（d）K-means clustering（d）K-means聚类（b）Practices interval sampling（b）实践间隔采样（e）Optical flow motion（e）光流运动（c）Inter frame differences（c）帧间差异Fig.8Comparison of reconstruction effect of different algorithms in Visual Car图8不同算法在Visual Car的重建效果比较 1652023 年软 件 导 刊参考文献：1 ZARCOTEJADA P J，DIAZVARELA R，ANGILERI V.Tree height quantification using very high resolution imagery acquired from an unmanned aerial vehicle（UAV）and automatic 3D photo-reconstruction methodsJ.European Journal of Agronomy，2014，55（1）：89-99.2 WANG Z Q，FAN J F.Video key frame extraction method based on mutual information J.Journal of Henan Institute of Engineering（Natural Science Edition），2021，33（4）：67-69.王志强，樊景峰.基于互信息量的视频关键帧提取方法 J.河南工程学院学报（自然科学版），2021，33（4）：67-69.3 ZHANG X Y，ZHANG Y H.Video key frame extraction method based on fusion featureJ.Application of Computer System，2019，28（11）：176-181.张晓宇，张云华.基于融合特征的视频关键帧提取方法 J.计算机系统应用，2019，28（11）：176-181.4 CHEN C.Key frame extraction method based on image entropy and local frame difference J.Modern Computer，2022，28（4）：88-92.陈诚.基于图像熵和局部帧差分的关键帧提取方法 J.现代计算机，2022，28（4）：88-92.5 ZHANG Y F，LI J C，KUANG Y Y，et al.Research on video key frame extraction technology based on K-means clustering J.Computer and Information Technology，2021，29（1）：13-16.张一凡，李家辰，旷远有，等.基于K均值聚类的视频关键帧提取技术研究 J.电脑与信息技术，2021，29（1）：13-16.6 XIANG D，JI J，ZHANG J R，et al.Dynamic video key frame extraction model based on improved K-means J.Modern Information Science and Technology，2021，5（3）：9-12，16.向东，吉静，张景瑞，等.基于改进K-Means的动态视频关键帧提取模型 J.现代信息科技，2021，5（3）：9-12，16.7 WANG J L，LU X M.Video key frame extraction algorithm based on semantic correlation J.Computer Engineering and Applications，2021，57（4）：192-198.王俊玲，卢新明.基于语义相关的视频关键帧提取算法 J.计算机工程与应用，2021，57（4）：192-198.8 BROX T，MALIK J.Large displacement optical flow：descriptor matching in variational motion estimation J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，33（3）：500-513.9 HUANG B，YANG Y，WANG Q.A fast motion estimation method for video segmentation J.Journal of Circuits and Systems，2001（1）：69-71.黄波，杨勇，王桥.一种用于视频分割的快速运动估计方法 J.电路与系统学报，2001（1）：69-71.10 CHEN X.Research on 3D reconstruction algorithm of large outdoor scene based on video image D.Xiamen：Xiamen University，2019.陈旭.基于视频图像的大型户外场景三维重建算法研究 D.厦门：厦门大学，2019.11 WANG X.Design and implementation of 3D scene reconstruction algorithm based on 2D video D.Hohhot：Inner Mongolia University，2021.王欣.基于二维视频的三维场景重建算法设计与实现 D.呼和浩特：内蒙古大学，2021.12 WANG Z Y.Research on real-time 3D scene reconstruction method of aerial image sequence D.Shenyang：Shenyang University，2018.王智勇.基于无人机航拍图像序列的三维场景实时重建方法研究D.沈阳：沈阳大学，2018.13 CORREAL R，PAJARES G，RUZ J J.Automatic expert system for 3D terrain reconstruction based on stereo vision and histogram matching J.Expert Systems with Applications，2014，41（4）：2043-2051.14 ZHU L，JAAKKOLA A，HYYPPA J.The use of mobile laser scanning data and unmanned aerial vehicle images for 3D model reconstructionJ.International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences，2013，2（1）：419-423.15 YAO Y，LUO Z，LI S，et al.Mvsnet：depth inference for unstructured multi-view stereo C/Proceedings of the European Conference on Computer Vision，2018：767-783.16 KNAPITSCH A，PARK J，ZHOU Q Y，et al.Tanks and temples：benchmarking large-scale scene reconstructionJ.ACM Transactions on Graphics，2017，36（4）：1-13.17 LEI C C.Research on unreferenced fuzzy image quality evaluation algorithm based on visual perception D.Nanchang：East China Ins