虚拟图像特征融合误差控制算法仿真_庄佳.pdf

收稿日期:2021-12-01 修回日期:2022-02-18 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0219-04虚拟图像特征融合误差控制算法仿真庄 佳,石 林(常州大学,江苏 常州 213164)摘要:为使 VR 图像呈现更大的视场角,需利用镜头反畸变方法优化图像视觉效果,此过程易发生特征畸变。为及时矫正特征畸变,提出 VR 图像特征融合误差半监督校正算法。提取图像特征,获取误差定位区域。在定位区域中预测特征融合误差。误差数据在支持向量机的辅助下,通过半监督式学习算法对分类器完成训练,分类所有误差特征,最终计算出每种误差的校正系数,实现 VR 图像特征融合的误差校正。实验结果表明,所提算法的校正准确率始终稳定在 90%100%,在 100 组迭代实验中所提方法的误差预测精度可达 90%以上,校正所需时间更短,均值为 0.20s。关键词:图像;误差预测;特征提取;半监督;校正算法中图分类号:TP391 文献标识码:BSimulation of Error Control Algorithm for VirtualImage Feature FusionZHUANG Jia,SHI Lin(Changzhou University,Changzhou Jiangsu 213164,China)ABSTRACT:In order to make VR images present a larger field of view,it is necessary to use the lens anti-distor-tion method to optimize the image visual effect,which is prone to feature distortion.In order to correct the feature dis-tortion in time,this paper presented a semi-supervised correction algorithm for VR image feature fusion error.Firstly,we extracted the image features and obtained the error location area.Then we predicted feature fusion error inthis region.With the help of support vector machine,the error data were trained by semi-supervised learning algo-rithm to classify all error features.Finally,we calculated the correction coefficient of each error,and thus,realizedthe error correction for VR image feature fusion.Experimental results show that the correction accuracy of the pro-posed algorithm is always kept between 90%100%.In one hundred iterative experiments,the error prediction ac-curacy can reach above 90%,and the correction time is shorter,with an average of 0.20s.KEYWORDS:Image;Error prediction;Feature extraction;Semi-supervised;Correction algorithm1 引言VR 技术是在数字技术的帮助下产生虚拟图像1的一种方法,利用 VR 技术可创造出现实世界无法呈现的场景,为消费者带来全新的感官体验,VR 技术获取图像的途径主要是图像特征融合2,3,但 VR 技术应用过程中不可避免会产生一定的图像场景重建误差,在校正这些误差的过程中,很多数量较少且不明显的误差容易被忽略,导致虚拟场景图像的误差校正效果不理想。吕丽军4等人首先利用光学系统的主光线将错误图像与正确图像一起投影到平面上,获取两者之间的曲线,其次对曲线进行拟合并计算出该曲线的逆函数,从而复原带有误差的图像,实现图像误差校正。段静彧5等人首先将图像转换成数字信号,并对信号进行视差函数配准,完成图像模板匹配,将其视为图像误差校正的基础,其次计算出图像的实际误差,将误差进行插值处理,以此生成误差补偿结果,实现图像误差校正。以上二种方法均没有提前预测 VR 图像特征融合误差,导致在计算过程数据量巨大,同时提高错误校正发生率,大大加长校正时间,存在校正准确率低、误差预测准确性低、校正所需时间长和校正效果差的问题。为了解决上述算法中存在的问题,提出 VR 图像特征融合误差半监督校正算法。经研究发现,机器学习可有效提高校正精度,机器学习是人工智能的主要表示,其中的半监督912式学习可通过推导部分数据获取,经过训练将相同的误差类别分类到一起进行校正,加强整体校正精度。2 VR 图像特征融合误差预测对于已经完成特征融合6,7后的 VR 图像其中不可避免会出现融合误差,因此完成图像融合后还需进行误差校正8,为最大程度提高校正精度,需对可疑区域完成定位进而完成图像特征融合误差的预测9,10。2.1 VR 图像特征提取卷积神经网络11是目前最高效的误差定位方法,由于卷积神经的特殊组成结构可分别完成定位所需的内容,从而提高定位精度,通过卷积神经网络训练模型提取出图像特征,在网络模型的反向传播特性以及误差函数的帮助下调整神经网络参数,其中误差函数的表达式为E=12Ni=1Nk=1(qmk-zmk)(1)式中,m 表示卷积神经网络模型训练所需的图像样本个数,zmk表示第 m 个训练图像对应的第 k 个网络计算结果,k 表示卷积神经训练结果数量,qmk表示第 m 个图像经训练得出的输出结果标签。基于误差函数以及网络训练模型对图像特征进行提取,首先将原始图像转换成 HSV 模式以此提出图像的颜色特征向量,为减少直方图维数以此增强校正效率,可均匀量化图像的颜色空间,将图像颜色特征进行加权归一化处理12后得出图像特征,其结果表达式为H=Ha+Hb(1-)(2)式中,Ha表示图像误差区域直方图特征,Hb表示没有误差区域的直方图特征,表示相应图像区域的面积,H 表示经过归一化处理后的图像特征。除颜色以外的特征在提取时可将无误差的图像与有误差的图像进行映射,通过计算两种图像之间的映射函数完成特征提取13,14,其映射计算公式为C(x)NTm(3)式中,C(x)表示映射函数,N 表示目标图像的特征数量,Tm表示实数向量。通过映射生成误差图像的空间维数计算公式为W=(1+e)2(4)其中,W 表示带有误差特征的图像空间维数,表示空间维度向量,e 表示映射参数。进而计算出特征融合图像的向量,其运算表达式为p=Bi(x)WC(x)(5)式中,p 表示图像的向量,Bi(x)表示第 i 个图像的特征。根据式(5)即完成图像的特征提取。2.2 图像特征融合误差定位根据提取出的特征进行误差区域相似度的计算,在相似度计算结果的帮助下对每类相似的特征进行分类,并运算出不同区域之间的距离,在特征相似度计算中欧式距离是最有效的计算方法,其中区域距离的表达式可设置为F(c,d)=(Hc-Hd)TA(Hc-Hd)(6)式中,F(c,d)表示特征区域 c 和特征区域 d 之间的欧式距离,A 表示特征相似矩阵,即特征维数之间的联系权重,T 表示特征向量。假设特征之间的相似度为 akj,其表达式为akj=1-fkjfmax(7)式中,fkj表示特征 k 和 j 之间的距离,fmax表示特征间的最长距离。为更好描述图像特征间的相似性,同时明确定位出误差区域,定义出参考区域的距离,其表达式为Oi=r|Vi-V|(8)式中,Oi表示参考区域距离,表示特征点的权重向量,V 表示图像特征。通过计算特征间的距离并对其进行加权处理,得出最符合图像的平滑因子,进而得出特征相似度,特征相似度就是经过外部加权归一化处理后的特征欧式距离,其表达式为Dis(a,b)=F(a,b)(1-)+F(a,b)(9)式中,Dis(a,b)表示特征间的相似度,表示归一化参数。根据相似度公式计算出特征间距离,并与参考区域距离进行比较,若大于参考距离,则进行标记,从而定义出可疑区域。2.3 图像特征融合误差预测在可疑区域中预测出存在误差的图像区域,即将标记出的可疑区域视为目标区域进行预测,首先构建图像训练样本与预测样本之间的多元线性回归矩阵,其表达式为ra,b-1ra-1,b-1ra-1,b|=123|+123|ra,b-2ra-1,b-2ra-1,bra-1,b-2ra-2,b-2ra-1,b-1ra-1,b-1ra-2,b-1ra-2,b|(10)其中,表示多线性回归系数,表示各个样本的残差值,r 表示与目标样本相邻的样本像素。其中回归系数 的运算表达式为i=(YTY)-1YTY(11)其中,T 表示转置符号。进而计算出图像融合特征的预测值,其表达式为ra,b=J(1ra,b-1+3ra-1,b+2ra-1,b-1)(12)其中,J 表示每种特征的评价分数,r 表示图像特征融合误差预测样本。将目标预测样本与全新样本预测值进行比较即可生成VR 图像特征融合的误差预测值,其运算表达式为D1=round(ra,b-ra,b)(13)式中,D1即为误差预测值。3 图像特征融合误差半监督校正半监督式学习算法15在机器学习中是较为容易实现的022一种算法,它可以忽略数据是否被标记的同时完成数据的分类,加强系统的泛化能力,半监督式误差校正可通过少量被标记以及大量未被标记的样本进行训练完成误差校正,即在预测的误差数据中提取训练样本,并在半监督式学习下对样本的特征信息进行分类。为加强分类精度,基于 VR 图像特征融合的误差预测值,在半监督式学习下添加支持向量机,首先对预测数据中已被标记的数据进行分类,假设预测数据中被标记的数据集合为(y1,z1),(y2,z2),(yn,zn),未被标记的数据集合为y1,y2,y3,其中支持向量机的公式如下所示Minx1,x2,xk,v,b,1,n,1,k|12v2D1+Bni=1i+Ckj=1jS.t xiv yi+a 1-i xiv yj+a 1-i|(14)其中,B 表示支持向量机的参数,C 表示支持向量机中的影响因素,i 和 j 均表示 1 n 的正整数,v 表示特征的权重,i表示分类系数。通过半监督式学习算法对分类器进行训练,生成误差特征的期望向量以及方差向量,其表达式如下所示n0i=n0i1,n0i2,n0im()0i=(01,02,0m)(15)式中,n0i表示特征向量最优结果,0i表示方差向量。当 i 和 n 相等,即可得出分类器,否则重新选取标记的样本进行训练直至 i 和 n 相等得出分类器。利用训练出的分类器对大量未被标记的数据进行分类,在预测误差样本中任意选取未被标记的样本进行分类,为更加贴近未被标记的样本,需在已生成的分类器的基础上进行修改,即将式(15)优化成下列式子ni=ni+11,ni+12,ni+1n()i=(i+11,i+12,i+1m)(16)通过式(15)和(16)分类器对标记的误差数据以及未标记的图像误差数据进行分类即可获取最具影响力的结果。VR 图像由于特征融合错误导致的图像误差是系统固有的,因此也将这种误差称之为系统误差,根据 VR 技术得出这种误差的数学模型公式为fd(z)=fc(z)fs(z)(17)其中,fd(z)表示分类出的误差图像区域,fs(z)表示原始 VR图像,fc(z)表示特征融合误差函数,z 表示图像中特征点。进而得出特征融合误差就是乘性误差,这种误差的校正最优方法就是系统校正,通过上式可知原始图像的生成公式为fs(z)=fd(z)fc(z)(18)利用上式对原始图像的复原较为困难,为方便运算可提前设定条件进行还原,假设 VR 图像中所有特征融合误差种类相同,设误差为 j,此时的原始图像表达式为fs(z)=jfd(z)fdk(z)(19)将每种误差进行设定,根据上式计算出每种误差的修正系数,以此完成误差校正。4 实验结果与分析对所提算法、文献4算法和文献5算法进行校正准确率、误差预测准确性、校正所需时间和校正效果进行测试,设计仿真。具体测试结果如下所示。4.1 校正准确率指标VR 图像特征融合误差校正算法必须保证校正精度,为验证所提算法的优劣,对所提算法、文献4算法以及文献5算法的校正准确率进行比较。现在同一环境下选取带有不同误差类型的 VR 图像,分别通过三种算法进行校正,将校正结果准确率进行比较,其结果如图 1 所示。图 1 不同算法下的校正准确率为保证实验真实性,分别对十组不同的误差进行校正,根据实验结果可看出,每组实验结果均是所提算法的准确率最高,其余两种算法的实验结果准确率均远远低于所提算法,因为所提算法在进行误差校正前对误差数据进行预测,提前将数据量降低,使得后续的校正计算仅仅在预测数据中进行校正即可,保证校正效率,降低将正确融合特征视为误差的概率,从而提高校正精度。4.2 误差预测准确性指标在进行 VR 图像特征误差校正过程中,对误差进行预测是提高校正精度的最常用手段,经过预测可排除大部分正确融合数据,降低在校正过程中错误校正的风险,因此预测误差的精度也是决定校正结果好坏的关键因素。为得出最优校正算法,随机选取 100 组带有特征融合误差的 VR 图像,通过三种校正算法进行误差预测,判断出精122度最高的预测算法即为最优校正算法,其实验结果如图 2所示。图 2 三种算法的误差预测准确性误差预测准确性是正确预测误差数量与实际图像中所存在的误差之比,经过对图 2 的分析,误差预测准确性最高的算法即为所提算法,因为经比较发现每组实验下的预测准确性最高的均是所提算法,从而验证所提算法的优越性。4.3 校正时间指标VR 系统在生成图像过程中不仅要求图像的质量也讲究生成时间,图像误差的校正也包括在图像生成时间内,因为校正时间的长短也影响系统图像的生成效率,所以现将校正所用时间当成验证校正误差算法优劣的一项指标。为保证外界环境不影响实验结果,现保证三种算法所处的环境以及受到的影响均一致,随机选取几组误差图像进行校正,计算其校正所需时间,结果如表 1 所示。表 1 三种算法的校正耗时/s实验编号所提算法校正耗时文献4算法校正耗时文献5算法校正耗时100.2130.8951.032200.2310.8540.985300.2300.4590.998400.1960.5640.962500.1470.8740.981600.1840.7891.025实验编号所提算法校正耗时文献4算法校正耗时文献5算法校正耗时700.2200.6211.036800.1680.7851.062900.2110.6540.9621000.1980.8521.026 经过对表 1 的分析,所以算法的校正时间均在 0.5 秒以下,文献4算法较文献5算法其校正效率更高些,时间均控制在 1 秒以下,而文献5算法的一部分校正时间已经超过 1 秒,因此证明所提算法是最优误差校正算法。4.4 校正效果对误差进行校正后最直观的效果评价方法就是看校正结果是否对称,现随机选取一张带有误差的 VR 图像,在三种算法下进行图像的校正,看最终的校正效果。图 3 三种算法的误差校正效果图将三种算法的校正效果与原始误差图进行比较,校正效果最优的是所提算法,该算法将不对称以及变形的部位全部还原,所以所提算法是最优的图像误差校正算法。5 结束语本研究提出了一种 VR 图像特征融合误差半监督校正算法,该算法首先预测出 VR 图像特征融合误差,其次根据预测结果在半监督式机器学习的帮助下进行误差校正,实现VR 图像特征融合误差校正,解决了校正准确率低、误差预测准确性低、校正所需时间长和校正效果差的问题,提高用户体验感,保证图像质量。参考文献:1 孔凡明,米靖,马杰.VR 技术在青少年男子足球运动员战术训练中的应用研究J.成都体育学院报,2020,46(3):33-37,45.2 郝志峰,李俊峰,蔡瑞初,等.面向图文匹配任务的多层次图像特征融合算法J.计算机应用研究,020,37(3):951-956.(下转第 230 页)222J.计算机科学,2019,46.16 马振,刘凤连,汪日伟.基于子模式 LBP-HOG 特征融合的单样本人脸识别方法J.光电子激光,2019,30(12):1309-1316.17 韩旭,谌海云,王溢,等.基于 SPCA 和 HOG 的单样本人脸识别算法J.计算机科学,2019,46(S1):274-278,283.18 杨恢先,翟云龙,蔡勇勇,等.基于中心对称梯度幅值相位模式的单样本人脸识别J.光电子激光,2015,26(05):969-977.19 Lee Y,Choi S-I.Training Set Enlargement Using Binary WeightedInterpolation Maps for the Single Sample per Person Problem inFace RecognitionJ.Applied Sciences,2020,10(19):6659.20HuJL.Discriminativetransferlearningwithsparsityregularization for single-sample face recognitionJ.Image andVision Computing,2016,60(8):48-57.21 郭艳君,许道云,秦永彬.基于 QR 分解重构虚拟样本的人脸识别算法J.计算机工程与科学,2016,38(11):2275-2281.22Hu C H,Ye M J,Ji S P,et al.A newface recognition methodbased on image decomposition for single sample per personproblemJ.Neurocomputing,2015,160(2):287-299.23 林静,吴锡生.基于虚拟样本的改进人脸识别算法研究及应用J.计算机工程与应用,2017,53(23):123-128.24 Chan T H,Jia K,Gao S H,et al.PCANet:A simple deep learningbaseline for image classification?J.IEEE transactions onimage processing,2015,24(12):5017-5032.25 Wu J S,Qiu S J,Kong Y Y,et al.PCANet:An energy perspectiveJ.Neurocomputing,2018,313(6):271-287.26 Qaraei M,Abbaasi S,Ghiasi K.Randomized non-linear PCA net-worksJ.Information Sciences,2020,545(8):241-253.27 龚劬,王珂,冉清华,等.基于无参数二维判别局部保持投影算法的人脸识别J.计算机工程与应用,2016,52(10):151-156.28 胡敏,滕文娣,王晓华,等.融合局部纹理和形状特征的人脸表情识别J.电子与信息学报,2018,40(6):1338-1344.29 杨恢先,贺迪龙,刘凡,等.基于双向梯度中心对称局部二值模式的单样本人脸识别 J.计算机辅助设计与图形学学报,2017,29(1):130-136.30 姚立平,潘中良.基于改进的 HOG 和 LBP 算法的人脸识别方法研究J.光电子技术,2020,40(2):114-118,124.作者简介赵淑欢(1987-),女(汉族),河北省保定市人,讲师,硕士研究生导师,主要研究领域:人脸表征、深度学习、模式识别。葛佳琦(1997-),男(汉族),河北省保定市人,硕士研究生,主要研究领域:深度学习、图像表征。梁晓林(1987-),女(汉族),河北省保定市人,讲师,硕士研究生导师,主要研究领域:移动端到移动端通信、协同通信、信道测试和仿真。刘帅奇(1986-),男(汉族),河北省保定市人,副教授,硕士研究生导师,主要研究领域:多维信号处理。(上接第 222 页)3 杨宏晖,伊淑珍.基于多核稀疏保持投影的多特征集典型相关分析的水下目标特征融合方法J.西北工业大学学报,2019,37(1):87-92.4 吕丽军,刘盟,侍业.鱼眼镜头图像畸变的校正方法(英文)J.红外与激光工程,2019,48(9):272-279.5 段静彧.连续性健美操动作图像视觉误差校正方法分析J.科学技术与工程,2019,19(13):120-125.6 李瑶,赵云芃,李欣芸,等.基于 sparse group Lasso 方法的脑功能超网络构建与特征融合分析J.计算机应用,2020,40(1):62-70.7 黄娜,何泾沙.基于深度特征与局部特征融合的图像检索J.北京工业大学学报,2020,46(12):1345-1354.8 高俊鹏,姜涛,张桂林.一种 ABS 齿圈参数检测系统误差校正方法研究J.计量学报,2019,40(2):201-207.9 徐锋,方彦军.基于贝叶斯优化 XGBoost 的现场校验仪误差预测J.电测与仪表,2019,56(18):120-125.10 郑威迪,李志刚,贾涵中,等.基于改进型鲸鱼优化算法和最小二乘支持向量机的炼钢终点预测模型研究J.电子学报,2019,47(3):700-706.11 刘村,李元祥,周拥军,等.基于卷积神经网络的视频图像超分辨率重建方法J.计算机应用研究,2019,36(4):1256-1260,1274.12 张琴,伍世虔,徐望明.一种用于图像检索的幂归一化深度卷积特征加权聚合方法J.武汉科技大学学报,2020,43(2):136-146.13 张春晓,何军.一种基于对抗正则化的图像特征提取方法J.小型微型计算机系统,2021,42(5):1034-1038.14 孙洁,丁笑君,杜磊,等.基于卷积神经网络的织物图像特征提取与检索研究进展J.纺织学报,2019,40(12):146-151.15 吕亚丽,苗钧重,胡玮昕.基于标签进行度量学习的图半监督学习算法J.计算机应用,2020,40(12):3430-3436.作者简介庄 佳(1988-),女(汉族),江苏常州人,硕士研究生,工程师,研究方向:信息技术与教育应用、教育大数据、资源库平台建设。石 林(1979-),男(汉族),江苏常州人,硕士研究生,副教授,研究方向:大数据分析与应用、数字孪生技术。032