增强用户体验下的集成人机交互仿真_张艾佳.pdf

收稿日期:2021-01-05 修回日期:2021-04-15 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0476-04增强用户体验下的集成人机交互仿真张艾佳,刘正捷(大连海事大学信息科学技术学院,辽宁 大连 116026)摘要:采用目前方法在虚拟现实技术中进行人机交互时,没有构建数据传输模型,难以获取人机交互过程中产生的数据和信息,存在主机接收数据概率低、特征识别率低、特征识别准确率低和用户满意度低的问题。提出增强用户体验下的集成人机交互方法,在博弈论的基础上构建数据传输模型,将其应用在人机交互过程中,采集人机交互产生的相关数据和信息,根据采集的数据获取用户的需求,增强用户体验,提高用户的满意度。通过非负矩阵分解提取数据传输模型采集数据的特征,并将提取的特征输入分类器中进行特征识别,实现人机交互。实验结果表明,所提方法的主机接收数据概率高、特征识别率高、特征识别准确率高、用户满意度高。关键词:用户体验;虚拟现实技术;人机交互;数据传输模型;非负矩阵分解中图分类号:TP391.41 文献标识码:BIntegrated Human-Computer Interaction Simulationunder Enhanced User ExperienceZHANG Ai-jia,LIU Zheng-jie(School of Information Science and Technology,Dalian Maritime University,Dalian Liaoning 116026,China)ABSTRACT:When using the current method to conduct human-computer interaction in virtual reality technology,itis difficult to obtain the data and information generated in the human-computer interaction process without building adata transmission model.There are problems such as low probability of host receiving data,low rate of feature recog-nition,low rate of feature recognition accuracy and low user satisfaction.Therefor,an integrated human-computer in-teraction method based on enhanced user experience was presented in the paper.Based on game theory,the datatransmission model was built and applied in the process of human-computer interaction.Relevant data andinformation generated by human-computer interaction were collected.According to the collection results,the needs ofusers were obtained in order to enhance the user experience and improve user satisfaction.According to the nonnega-tive matrix,the data transmission model was decomposed to extract the features to collect data and input into the clas-sifier to identify the features,realizing human-computer interaction.The experimental results show that this methodhas high data receiving probability,feature recognition rate,feature recognition accuracy and user satisfaction.KEYWORDS:User experience;Virtual reality technology;Human-computer interaction;Data transfer model;Non-negative matrix factorization1 引言虚拟现实是借助虚拟环境实现虚拟装配的,是一种新兴的计算机环境,在制造业中虚拟现实技术具有广阔的应用前景和重要的价值1。交互性是虚拟环境的主要特征之一,虚拟装配在机械制造领域中的特点,决定了其对人机交互提出了更高的要求。虚拟装配系统结合了计算机能力和人的决策能力以及经验,节约设计制造成本的同时辅助装配设计的验证和规划2。各项功能在虚拟装配系统中实现的基本保障是人机交互,虚拟装配系统在目前阶段设计的中心是技术和功能,对人机交互体验的重视程度较低,难以发挥交互性的优点,导致在行业内虚拟现实技术的应用不是很广泛。为了提高虚拟现实技术的应用率需要对人机交互方法进行分析和研究。文献3提出基于优化目的的人机交互方法,该方法研究界面操作中存在的交互行为,通过界面知识化表示方法获674取人机界面特征集,建立交互描述模型,在推理规则的基础上结合心理语义模型和界面语义模型实现人机交互,该方法没有构建数据传输模型采集交互行为数据和信息,存在特征识别率低和特征识别准确率低的问题。文献4提出基于Kinect 融合深度信息的人机交互方法,该方法通过 Kinect 采集深度数据,获得深度图像,利用深度阈值法提取相关信息,并采用形态学运算处理信息,根据获取的信息实现人机交互,该方法没有在数据传输模型的基础上采集数据,无法理解用户的意图和需求,存在主机接收数据概率低和用户满意度低的问题。为了解决上述方法中存在的问题,提出增强用户体验下的集成人机交互方法。2 数据传输模型增强用户体验下的集成人机交互方法在博弈论的基础上构建数据传输模型,获取人机交互过程中的数据。在本模型 GCGM 中博弈论中的基本因素描述如下:除Sink 节点外存在的所有节点即为理性参与人集合;效益函数描述的是节点 i 上一节点在人机交互过程中获得的收益;策略集是由 Sink 节点以外剩余节点的策略组成的5。对收益产生影响的因素主要包括以下几点:1)节点 i 和节点 j 在人机交互过程中的剩余能量水平,当节点在人机交互过程中剩余的能量较少时,该节点在人机交互过程中应该减少转发的数据量。2)邻居节点与节点 i 之间存在的距离,根据通信衰减模型可知,当无线通信的距离较远时需要较高的能量。3)节点 i 在人机交互过程中对应的通信负荷,可以利用节点 i 在网络中存在的子节点数量对通信负荷进行衡量,通信负荷随着子节点数量的增多而增大6。4)Sink 节点与节点 i 之间存在的跳数,当跳数较多的情况下中继节点选取节点 i 时,上游链路损耗的能量较大。综合上述因素,衡量节点 i 是否可以作为节点 j 在人机交互过程中的中继节点。通过效用函数计算节点 i 在人机交互过程中对应的收益(i,j)=EiEj-(1-)P(i,j)?P(i,nei)-H(i,Sink)-Ci?C(i,nei)(1)式中,参数 与节点 i 的剩余能量水平相关;Ei代表的是节点 i 当前时刻剩余的能量;Ej代表的是节点 j 对应的初始能量;P(i,j)代表的是节点 j 在当前人机交互过程中到节点 i 的发送功率;?P(i,nei)描述的是节点 i 在人机交互过程中到其邻居节点的平均发送功率;参数 在区间0,1内取值;H(i,Sink)代表的是 Sink 节点与节点 i 之间存在的跳数;参数 与节点 j的剩余能量水平相关;?C(i,nei)代表的是节点 i 在人机交互过程中存在的平均子节点个数;Ci代表的是节点 i 在网络中存在的子节点数量。通过电源电压衡量节点的剩余能量,节点发送数据的功率通常情况下由链路损耗水平决定7,获取 RSSI值对应的偏移量,结合经验值获得节点间存在的 RSSI标准值,通过下式描述节点距离与 RSSI值之间存在的关系RSSI=-(A+log10d 10k)(2)式中,A 代表的是当距离为 1 米时接收信号强度;k 通常为信号传播常量;d 描述的是通信父子节点在交互过程中存在的距离。节点 j 到节点 i 的 RSSI 值与发送能量之间存在的关系可通过下式进行描述P(i,j)()=amp(10-3740)4(3)式中,P(i,j)代表的是发送功率,可以通过信息帧记录 Sink 节点到节点 i 之间存在的跳数。通过节点的路由表获取节点 i的子节点数量。通过博弈论构建信息传输模型的具体步骤如下:1)除 Sink 节点之外,剩余节点以最大传输半径广播请求连接信息帧 Sink 节点进入监听模式。2)根绝 RSSI值和 Sink 节点接收的信息帧对各节点对应的效益值进行计算,在设定阈值的基础上确定需要返回的节点,并命令返回的节点在交互过程中连接应答帧,节点的状态在收到应答帧后发生改变,转变为侦听状态,Sink 节点命令其它节点不连接应答帧,获取与 Sink 节点对应的 RSSI值,继续广播。3)节点 i 获取到与 Sink 节点路径后在请求连接信息帧的基础上划分节点,将其分为两组,一组节点与 Sink 节点的RSSI值低于,另一组节点与 Sink 节点的 RSSI值高于,将第一组节点作为参与博弈论的节点,迭代 Sink 节点的过程,当全部节点都成功获取路径后停止迭代。4)将周期设置为 24h,Sink 节点将重新寻路命令帧广播给所有下游节点,节点收到该管理帧后按照顺序将此帧广播给其下游节点,当全部节点受到此管理帧后停止。5)重复上述步骤,获得数据传输模型,采集人机交互过程中传输的数据,实现数据采集。3 人机交互仿真手势识别是实现人机交互的基础,增强用户体验下的集成人机交互方法提取采集数据的特征,根据特征完成手势识别,实现人机交互。手势加速度特征通常包括频域特征、时域特征和其它域的特征。频域特征包括利用小波或傅里叶变化提取的频域熵、FFT 系数等特征;时域特征包括信号幅度面积、统计最大值、活动窗口长度、均值、轴相关系数和标准差等;其它域的特征为通过 LDA 或 PCA 提取的特征等8。每个手势动作图像中都存在 sk 个像素点,所有像素点的取值通过下述公式决定0如果该点没有经过数据波形曲线i1,32i 16如果该点通过 i 个数据波形曲线(4)774式中,i 代表的是该像素点位置通过的波形曲线数量。根据手势加速度动作获取手势图像,将其作为矩阵 Vnm中的一列x1,1x1,2x1,kx2,1x2,2x2,kxs,1xs,2xs,k|x1,1xs,1x1,2xs,2x1,kx1,kT(5)变换手势动作训练集中存在的数据,获得手势动作矩阵 Vnm。属于多元数据分析方法的非负矩阵分解是用两个低秩的非负矩阵乘积代替一个非负矩阵,通过非负矩阵分解方法提取手势特征9。利用下式描述非负矩阵算法Vnm WnrHrm(6)式中,H 代表的是权值矩阵;W 代表的是基矩阵;V 代表的是非负矩阵;r 代表的是分解矩阵的秩。优化目标函数的表达式如下F=ni-1mu=1Viulog(WH)iu-(WH)iu(7)迭代算法完成基矩阵 W 和权值矩阵 H 的分解,通过非负矩阵分解手势动作矩阵 Vnm获得权值矩阵 Hrm和基矩阵 Wnr。增强用户体验下的集成人机交互方法提取手势特征的具体步骤如下:通过对投影向量 Y 进行计算获得手势动作矩阵 Vnm中存在的特征信息,经过图像化处理后测试集中手势动作加速度样本数据转变为一个列向量 f10,11,计算基矩阵 Wnr中列向量 f 对应的投影向量 YY=WfW=(WTW)-1WTW=w1,w2,wr(8)直接投影变换列向量 f 获得的特征分量之间容易出现信息冗余和统计相关性的问题,通过变换投影轴获取有效特征信息,避免投影轴之间存在相关性,去除特征分量间存在的统计相关性12。共轭正交化处理基矩阵 Wnr中存在的列矢量,获得矢量投影轴 WI=1,2,r,针对手势动作矩阵 Vnm,通过变换后的矩阵 =(WI)提取每列数据的特征:Yrm=y1,y2,ym(9)将获取的特征输入下述分类器中实现手势识别,完成人机交互hj(x)=1pjgj(x)pjj0others(10)式中,j 代表的是特征向量中存在的第 j 个特征;pj代表的是不等式的方向;gj(x)代表的是第 j 个矩形在待检测子窗口中对应的特征值;j代表的是分类器的阈值;hj(x)代表的是分类器。4 实验结果分析为了验证增强用户体验下的集成人机交互方法的整体有效性,需要对增强用户体验下的集成人机交互方法进行测试,本次测试的实验平台为 Division mockup,将主机接收数据概率作为测试指标对增强用户体验下的集成人机交互方法(方法1)、基于优化目的的人机交互方法(方法2)和基于 Ki-nect 融合深度信息的人机交互方法(方法 3)进行测试,主机接收数据概率越高,人机交互的效果越好,测试结果如图 1所示。图 1 主机接收数据概率测试结果分析图 1 中的数据可知,在人机交互过程中方法 1 的主机接收数据概率均在 90%以上,可以接收到大部分的相关数据实现人机交互,而方法 2 和方法 3 的主机接收概率分别在80%和 70%附近波动,上述两种方法接收的数据不足以有效的实现人机交互。对比上述方法的测试结果可知,方法 1 在人机交互过程中的主机接收数据概率较高,因为该方法在博弈论的基础上构建了数据传输模型,采集人机交互过程中存在的相关数据和信息,提高了主机接收数据概率。采用方法 1、方法 2 和方法 3 对人的手势进行识别,将特征识别率和识别准确率作为测试指标,测试结果分别如图 2和图 3 所示。分析图 2 和图 3 中的数据可知,采用方法 1 对人的手势进行识别时,在多次实验中的特征识别率和识别准确率均较高,表明方法 1 可以准确且全面的识别出人的手势。采用方法 2 对人的手势进行识别时,特征识别率和特征识别准确率均较低,表明方法 2 无法有效且全面的实现人手势的识别。采用方法 3 对人的手势进行识别时,该方法可准确的识别出人的手势,但识别率较低,表明该方法无法全面的实现人手势的识别,对比方法 1、方法 2 和方法 3 的测试结果可知,方法 1 在人机交互过程中的性能最佳,因为方法 1 利用构建的874图 2 特征识别率测试结果图 3 特征识别准确率测试结果数据传输模型采集人机交互的相关信息,采用非负矩阵分解方法提取手势信息的特征,并将其输入分类器中,准确的实现手势的识别,提高了方法 1 的特征识别率和特征识别准确率。在人机交互的过程中用户满意度是关注的重点,将用户满意度作为测试指标,对上述方法的整体性能进行测试,测试结果如图 4 所示。对图 4 中的数据进行分析可知,在多次迭代中用户对方法 1 的满意度均在 80%以上,用户对方法 2 和方法 3 的满意度分别在 40%和 60%附近波动,通过上述分析可知,方法 1的人机交互效果较好,获得的用户满意度最高,因为方法 1通过博弈论构建了数据传输模型,在人机交互过程中可准确的采集用户静态信息和动态信息,将融合后动态信息和静态信息反馈给人机交互系统,人机交互系统根据获取的数据做出响应,完成人机交互过程,满足用户的需求,进而提高了用户的满意度。图 4 用户满意度测试结果5 结束语虚拟现实系统指的是部分达到或能够达到人机交互目的的系统,操作行为是人在生产实践和生活实践中掌握的基本能力,在现实世界中通常存在人和复杂感知能力的协助以及物理定律的作用,使得可以随心所欲的进行操作行为,通过装配操作行为人们可以完成产品的装配生产和装配实践。但在虚拟环境中不存在物理定律的作用,人们难以感知和认识环境中存在的复杂关系,并建立三维虚拟空间的深度,因此虚拟技术中的人机交互方式是目前研究的热点和难点。当前人机交互方法存在主机接收数据概率低、特征识别率低、特征识别准确率低和用户满意度低的问题,提出增强用户体验下的集成人机交互方法,构建数据传输模型在人机交互过程中采集数据,提取数据特征并识别完成人机交互,解决了目前方法存在的问题,为虚拟现实技术中的人机交互技术的发展奠定了基础。参考文献:1 彭亮,侯增广,王晨,等.康复辅助机器人及其物理人机交互方法J.自动化学报,2018,44(11):2000-2010.2 孟巧玲,汪晓铭,郑金钰,等.基于上肢康复机器人的人机交互软件系统设计与实现J.中华物理医学与康复杂志,2019,41(5):388-391.3 曹准,李永建.基于优化目的的人机界面知识化表示方法J.计算机工程与科学,2017,39(3):179-184.4 贾丙佳,李平.人机交互过程中数字手势的识别方法J.华侨大学学报(自然科学版),2020,41(2):130-137.5 任镤,周明全,樊亚春,等.面向手势交互的古建场景快速搭建方法J.北京理工大学学报,2018,38(4):86-90,110.6 邹俞,晁建刚,林万洪.虚拟手交互中约束类物体操作研究J.计算机工程与应用,2019,55(9):168-177.(下转第 498 页)9748 Pan M,Zhou H,Cao J,et al.Water Level Prediction Model Basedon GRU and CNNJ.IEEE Access,2020,8:60090-60100.9 Wu N,Green B,Ben X,et al.Deep Transformer Models for TimeSeries Forecasting:The Influenza Prevalence CaseJ.arXiv pre-print arXiv:2001.08317,2020.10 Rao Z,Zhang Y.Transformer-based power system energy predic-tion model C.2020 IEEE 5th Information Technology andMechatronics Engineering Conference(ITOEC).IEEE,2020:913-917.11Bahdanau D,Cho K,Bengio Y.Neural machine translation byjointly learning to align and translateJ.arXiv preprint arXiv:1409.0473,2014.12 Vaswani A,Shazeer N,Parmar N,et al.Attention is all you needC.Advances in neural information processing systems.2017:5998-6008.13 Zhou X,Li L,Dong D,et al.Multi-turn response selection forchatbots with deep attention matching networkC.Proceedings ofthe 56th Annual Meeting of the Association for Computational Lin-guistics(Volume 1:Long Papers).2018:1118-1127.14 Kang W C,McAuley J.Self-attentive sequential recommendationC.2018 IEEE International Conference on Data Mining(IC-DM).IEEE,2018:197-206.15 Zhang S,Tay Y,Yao L,et al.Next item recommendation withself-attentionJ.arXiv preprint arXiv:1808.06414,2018.16 Voita E,Talbot D,Moiseev F,et al.Analyzing multi-head self-attention:Specialized heads do the heavy lifting,the rest can beprunedJ.arXiv preprint arXiv:1905.09418,2019.17 Michel P,Levy O,Neubig G.Are sixteen heads really better thanone?C.Advances in Neural Information Processing Systems.2019:14014-14024.18 Vig J.A multiscale visualization of attention in the transformermodelJ.arXiv preprint arXiv:1906.05714,2019.19 Gehring J,Auli M,Grangier D,et al.Convolutional sequence tosequence learningJ.arXiv preprint arXiv:1705.03122,2017.20 LeCun Y,Bengio Y,Hinton G.Deep learning J.nature,2015,521(7553):436-444.21 Rahman M H,Rifaat S M.Using Spatio-temporal Deep Learningfor Forecasting Demand and Supply-demand Gap in Ride-hailingSystem with Anonymized Spatial Adjacency Information J.arXiv preprint arXiv:2012.08868,2020.22 Mo X,Xing Y,Lv C.ReCoG:A Deep Learning Framework withHeterogeneous Graph for Interaction-Aware Trajectory PredictionJ.arXiv preprint arXiv:2012.05032,2020.23Da K.A method for stochastic optimizationJ.arXiv preprintarXiv:1412.6980,2014.24 McCuen R H,Knight Z,Cutter A G.Evaluation of the Nash-Sut-cliffe efficiency index J.Journal of hydrologic engineering,2006,11(6):597-602.作者简介冯鹏宇(1997-),男(汉族),山东省烟台市人,硕士研究生,主要研究领域为深度学习。金 韬(1968-),男(汉族),浙江绍兴人,博士生导师,教授,主要研究领域为智能传感技术、无线传感网络、微波光子学、图像处理和识别等。沈一选(1998-),男(汉族),山西临汾人,硕士研究生,主要研究领域为深度学习。但 俊(1998-),男(汉族),重庆人,硕士研究生,主要研究领域为深度学习。(上接第 479 页)7 李伟湛,杨先英.基于 Pathfinder 软件平台的轨道交通环境人机交互分析方法J.包装工程,2019,40(2):179-183.8 马杰,张绣丹,杨楠,等.融合密集卷积与空间转换网络的手势识别方法J.电子与信息学报,2018,40(4):951-956.9 王立红,冯士民.基于主成分分析法的舰炮武器人机交互性能评估J.火力与指挥控制,2018,43(3):125-128,133.10 李连鹏,解仑,刘振宗,等.基于人机交互的重载机械臂控制方法J.机器人,2018,40(4):135-143.11 梁永强,王崴,瞿珏,等.基于眼动特征的人机交互行为意图预测模型J.电子学报,2018,46(12):2993-3001.12 罗雪.激光切割机人机交互信息界面设计J.激光杂志,2019,40(11):169-173.作者简介张艾佳(1995-),女(汉族),辽宁大连人,硕士研究生,研究方向:用户体验、人机交互。刘正捷(1958-),男(汉族),辽宁大连人,教授,博士生导师,CCF 高级会员,研究方向:用户体验、人机交互。894