眼动交互在点击任务中的应用研究.pdf

舰 船 电 子 工 程2023 年第 5 期1引言研究表明，人类获取的外界信息中有80%以上由视觉通道提供。近几十年，许多学者依据人的视觉行为对多模态人机交互和眼动跟踪技术进行研究，促成了许多新的应用，主要分为基于眼动技术的人机交互（EB-HCI）、界面评估（EB-IE）和用户建模（EB-UM）。例如：Radecky等设计了多种不同滚动图像的界面，并通过眼动指标对其进行评价；华为公司研发了Eyes On Display技术，当手机检测到用户的眼睛注视到屏幕的时候，息屏显示才会被点亮，此外，眼动跟踪技术还广泛应用于用户行为分析、用户视觉搜索分析和兴趣分析等方面。这些依靠眼动信号的人机交互方式，不占用手部交互通道，速度更快捷，结果更直观，交互更自然。舰船是复杂人机系统，具有协同关系复杂、交互操作繁多、舱室环境恶劣、作业时间冗长，有限或特定空间中人流、物流、信息流高度密集等特点。船舶控制系统繁琐的人机作业中，点击操作是使用频率最高的操作方式，是完成多种复杂操作任务的基础。传统点击操作方式多为鼠标、轨迹球或触控等交互方式，占用了手部交互通道，不符合人的思维方式和生理习惯，因此在人机界面设计过程中，通过眼动解放双手的交互方式提高用户的信息获收稿日期：2022年11月9日，修回日期：2022年12月17日作者简介：高岚岚，女，硕士，副研究员，研究方向：体系架构设计、作战实验。纪坤，女，硕士，助理工程师，研究方向：军事运筹学。乐剑，男，硕士，助理研究员，研究方向：软件测评、作战实验。眼动交互在点击任务中的应用研究高岚岚纪坤乐剑（军事科学院战争研究院北京100091）摘要随着智能化水平的不断提高和船舶工业的蓬勃发展，船舶控制系统对人机交互设计提出了更高要求。为拓展系统不同通道并行的人机交互功能，探索眼动交互在交互设计中的应用，以点击操作应用为例，在实验室模拟条件下开展人因工效学实验。实验结果表明眼动交互与传统交互方式相比效率较低，但交互体验感较好，且随着实验次数增加，效率提升幅度明显。未来，随着交互技术水平提升和人员眼动训练加强，眼动交互将会对船舶系统的人机交互发展产生深远影响。关键词船舶控制系统；眼动交互；工效学实验；点击操作中图分类号TP399DOI：10.3969/j.issn.1672-9730.2023.05.014Application Research of Eye Movement Interaction in Click TaskGAO LanlanJI KunLE Jian（Institude of War Research，Academy of Military Sciences，Beijing100091）AbstractWith the continuous improvement of intelligent level and the vigorous development of ship industry，ship controlsystem has put forward higher requirements for human-computer interaction design.In order to expand the parallel human-computer interaction function of different channels of the system and explore the application of eye movement interaction in interaction design，human factors ergonomics experiment is carried out under laboratory simulation conditions，taking click operation applicationas an example.The experimental results show that the efficiency of eye movement interaction is lower than that of traditional interaction，but the interaction experience is better，and the efficiency is significantly improved with the increase of the number of experiments.In the future，with the improvement of interaction technology and the strengthening of personnel eye movement training，eyemovement interaction will have a profound impact on the development of human-computer interaction of ship systems.Key Wordsship control system，eye movement interaction，ergonomics experiment，click operationClass NumberTP399总第 347 期2023 年第 5 期舰 船 电 子 工 程Ship Electronic EngineeringVol.43 No.563总第347期取能力就显得尤为重要。本研究在实验室模拟的船舶控制系统作业环境下，开展眼动交互与传统交互方式的对比实验。通过实验数据的采集分析和用户满意度问卷调查，对眼动交互在点击操作任务中的应用进行研究，为眼动交互在船舶系统中的进一步应用和发展提供参考。2实验方案2.1实验任务实验为多方向指向点击任务，如图1所示，参与者通过选择最高目标（目标0）开始任务，通过图中箭头所示路径沿目标顺序依次点击，直到25位置目标。以上操作重复进行10次，完成任务。通过对参与者反应时、精准度、错误次数的10次操作平均数据记录，得出用户不同交互方式的点击任务操作绩效。实验结束后发放调查问卷，通过统计调查问卷的方式收集用户满意度信息。25/0232119151317119753124202218161486421010WyDO图1点击按钮任务圆盘位置编号2.2实验设置2.2.1实验范式实验使用目标点击实验范式。ISO 9241-9是一组标准测试，被用于评估办公环境中的非键盘输入设备，是一种被推荐作为评估光标控制设备交互性能的首选测试方法。实验显示设备使用硬壳科技NT24型23.8英寸触控显示器配合HP服务器。2.2.2输入方式实验使用四种信息输入方式：鼠标、轨迹球、触控、眼动。其中鼠标交互输入设备为罗技 N26 鼠标。触控交互输入设备采用硬壳科技NT24型23.8英寸触控显示器，目标尺寸大小为56px；眼动交互输入设备为Tobii 4C眼控仪，程序使用JavaScript编写，基于chrome浏览器在19201080像素下的环境进行调试及实验。2.2.3反馈方式实验使用两种信息反馈方式：视觉反馈和听觉反馈。其中视觉反馈需要点击的目标呈灰色，点击时出现阴影效果作为视觉反馈，完成点击后灰色变成白色，如图2所示；听觉反馈需要点击的目标呈灰色，点击时加入耳标作为刺激反馈，按下时产生“嘀”提示音，完成点击后黄色变成白色，如图3所示。按下时未按下完成点击后图2视觉反馈效果示意图伴随“嘀”提示音按下时未按下完成点击后图3听觉反馈效果示意图2.2.4变量设计实验所设置的自变量为四种操作方式（鼠标、轨迹球、触控、眼动），两种反馈方式（视觉反馈、听觉反馈）。实验可输出的因变量为反应时、精准度、错误次数。2.2.5被试被试总人数为30人，男20人，女10人，年龄在2030周岁之间，右利手，视力或矫正视力正常，经过不限次数实验前训练，对实验操作和输入设备熟悉。3实验数据3.1不同交互方式操作效率的横向比较3.1.1点击时间点击时间指的是屏幕右侧出现带号码的点击提示到被试点击目标小球的时间。从图4中可以看出，眼控的操作时间远大于其他三种，不同反馈方式对点击操作时间的影响较小。鼠标轨迹球触控跟控交互操作方式60004500300015000实验点击时间/ms无反馈视觉反馈听觉反馈166011419982368188599780848034740图4四种操作方式点击时间高岚岚等：眼动交互在点击任务中的应用研究64舰 船 电 子 工 程2023 年第 5 期30%22%15%7%0%实验偏移比鼠标轨迹球触控跟控交互操作方式无反馈视觉反馈听觉反馈19%20%22%22%28%21%23%27%27%图5四种操作方式偏移比3.1.2准确度在工效学实验中，准确度的高低通常以偏移比来衡量，本实验的偏移比是指被试点击位置与小球真实位置的相符合程度，即偏移比越小，准确度越高。由图5可以看出。眼动交互的偏移量略高于鼠标交互和触控交互，与轨迹球交互相比差别不大，且眼动交互偏移量受反馈方式的影响可以忽略不计。3.1.3错误次数错误次数，是指被试点击的小球编号不是被要求的编号或点击位置没有在小球的有效点击范围内。由图6可以看出，眼控交互的错误次数远超其他操作方式，且听觉反馈可以在一定程度上减少眼控操作的错误次数。320240160800实验点击错误次数鼠标轨迹球触控跟控交互操作方式无错误视觉错误听觉错误202171522382515255232图6四种操作方式错误次数统计实验结果表明，在点击任务中，眼控交互的操作时间和错误次数远高于其他三种交互方式，操作偏移比略高于其他交互方式，另外，反馈方式对眼控操作点击时间和点击偏移无明显影响，对点击错误率有所影响，无反馈条件下，点击错误率略高于听觉反馈，因此可适当采用听觉反馈提高眼控点击操作的正确率。实验过程中观察发现，眼动交互效率不理想的原因主要有两方面：一是参与本次实验的被试对于鼠标、触控操作具有很好的适应性；二是在眼控点击的过程中，当视线锁定目标区域后，点击的瞬间，视线容易出现跳跃，有时跳跃到无效区域，需要重新锁定视线，出现误击。3.2不同交互方式多次操作结果的横向比较本研究3.1节中的实验结果是基于10次操作得出的平均数据，为尽量减小不同操作方式适应性对实验结果的影响，对无反馈条件下，不同交互方式的点击时间、精度、错误次数随着任务次数增加的数据结果进行分析对比，趋势性实验数据结果如表14所示。表1鼠标操作趋势性数据实验次数125.10点击时间168016821643.1592准确度20%21%20%.17%错误次数867.6表2轨迹球操作趋势性数据实验次数125.10点击时间238323652368.2330准确度23%24%22%.20%错误次数171716.14表3触控操作趋势性数据实验次数125.10点击时间999998996.985准确度21%21%22%.20%错误次数282926.22表4眼控操作趋势性数据实验次数125.10点击时间501150074905.2978准确度29%27%25%.24%错误次数277273232.133随着实验次数的不断增加，眼动交互的实验数据变化相对明显。点击时间方面，第10次实验数据较第1次缩短了40.5%；准确度方面，第10次实验数据较第1次提高了5%；错误率方面，第10次实验数据较第1次减少了52%。随着实验次数的增加，眼动交互各因变量的效率提升幅度要远远高于其他交互方式，这符合人的认知规律，说明可以通过65总第347期不断学习和训练来达到提高眼动交互效率的目的。3.3用户问卷调查在被试完成操作任务后，现场对被试发放并回收调查问卷30份，通过统计调查问卷的方式收集用户满意度信息。被试的教育情况、学习能力、积累的知识、过往的经历、对船舶控制系统任务需求的理解以及使用计算机的熟练程度等，都会对问卷调查结果产生一定影响，采取用户问卷调查的方式测评用户满意度，有助于站在用户需求的视角上，有针对性地设计船舶控制系统人机交互过程，优化“人在回路”中的人为因素。3.3.1眼动交互对调查问卷进行统计，30名被试完成任务后分别就眼动仪外观及交互舒适度、交互系统界面、灵敏度和交互综合体验的满意程度进行主观评价，每项打分均为10分制。对调查结果进行统计得到平均满意度如表5所示。表5眼动交互用户主观评价评价内容眼动仪外观交互舒适度交互系统界面灵敏度综合交互体验平均打分8.58.587.583.3.2四种交互方式综合交互体验评价30名被试完成任务后，对不同交互方式的外观、舒适度、交互界面、灵敏度等交互体验进行打分，不同交互方式综合交互体验打分如表6所示。表6不同交互方式综合体验感交互方式鼠标轨迹球触控眼控平均打分8.5798通过统计分析调查问卷可知，眼动交互中，被试对于眼动仪外观和交互舒适度评分较高，对眼动仪的灵敏度评分较低。对比四种交互方式的综合体验感，触控交互评分最高，眼动交互体验感略低于鼠标，但高于轨迹球。4讨论点击任务实验中，相较于其他三种交互输入方式，眼动交互在效率上不具优势，分析本实验设置的 10次操作得出的实验数据，被试在第 5次操作后，眼动交互的各项数据绩效较前几次操作提升明显，而其他交互方式的实验数据与前几轮交互相比提高不大。结合被试对于鼠标，触控等传统交互方式的适应情况，考虑在人机交互设计过程中通过对被试进行多次眼动交互训练，来提高眼动交互效率。分析反馈方式对交互效率的影响，可以得出四种交互方式中点击时间由短至长依次为听觉反馈、视觉反馈、无反馈。听觉反馈能够有效减少点击操作所需的时间。因此在点击任务中，听觉反馈对操作时间存在正向反馈作用，但眼动交互，听觉反馈对操作时间和偏移比影响不明显，采用听觉反馈只能在一定程度上提高眼控点击操作的正确率。用户问卷调查中，眼动交互体验感略低于鼠标交互和触控交互，眼动交互的系统界面和灵敏度评分过低，其主要原因是受到现有技术的限制和被试对于鼠标和触控等高普及度交互方式的良好适应，随着交互技术水平的不断进步以及眼动交互的广泛应用，眼动交互综合体验感会得到大幅提升。5结语本次实验室模拟的船舶控制系统点击操作任务中，眼动交互的效率不够理想，但是经多次实验后，交互效率提升明显，且眼动交互不占用手部等其他交互通道，具有比传统交互方式更直接，更符合人类思维习惯的优点。未来，随着船舶系统智能化水平的不断提高，船舶控制系统的人机交互研究也会不断深入，后续，随着眼动技术的不断发展以及广泛应用，眼动交互将会更加成熟地应用于船舶控制系统，满足更趋复杂的人机交互设计需求。参 考 文 献1D.G.Treichler.Are you missing the boat in training aids？J.Filem and Audio-Visual communication，1967，48（1）：14-16，28-30，48.2刘岗，赵轶男，孙裔申，等.指挥信息系统人机交互设计中的用户研究方法 J.计算机辅助设计与图形学学报，2020，32（11）：1765-1772.3刘岗.复杂产品系统人机交互设计框架研究 D.北京：清华大学，2019.4方志刚.人机交互技术综述 J.人类功效学，1998，4（3）：64-66.5俞烈彬，孟凡文.武器装备系统中的人机交互新技术（下转第81页）高岚岚等：眼动交互在点击任务中的应用研究66舰 船 电 子 工 程2023 年第 5 期因此需要在下一时刻“继续攻击”的概率接近80%；从时刻3开始，蓝方的毁伤程度增高，红方已经初步具备了一些优势但并不明显，因此需要二次进攻，但是“继续攻击”的概率比第1时刻有所降低；到了第5时刻，蓝方单元已经接近被全部摧毁，此时需要“继续攻击”的概率为33.5%，说明继续攻击的价值很低，可以判定为如果继续作战，红方胜率虽然很高，但因为蓝方有生作战力量很少，所以实际意义不大、性价比不高，可以选择停止攻击（规避）。在这个动态贝叶斯网络中的“攻击”实际上是“二次攻击”。从以上分析可以看出，在Netica仿真下的动态过程预测结果符合实际且具有一定的可靠性，可以起到为指挥员提供决策参考的作用。另外在进行航母战的动态过程预测时，可以使用这个网络模型，通过增加有关舰艇的新的特征量使仿真结果更接近舰机协同作战。在得到战机对战机的胜率后，可同理获得舰艇对舰艇、舰艇对潜艇、飞机对舰艇等其他交战结果，然后在专家意见下获取各作战类型相对于整个舰机协同作战的条件分布概率，就可获得该航母战的获胜概率。5结语本文基于动态贝叶斯网络对舰机协同作战动态过程预测进行了仿真模拟。在分析舰机协同作战的相关问题后，确定了七个特征变量，并根据特征变量之间的相互联系确定了贝叶斯网络结构，设定了一个案例背景进行仿真，在使用Netica软件建立基于贝叶斯网络的仿真模型后，对网络进行模拟，然后对结果进行了分析评估，评估结果符合战场实际，可以达到对战争进行动态过程预测，为编队指挥员提供正确决策的目的。参 考 文 献1Mehrabian A.R.，Lucas C.A.Novel Numerical Optimization Algorithm Inspired from Weed ColonizationJ.Ecological Informatics，2006，1（4）：355-366.2Ravindra A.，Arvind K.，Krishna J.，et al.Exact and Heuristic Methods for the Weapon Target Assignment ProblemJ.Operations Research，2007，55（6）1136-1146.3 SONG Chenyang，ZHANG Yixin，XU Zeshui.An improved structure learning algorithm of Bayesian Networkbased on the hesitant fuzzy information flowJ.AppliedSoft Computing Journal，2019（10）：49-55.4刘艳杰，李霞.基于贝叶斯网络的学生成绩预测 J.山东理工大学学报（自然科学版），2019（05）：75-78.5牛兆捷.基于贝叶斯网络的NBA比分预测和球员能力评估模型 D.武汉：华中科技大学，2012：1-26.6陈固胜.基于动态贝叶斯网络的战场信息预测与评估D.南京：南京理工大学，2013：30-46.7张亮，彭欣.基于贝叶斯网络的态势评估 C/中国国防科学技术信息学会雷达专业情报网，2011：93-95.8张财生，腊笑璞.航母编队作战中预警机阵位配置研究J.舰船电子工程，2022，42（6）：5-9.9张财生，司沈闯.美军预警机与舰载雷达协同预警探测J.指挥控制与仿真，2020，42（3）：3-7.10叶海军，雷川.E-2D 预警机形成初始作战能力的实质J.指挥与控制学报，2017（2）165-170.11朴成日.航母编队远程防空兵力配置方法 J.舰船电子工程，2020，40（8）：5-9.12梅权，陈金良，王三强.预警机伴随支援下的飞机整体作 战 能 力 评 估J.火 力 与 指 挥 控 制，2013（7）：178-180.J.电子世界，2013（12）：164-165.6王宏安.智能人机交互 M.北京：电子工业出版社，2020：54-80.7Yoshikuni Shinohara，Hozumi Usui，Yoshio Fujii.Development of telerobotic manipulators for reactor dismantlingwork J.Advanced Robotics，2012，8（1）：95-119.8Rautaray S S，Agrawal A.Vision based hand gesture recognition for human computer interaction：a survey J.Artificial intelligence review，2015，43（1）：1-54.9卞迁，齐薇，刘志方，等.当代眼动记录技术述评 J.心理研究，2009（01）：34-37.10阎国利.眼动分析法在心理学中的应用 M.天津：天津教育出版社，1998：45-58.11陈霞，刘双.海军装备领域人因工程研究现状及发展J.舰船科学技术，2017，39（4）：8-13.12赵其杰，邵辉，卢建霞.基于头眼行为的交互意图检测方法 J.仪器仪表学报，2014，35（10）：2313-2320.13徐晓玲.基于眼动追踪技术的视觉认知研究 J.美术教育研究，2012，19：44-45.（上接第66页）81