上肢运动学特征与虚拟现实人机界面工效学优化研究_楼小龙.pdf

第 28 卷 第 2 期2023 年 4 月工业工程与管理Industrial Engineering and ManagementVol.28 No.2Apr.2023上肢运动学特征与虚拟现实人机界面工效学优化研究楼小龙1，2，鄢腊梅1，王强1，蒋琤琤1*（1.杭州电子科技大学 人文艺术与数字媒体学院，浙江 杭州 310018；2.北京航空航天大学 虚拟现实技术与系统国家重点实验室，北京 100191）摘要:为提高虚拟现实（VR）场景下自然手势交互界面的操作效率、准确性和舒适性，对不同目标方位和手臂姿势下的操作任务完成绩效和感知疲劳度展开了实证对比研究。通过一个VR场景下的“目标选取”交互实验，从任务完成时间、准确率、手臂感知疲劳度等主客观角度测试，并对比分析了不同目标方位和手臂姿势变量下的任务完成数据和疲劳度测评结果。实验发现：顺手侧操作空间中的任务完成效率和准确性显著优于逆手侧，且后者产生的感知疲劳更为明显；相比肩部以上空间内的手势操作，肩部以下空间内的手势交互时间效率和准确性更佳。关键词:虚拟现实；自然交互用户界面；手势交互；感知疲劳；工效学评估中图分类号:TB 18 文献标识码:AArms Kinematic Characteristics and Ergonomic Guidelines for Optimizing User Interfaces in Virtual RealityLOU Xiaolong1，2，YAN Lamei1，WANG Qiang1，JIANG Chengcheng1*（1.School of Media and Design，Hangzhou Dianzi University，Hangzhou，Zhejiang 310018，China；2.State Key Laboratory of VR Technology and System，Beihang University，Beijing 100191，China）Abstract:In order to improve the user interaction efficiency，accuracy and user comfort of the natural hand interactive interface in virtual reality（VR）scenes，an empirically comparative evaluation on the natural hand interaction performance and user perceived fatigue level was conducted in performing different arm postures at diverse target positions.The evaluation was completed through a target selection experiment，in which both the subjective and objective results were measured，including the task completion time，target selection accuracy and the user perceived arm fatigue.The results were also compared in different conditions of the target position and the arm postures.The results show that natural hand interaction in spaces at the same side of the hand is more efficient and accurate than in spaces at the converse side.The former is also found to be more comfortable with fewer perceived arm fatigue.Hand interaction at the height lower than the shoulders is also found to be more efficient，accurate and labor-saving than that at higher positions.文章编号：1007-5429（2023）02-0207-08DOI：10.19495/ki.1007-5429.2023.02.022收稿日期：2021-06-17基金项目：国家自然科学基金（61902097）;浙江省自然科学基金（LQ19F020010）;浙江省哲学社会规划课题（19NDQN301YB）;虚拟现实技术与系统国家重点实验室开放课题（VRLAB2020B03）作者简介：楼小龙（1988），浙江义乌人，讲师，博士，主要研究方向为自然人机交互、感知计算与用户体验设计。E-mail：。*通信作者：蒋琤琤，副教授，博士，主要研究方向为人因工效与数字媒体艺术。E-mail：。-207第 28 卷 楼小龙，等：上肢运动学特征与虚拟现实人机界面工效学优化研究Key words:virtual reality;natural interactive user interface;hand interaction;perceived fatigue;ergonomics evaluation1 引言 近年来VR技术的快速发展使其逐渐渗透到数字娱乐、教育、军事、医疗等领域的实际应用1。在基于 Oculus Rift、HTC VIVE 等硬件设备的 VR 应用中，用户通过自然表现的手势动作与三维虚拟视景中的元素进行交互。按照操作媒介的不同，自然手势交互分为可触控交互和裸手交互两类2-3。前者是指用户通过Wii Remote控制器、Oculus手柄等设备实现基于硬件媒介的手势交互；后者是指通过Kinect、Leap Motion等计算机视觉技术实现手势动作检测与追踪，进而实现非接触式的自然手势交互4。无论是上述哪一种技术实现方案，系统都是将用户的手部移动转换为VR场景中的虚拟手或指针位移。因此，手臂移动距离、角度范围、动作精度等手臂运动特征都与自然手势交互结果有密切关系。而在当前针对VR场景的手势交互界面中普遍缺少对用户手臂动作特征的考虑。在当前的VR用户界面中，交互元素布局普遍采用以视线为中心的用户界面（UI）设计原则5。在该设计原则中通常以用户的眼睛和头部作为中心，并将界面内容参照中心坐标进行布局，使用户在界面中的视觉感知处理获得最佳的效果。但是，对于用户在界面中的自然手势交互结果和操作舒适性等方面的考虑却十分欠缺，导致VR自然手势交互应用中存在效率与精确性差、操作舒适性不佳等问题2，6-7。针对上述普遍存在的可用性问题，国内外学者相继提出了各种技术补偿与优化方案。LUBOS等8提出了一种基于手势关节位置实时检测的响应式界面布局技术。该技术通过计算机视觉技术实现手势关节点位置检测，继而将界面元素定位于关节四周以实现更高效、准确的自然手势交互。VOGEL和BALAKRISHNAN9采用一种高精度的运动追踪系统Vicon system，来实现更加精确的自然手势交互。HAQUE等10则采用手臂表皮肌电检测技术来完成手指的细微动作识别，进而实现精确的自然手势交互。MKEL等11提出一种名为“磁性指针”的软件技术来优化界面交互中的目标选取操作。在该技术中，系统为界面中的元素增加“磁性”特征，当手势指针靠近目标时被自动吸附到目标上，以此降低目标选择的难度。以上方案是从技术实现的角度提供自然手势交互的优化途径，在应用开发成本和场景适应性方面存在局限性。从自然手势交互的动作特征和人因工效分析出发，构建手势交互界面布局规范，对解决自然手势交互中存在的可用性问题具有更普适的指导意义，但是相关研究相对欠缺。在工效学研究中普遍将“费兹定律（Fitts Law）”12作为人机交互效率的评估模型。在该评估模 型 中 一 般 将 目 标 选 择 操 作 的 完 成 时 间（movement time，MT）作为效率评估指标，MT指标的计算表达式可表示为一个关于目标尺寸（W）和移动距离（D）的对数表达式：MT=a+blog2()DW+1（1）其中：log2()DW+1指的是交互难度系数（index of difficulty，ID），a和b是两个基于特定的交互技术和交互环境得到的恒定常量。除了时间效率外，人机作业中的准确性也是工效学评估中的一个重要方面，通常将任务过程中的错误率（error rate，ER）统计作为人机交互准确性的一个衡量指标。在目标选择操作中，ER是通过统计所有操作中发生选择错误的次数来计算。用户在人机作业中的感知疲劳度则可以采用“Borg主观疲劳度评估量表”13进行打分测量。该量表采用15点李克特式打分方式进行测量，分值范围6分20分，6分对应“极度轻松”，20分对应“精疲力竭”两个极端描述，其间不同的分值则对应“很轻松”“一般轻松”“有点吃力”“很吃力”“一般吃力”等描述，分值越高对应的疲劳程度越显著。2 方法 实验通过一个VR场景下“目标选取”（选择与点击）的交互任务来评估自然手势动作特征、不同手臂姿势下的交互效率和准确性以及手臂的感知疲劳程度。按照人体上肢运动学结构与特征14，手臂的运动以肩关节为圆心，局限于以臂展长度为半径的球形区域内，而且由于肩关节转动角度局限在上下、左右约200范围内，手臂对于身体后面的大部分空间无法触及。基于文献 7-8 的研究经验，在不同操作角度和手臂姿势下的肌群受力有所差异，而不-208第 2期工 业 工 程 与 管 理同的肌肉群控制不同程度的动作精度。因此，本研究提出以下研究假设：不同操作位置和手臂姿势下的手势交互效率、精准度以及肌肉疲劳感知存在显著差异。2.1被试为了兼顾实验任务的完成效率和样本测量数据的代表性，从实验人员所在大学园区随机招募24名大学生与教师作为实验被试，包括14名男性和10名女性，年龄分布为2033岁（25.6岁3.5岁）。在正式实验前，通过一个 400人的问卷测试发现，24名被试与所在群体在关于“自然手势交互应用经验”和“VR应用操作知识”的总体水平中并无显著差异（p0.05），实验样本选择具有代表性。以上24名被试裸眼视力或者矫正视力在5.0以上，均无身体运动缺陷。通过 VR 头显设备的校准测量装置测得上述被试的眼间距数值分布为 6.80厘米7.70厘米（7.30厘米0.46厘米）。通过软尺测得所有被试的手臂长度（从肩关节到腕关节）数值分布为65.80厘米72.40厘米（68.60厘米2.93厘米）。基于上述差异，在每名被试进行实验时，对VR设备和程序进行微调以消除双目间距差异和人体尺寸差异对实验结果的影响。2.2仪器设备实验在一个多媒体实验室中进行，实验设备包括一台图形工作站主机（Win10 系统，64 G 内存，4.0 HZ Intel 32核处理器）、一台40寸显示器（用于监视VR实验场景）以及一套Oculus Rift头戴显示设备。该头戴设备通过两根4米长的数据线与主机连接，设备横向视野角度大约为100，左右眼分辨率分别为 9601 080。实验中通过一台 ASUS Xtion深度摄像头实现手势动作识别与追踪。深度摄像头被固定在显示器正上方并与主机和Oculus设备连接。在深度摄像头正前方 2米处固定有一个椅子，所有被试者要求坐在椅子上完成实验任务。实验装置与场景如图1所示。2.3实验程序与过程实验通过Xtion深度摄像头结合自然体态感知交互开源框架OpenNI15实现基于人体捕捉与骨骼追踪的自然手势交互技术。在程序实现中选取用户左右肩关节连线中心（胸关节点）作为参照系坐标原点，用户手掌中心相对于胸关节点的坐标值通过转换系数换算为操作光标在VR界面中的位置信息（图2）。实验前期通过试验将转换系数设定为2.0，以保证用户在身前正常范围内的手臂移动能接触到VR实验程序中的所有交互对象并具有一定的精确性。实验采取“多方向目标选取”作为VR场景下的自然手势交互任务。在实验任务程序中有12个球形物体漂浮在三维虚拟场景中，如图3（a）所示。所有球形物体对称中心为任务初始点，被试将界面指针置于初始点上来触发一次交互任务。在每一次目标选择任务中，目标球体显示为橙色，其余为蓝色。整个任务过程如下。（1）在程序初始阶段，被试将界面中的手型指针移动至中心位置使其中一个球体显示为橙色，即为激活交互目标；（2）在目标选取阶段，被试移动手臂使指针从中心位置移至目标球体并悬停500毫秒，直至目标橙色消失，上述过程即为完成一次交互任务；（3）被试重新将指针移回至中心区域以触发新的目标球体显示，并重复以上交互过程。在上述任务过程中，从目标显示到目标被选取的操作时间，即为手势移动时间（MT），被逐一记录在实验程序日志文件中。在重复执行上述任务过程中，如果指针没有悬停足够时间而从目标区域内移开，则标记为一次目标选取错误，相应的目标位置信息也同时被程序记录下来。实验设计如图 3（b）所示，实验通过 2（手臂方向）4（目标位置）3（移动距离）3（目标尺寸）的重复测量组间设计来完成。控制变量如下。图1实验装置与实验场景图2手势动作与VR系统坐标系数值转换原理-209第 28 卷 楼小龙，等：上肢运动学特征与虚拟现实人机界面工效学优化研究（1）操作手方向：左手，右手；（2）目标位置：上侧，下侧，左侧，右侧；（3）目标尺寸（或目标直径）：60 mm，40 mm，20 mm；（4）移动距离：450 mm，300 mm，150 mm。上述目标位置与对应的手臂操作姿势如图4所示。按照不同的目标尺寸和移动距离组合，实验中的目标选取任务难度系数（Fitts ID）区间为 1.81，4.55。每位被试完成72组任务序列，每组序列中包含100次目标选取任务，5个位置分别有20次被选中作为目标点击位置。在完成任一任务序列之后，要求被试进行“Borg 主观疲劳度评估量表”打分。对不同的被试来说，72组实验序列完成顺序通过拉丁方设计进行随机性平衡。在正式实验开始前，为每位被试给予充足的时间来熟悉实验任务和设备操作。在相邻两组任务序列之间，被试有15分钟的时间来缓解他们的眼睛和手臂疲劳。2.4数据处理24位被试者均顺利完成72组实验任务，总共收集到1 728份程序记录（内含MT数据和目标选择错误记录数据）以及 1 728 份疲劳度量表打分结果。研究采用SPSS 3.0作为数据统计分析工具，初步分析发现，所有的MT结果、目标选择错误结果和疲劳度测评数据均呈正态分布。因此通过均值比较和方差分析方法来完成数据分析，并通过双尾t检验进行两两对比。3 分析与结果 3.1交互效率按照不同手臂方向、目标位置和难度系数，计算MT结果如表1所示。多因素重复测量方差分析显示，目标位置（手臂操作姿势）对MT结果有显著影响（F3，7 197=3 705.28，p=0.001）；目标位置（手臂操作姿势）与交互难度系数之间还存在明显的交互效应（F18，43 182=1 158.27，p=0.004）。具体来说，在更高难度的目标选择任务中，下侧空间内的手势交互相比上侧空间内的手势交互有更明显的效率优势。通过 Fitts law 建模方法对上下侧空间内的手势交互MT结果进行图形可视化（图5），更清晰地显示了上述方差分析结果：无论是左手交互还是右手交互，在下侧空间内的手势交互相比上侧空间内的手势交互有更低的MT结果；下侧空间内的结果拟合（虚线表示）比上侧空间内的结果拟合（实线表示）斜率更小，表明随着交互难度系数增加，两者的结果差异更加明显。通过多因素重复测量方差分析方法分析左右侧空间内的手势交互MT结果发现，左右手选择与手势交互空间方向之间存在强交互效应（F1，2399=2 970.23，p=0.006）。双尾t检验分析表明，左手在左侧空间中的手势交互MT结果（MLL）明显低于右图3VR手势交互任务界面图4目标位置变量和手臂操作姿势差异-210第 2期工 业 工 程 与 管 理侧 空 间 中 的 手 势 交 互 MT 结 果（MLR）（MLL=671.10100.66；MLR=816.8097.40；t（2 399）=-16.60，p=0.041）。但是在右手交互中，结果则完全相反（MLL=823.20112.60；MLR=658.6087.37；t（2 399）=16.56，p=0.037）。以上结果可概括为顺手侧的交互效率比逆手侧的交互效率高。通过Fitts Law建模的方法，上述结果可表示为图6。图6身体左右侧空间中的MT（目标选取时间）建模结果表1不同变量条件下的MT统计结果手臂方向左手右手Fitts ID(bits)1.812.252.583.093.614.004.551.812.252.583.093.614.004.55MT结果，单位：毫秒（均值标准差）目标位于上侧541.8677.58680.19100.43785.43107.331 023.30114.101 278.43131.321 317.33143.411 436.98166.96549.1087.50676.46116.87805.3691.411 007.57125.411 128.94129.351 328.99151.871 442.35141.18目标位于下侧340.7751.57404.1262.70463.5285.91628.1390.88722.6599.15793.25102.26869.6896.78326.3055.57402.2965.08505.6884.54603.9397.55731.5590.06797.1188.94893.74107.44目标位于左侧323.2654.88417.9461.61495.0779.27687.57103.68872.23118.93886.82133.651 013.48152.58472.0376.47582.3276.54687.97123.52855.72112.32931.48126.071 073.94126.741 159.17146.48目标位于右侧476.6055.33574.9172.71646.8794.91841.9291.71971.63110.681 058.28116.931 147.37139.51324.4044.96412.2451.59524.8072.26658.11102.33813.77121.02886.47104.19990.10115.26图5身体上下侧空间中的MT（目标选取时间）建模结果-211第 28 卷 楼小龙，等：上肢运动学特征与虚拟现实人机界面工效学优化研究3.2交互准确性实验通过统计任务序列中发生目标选择错误的次数占序列总数的比例来测算交互准确性。按照不同手臂选择方向、目标位置和难度系数，目标选择错误率统计结果如表2所示。多因素重复测量方差分析结果表明，在身体上下左右侧空间中的手势交互目标选择错误率结果存在显著差异（F3，357=17.28，p=0.014）。其中，在身体下侧空间中的目标选择错误率（ERL）显著低于在上侧空间中的目标选择 错 误 率（ERU）（ERL=0.1100.027；ERU=0.1400.038），结果与左右手选择无关（图7）。但是，左右手选择对左右侧空间中的目标选择错误率结果有显著影响（F1，119=196.27，p=0.022）。双尾t检验结果显示：在左手交互中，左侧空间中的目标选择错误率（ERL）明显低于右侧空间中的目标选 择 错 误 率（ERR）（ERL=0.1100.016；ERR=0.1500.023；t（119）=-10.79，p=0.029）；在右手交互中，右侧空间中的目标选择错误率却显著低于左 侧 空 间 中 的 目 标 选 择 错 误 率（ERL=0.1400.022；ERR=0.1000.015；t（119）=13.42，p=0.021）。图8展示了上述左右手在顺手侧和逆手侧空间中的目标选择错误率结果差异。3.3感知疲劳度基于1 728份Borg量表打分数据，得到在不同手臂方向和目标位置条件下的主观感知疲劳度统计结果（图 9）。多因素重复测量方差分析结果表明：在身体上下左右侧空间中的手势交互任务产生的手臂疲劳感知程度有明显差异（F3，357=101.20，p=0.010）。其中：在身体上侧空间中的手势交互引起的手臂疲劳感知超过在身体下侧空间中的手势交互疲劳感知，且差异最为显著；左右手选择差异对上述结果没有显著影响。对比左右侧空间手势交互产生的感知疲劳测评结果发现，手势交互在顺手侧和逆手侧空间中的操作所产生的疲劳度感知存在显著差异（F1，119=458.71，p=0.004）。使用左手交互时，被试在右侧空间交互产生的疲劳度感知超过在左侧空间交互产生的疲劳度感知（t（119）=-22.45，p=0.030）；但是使用右手交互时，结果完全相反（t（119）=28.67，p=0.017）。4 讨论与展望 通过一个多方向的目标选取操作实验验证了在VR自然手势交互应用中界面操作位置影响手臂姿势，进而对交互任务的完成效率、准确性和感知疲劳度结果产生显著影响。首先，在肩关节以下位置的手势交互相比肩关节以上位置的手势交互有更高的时间效率、准确性以及更少的操作疲劳感。该结果与 PREVIC16以及 LIU 等学者17在神经生理学研究实验中得到的结论契合，即灵长类动物（包括人类）的感知运动功能在视野上下空间中有明显的功能分化。一方面，在视野上方空间中的目表2不同变量条件下的目标选择错误率统计结果手臂方向左手右手Fitts ID(bits)1.812.252.583.093.614.004.551.812.252.583.093.614.004.55目标选择错误率结果（均值标准差)目标位于上侧0.0900.0140.1100.0180.1200.0170.1400.0220.1500.0230.1800.0290.2100.0250.0800.0110.1100.0140.1300.0190.1400.0250.1600.0200.1800.0240.2000.030目标位于下侧0.0700.0120.0900.0120.1000.0180.1100.0150.1300.0190.1400.0210.1600.0220.0700.0090.0800.0140.0900.0120.1100.0170.1300.0200.1400.0240.1500.020目标位于左侧0.0600.0110.0800.0130.0900.0160.1000.0160.1200.0150.1400.0200.1600.0230.0900.0130.1100.0160.1300.0160.1400.0200.1600.0270.1700.0240.2000.035目标位于右侧0.1000.0150.1200.0200.1300.0230.1500.0200.1700.0280.1900.0280.2100.0270.0500.0080.0700.0090.0900.0150.1100.0160.1200.0160.1400.0180.1600.026-212第 2期工 业 工 程 与 管 理标感知比在视野下方空间中的目标感知更加灵敏；另一方面，在视野下方空间中的手臂操作比在视野上 方 空 间 中 的 手 臂 操 作 更 加 高 效、精 准。HINCAPI-RAMOS 等18从静态力学分析方法入手对不同手臂姿势下的肌肉负荷进行受力对比，发现手臂抬高姿势相比手臂放低姿势更易产生肌肉疲劳。分析结果与本文实验结果相符，也为解释本文实验发现提供一种有效的理论分析框架。实验还发现顺手侧的手势操作相比逆手侧的手势操作有更高的效率、准确性以及更少的感知疲劳度。LOU等19将上述特征命名为自然手势交互中的“手向效应”，并通过一个面向大屏幕的体感交互实验证明了“手向效应”对于体感交互中单手完成“目标选择”这类操作任务的影响。本文实验则证明了“手向效应”在VR手势交互场景中同样存在且影响更为显著，这也为 LOU等研究者的研究发现提供了重要补充。按照文献 18 提供的静态力学分析方法，“手向效应”也可以通过顺手侧与逆手侧操作姿势下的手臂肌肉受力情况进行分析。相比逆手侧操作，顺手侧手臂动作状态下手臂弯曲较大、力矩较小、肌肉更为放松，相应的动作控制更为精准高效，产生的肌肉疲劳也较少。本研究为构建VR场景下自然手势交互界面可用性原则与工效学优化策略提供如下参考：（1）鉴于交互位置高低对任务完成效率和准确性的影响，适合将信息显示元素与互动元素进行上下分区放置，特别是需要将频繁操作的元素放置在视野以下较低的位置；（2）鉴于手臂选择对交互结果的影响，可以采用计算机感知技术来实时检测与识别用户的操作手方向，继而根据识别结果将交互元素放置在更便于操作的空间位置上。除了手势交互结果外，视觉搜索与导航效率也是VR交互中的重要评测指标，但是在本研究中并未涉及。后期将采用一个头戴式眼动追踪设备对图7身体上下侧空间中的目标选择错误率结果图8身体左右侧空间中的目标选择错误率结果图9主观感知疲劳度统计结果-213第 28 卷 楼小龙，等：上肢运动学特征与虚拟现实人机界面工效学优化研究VR场景中的用户视觉活动进行监测评估。此外，本文局限于单手交互任务测试，但是在更多的VR应用中手势交互任务通常是通过双手协作来完成的，例如，使用惯用手完成目标点选和拖拽操作，而使用非惯用手来完成视野角度切换、系统状态切换等操作。在后续研究中将探索利用手势识别构建双手交互的智能感知界面生成技术，例如通过识别特定的符号手势来指定左右手的功能划分，并使交互程序分别适应不同手的动作特征生成效率和体验优化的界面布局。5 结论（1）在 VR 场景的自然手势交互中，肩关节以下空间中的自然手势交互相比肩关节以上空间中的自然手势交互有更高的任务操作效率和准确性。同时，前者相比后者的操作疲劳感知更少，对完成自然手势交互任务的持续性和舒适度更佳。（2）实验还证明了自然手势交互中的“手向效应”，即用户对操作手的选择影响自然手势交互任务的完成情况和用户体验结果。用户在顺手侧空间中的手势交互效率、准确性均优于在逆手侧空间中的手势交互，前者产生的操作疲劳度也显著低于后者。（3）本文从工效学优化角度出发，为提高 VR自然手势交互界面的可用性提供优化建议与策略参考。例如，按照界面元素的功能划分进行空间分布优化，将信息提示的元素放置在视野上方区域，而将频繁操作的互动元素放置在视野以下区域，采用基于计算机视觉的手势实时识别技术实现不同手臂使用时的响应式交互界面显示技术。参考文献：1 OHTA Y，TAMURA H.Mixed reality：Merging real and virtual worlds M.Heidelberg：Springer Publishing Company，2014.2 张凤军，戴国忠，彭晓兰.虚拟现实的人机交互综述 J.中国科学：信息科学，2016，46（12）：1711-1736.3 黄进，韩冬奇，陈毅能，等.混合现实中的人机交互综述 J.计算机辅助设计与图形学学报，2016，28（6）：869-880.4 杜钊君.基于体感传感器的手势识别及人机交互系统研究 D.武汉：武汉科技大学信息科学与工程学院，2013.5 MACKINLAY J，CARD S K，ROBERTSON G G.A semantic analysis of the design space of input devicesJ.ACM Transactions on Information Systems，1991，9（2）：99-122.6 BORING S，JURMU M，BUTZ A.Scroll，tilt or move it：using mobile phones to continuously control pointers on large public displays C/Proceedings of the 21st Annual Conference of the Australian Computer-Human Interaction Special Interest Group：Design.New York：ACM Press，2009：161-168.7 HARRISON C，RAMMAMURTHY S，HUDSON S E.On-body interaction：Armed and dangerous C/Proceedings of the 26th International Conference on Tangible，Embedded and Embodied Interaction.New York：ACM Press，2012：69-76.8 LUBOS P，BRUDER G，ARIZA O，et al.Touching the sphere：Leveraging joint-centered kinespheres for spatial user interactionC/Proceedings of the 2016 Symposium on Spatial User Interaction.New York：ACM Press，2016：13-22.9 VOGEL D，BALAKRISHNAN R.Distant freehand pointing and clicking on very large，high resolution displays C/Proceedings of the 18th annual ACM symposium on User interface software and technology.New York：ACM Press，2005：33-42.10 HAQUE F，NANCEL M，VOGEL D.Myopoint：Pointing and clicking using forearm mounted electromyography and inertial motion sensors C/Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems.New York：ACM Press，2015：3653-3656.11 MAKELA V，HEIMONEN T，TURUNEN M.Magnetic cursor：Improving target selection in freehand pointing interfaces C/Proceedings of The International Symposium on Pervasive Displays.New York：ACM Press，2014：112-117.12 魏先民.人机交互领域中Fitts定律研究 J.制造业自动化，2012，34（6）：82-83+106.13 HART S G.Nasa-task load index（Nasa-TLX），20 years later C/Proceedings of the 50th Annual Meeting of Human Factors&Ergonomics Society.Santa Monica：HFES，2006：904-908.14 MINE M R，FREDERICK P，BROOKS J，et al.Moving objects in space：Exploiting proprioception in virtual-environment interaction C/Proceedings of the 24th annual conference on Computer graphics and interactive techniques.New York：ACM Press，1997：19-26.15 SANNA A，LAMBERTI F，PARAVATI G，et al.A kinect-based natural interface for quadrotor control J.Entertainment Computing，2013，4（3）：179-186.16 PREVIC F H.Functional specialization in the lower and upper visual fields in humans：Its ecological origins and neurophysiological implications J.Behavioral and Brain Sciences，1990，13（3）：519-542.17 LIU G，CHUA R，ENNS J T.Attention for perception and action：Task interference for action planning，but not for online control J.Experimental Brain Research，2008，185（4）：709-717.18 HINCAPIE-RAMOS J D，GUO X，MOGHADASIAN P，et al.Consumed endurance：A metric to quantify arm fatigue of mid-air interactions C/Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.New York：ACM Press，2014：1063-1072.19 LOU X，PENG R，HANSEN P，et al.Effects of users hand orientation and spatial movements on free hand interactions with large displays J.International Journal of Human Computer Interaction，2018，34（4-6）：519-532.-214