基于眼动追踪和触觉反馈的人-多机器人班组交互系统.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:录用日期:基金项目:国家自然科学基金项目()作者简介:翟佳佳()女硕士研究生:.通信作者:曾洪()男教授博士生导师:.:./.基于眼动追踪和触觉反馈的人 多机器人班组交互系统翟佳佳曾 洪沈熠韬徐晓英孙燈峰(东南大学 仪器科学与工程学院 南京)摘要:针对在动态复杂、非结构化的场景中缺乏自然、高效人机交互方式的问题提出了一种基于眼动追踪和触觉反馈的人 多机器人班组交互系统用于管理由多机器人和人组成的团队 该系统利用混合现实头盔在现实世界中叠加虚拟交互界面操作员通过基于凝视信号的非语言注意力感知的输入方法进行人机交互指令的输入进而控制多机器人进行协同运动同时操作员通过振动和挤压 种触觉反馈模态来感知多机器人系统编队队形的尺寸变化与编队完成状态 为了验证人机交互系统的有效性与可行性设计了触觉反馈实验与人 多机器人班组交互系统实验实验结果表明:所提出的基于眼动追踪和触觉反馈的人机交互系统能有效控制多机器人系统进行编队指令执行成功率达.与仅通过视觉反馈相比在有触觉反馈的情况下操作员可以使用更少的时间完成多机器人状态感知交互效率提高了.关键词:触觉反馈眼动追踪人 多机器人班组人机交互多机器人系统本文引用格式:翟佳佳曾洪沈熠韬等.基于眼动追踪和触觉反馈的人 多机器人班组交互系统.兵器装备工程学报():.:.():.中图分类号:文献标识码:文章编号:()():.:引言多机器人系统通过机器人之间的能力互补和行动协同能够完成单个机器人难以完成的任务进而实现整个系统的效能提升并且多机器人系统具有单个机器人造价低廉、冗余度好、鲁棒性强等优点这些优点使得多机器人系统在各个领域得到了广泛的应用 在环境勘探领域多机器人系统进行分布式部署来进行大范围的环境数据采集在边境监控领域多机器人系统通过网络化的监控系统对重要设施和区域进行全天候的监视和巡逻 此外抢险救灾领域已经广泛开展了各种城市搜救()行动在这些行动中多机器人系统已被证明能够显著提高灾后搜索与救援的效率由于上述场景通常是高度动态和非结构化的故操作员能够以自然、高效和直观的方式控制机器人系统变得非常重要 遥操作是一种被广泛采用的方法例如大多数 机器人都是通过远程操作控制 同时相比于自主解决方案自主监控机器人更为常见操作员可以在机器人自主运行和执行任务时对其进行远程访问和监控 但与遥操作解决方案相比在目标环境中配备专家操作员已被证实可以显著提高响应时间和效率 事实上与机器人共享环境为操作员提供了迄今为止远程操作技术无法匹敌的态势感知水平 因此与其他考虑远程操作的解决方案不同本文中允许操作员成为团队的一部分与机器人伙伴在同一环境中移动 然而这种模式只有在操作员能够以自然直观的输入方式控制机器人并接受机器人队友的有效反馈时才会奏效在实际应用场景中操作员往往需要进行视觉 运动集成的任务且双手经常会被占用例如勘探专家手持勘探测量设备进行实地测量和采集数据、士兵时刻保持双手不离枪并无声行动、消防员手持消防水管进行灭火行动等 因此传统手动参与的输入方式如触摸屏、手控器、手势识别等无法满足需求 此外考虑实际应用场景可能存在嘈杂环境以及士兵需要无声运动的特殊需求语音输入并不是一个理想的选择 在这种情况下脑机接口与基于混合现实()头盔的眼动接口可以提供一种无需手动输入的隐式输入通道 以实现自然、高效的指令输入 人眼跳动的最高速度为 ()/相比人的手动操作具有更快的反应速度 此外操作员通过基于 头盔的眼动接口只需投入少量精力来管理凝视信号并且凝视本身就包含位置信息可以用来定位图像中的目标对象 与脑机接口相比眼动追踪具有设置快速、易于校准、无需与操作员接触、鲁棒性高等明显优势从而使操作员的行为更自然使用体验更佳除了输入方式的研究外有效的反馈对于实现高效的人机交互也至关重要 反馈信息可以向操作员传达关键信息帮助操作员理解和掌握机器人系统的状态以及执行任务的情况 最简单的方式是视觉反馈传统的无人驾驶汽车以及机器人的交互界面上通常会以视觉反馈的形式为操作员提供地理空间信息以及警告信息等 然而在实际应用场景中视觉反馈的有效性会受到信号干扰、视角遮挡或者视觉负荷过高等问题的影响进而导致用户在视觉通道上无法获得有效的反馈 因此从其他通道向用户呈现反馈信息以作为视觉信息的补充就显得尤为重要 研究表明触觉信息因其灵敏、鲁棒性高、私密等特点可以作为视觉信息的有力补充例如 等设计并研制了一种放置于指尖的振动触觉装置该装置通过产生不同的振动模式来表示多机器人系统目前所处的运动状态 等为多机器人系统的每一种运动状态设计了不同的振动模式编码故操作员通过不同的振动触觉反馈模式完成了在室外环境中的导航任务 但上述文献均仅采用了单独的振动模态来反馈多机器人系统的运动状态限制了系统反馈的信息量与多样性忽视了面对不同环境与任务触觉反馈方式的适应性为解决在高度动态和非结构化的场景中缺乏自然、高效人机交互方式的问题提出了一种新的人 多机器人班组交互系统用于控制由机器人和操作员组成的异构团队 该系统利用基于 头盔的眼动接口进行目标指令的输入进而控制多机器人进行协同运动同时通过振动和挤压 种触觉反馈模态来感知多机器人系统编队队形的尺寸变化和编队完成状态并设计实验验证了该系统的可行性通过对比试验证明该人机交互方法能提高控制效率、减轻操作人员负荷 系统框架基于眼动追踪和触觉反馈的人 多机器人班组交互系统兵 器 装 备 工 程 学 报:/./框架如图 所示 操作员头戴 头盔、身穿触觉反馈装置与多个移动机器人共享环境在此环境下通过局域网能够实现操作员与多机器人系统的双向通信同时操作员能够通过 头盔实时观察和感知现实作业环境并在需要时切换出控制指令菜单界面 该菜单界面为虚拟可视化的交互界面能够检测操作员的有效注视并进行识别从而得到目标选择指令进而映射为编队控制指令并发送到多机器人系统协同控制器以自然无感的方式实现对编队控制指令的准确选择 多机器人系统协同控制器接收到编队队形指令后控制多机器人进行队形变换、内部避碰和外部避障等任务 与此同时操作员依靠触觉反馈装置在手臂皮肤表面产生的触觉力来感知编队状态图 基于眼动追踪和触觉反馈的人 多机器人班组交互系统框架.系统功能模块设计与实现.基于 头盔的眼动追踪输入方法首先设计了基于 的人机交互界面如图 所示在图 中操作员通过 头盔可观察到虚拟可视化控制指令菜单界面该菜单界面以全息图形式呈现在操作员周围的真实世界中 为了使机器人团队适应不同的工作环境和任务需求可以预先定义多机器人编队形状图案并设计与之对应的控制指令菜单界面图 面向人 多机器人班组交互的眼动输入方法流程.针对实际应用中多机器人系统的协同需要设计了以下 类编队控制指令如图 所示分别为三角形编队、矩形编队、五边形编队、直线编队、扩大编队和缩小编队图 虚拟可视化控制指令菜单界面.人 多机器人班组共享环境时操作员为视觉运动集成的 为有效地与机器人进行交互提出了一种基于凝视信号的非语言注意力感知的输入方法利用 头盔进行眼动追踪检测操作员注视指令菜单界面产生的有效注视事件以便生成目标选择指令 在眼动数据分析研究中区分具体的眼动事件是至关重要的步骤 常用的眼动事件检测是根据经验设置眼动速度阈值根据阈值区分不同的眼动事件但是由于个体差异具体阈值的设置会对事件检测结果产生影响 鉴于此使用自适应阈值算法实现眼动事件检测 首先 头盔用于实时采集操作员的眼动信号并计算眼动速度 其次进行眼动事件监测即计算扫视速度阈值初始扫视速度阈值为(初始值范围 ()/)逐步计算范围内眼动角速度的中值和方差更新扫视速度阈值更新公式如式()所示()()()式()中:表示中值 表示绝对中位差()缩放因子表示第 次眼动角速度 表示前 个眼动角速度序列表示第 次扫视速度阈值不断更新扫视速度阈值直到其稳定在一定范围内停止条件如式()所示 ()式()中:表示眼动注视的位置 表示图 中视线焦点区域选择的图案设置 的间隔时间是为了防止操作人员视线漂移造成误操作有效注视事件的注视位置进一步映射为编队控制指令并发送到多机器人系统协同控制器.多机器人协同控制针对不同的任务场景多机器人需要变换为相应的队形或尺寸进行任务的执行因此本节阐述了分布式多机器人编队算法控制多机器人编队变换)移动机器人模型 本文中选用 轮差分驱动式机器人作为控制对象其运动学模型图如图 所示图 移动机器人运动学模型.该移动机器人在世界坐标系中的坐标为 线速度为 角速度为 方位角即其运动方向与 轴正方向夹角为(时产生吸引力当 时产生排斥力避障控制项定义如式()所示 ()()式()中:为第 个机器人的障碍物集合为集合 中第 个障碍物的位置 为人工势函数当 时产生排斥力当 时无作用力为障碍物的最大安全距离.多机器人系统状态信息的触觉反馈表达方法根据.节提出的基于 头盔的眼动追踪方法可以向多机器人系统发出队形变换或尺寸变换的控制指令 由于多机器人系统从接收指令到收敛到期望队形或尺寸需要一定的时间故操作员仅通过视觉观察难以快速判断多机器人执行指令状态且随着机器人数目的增多判断难度随之增加 为了降低人机交互难度以及为操作员创造高度沉浸感本节设计了基于挤压触觉的多机器人系统尺寸变换与基于振动触觉的队形变换 种模式来反馈多机器人系统的运动状态信息)穿戴式触觉反馈装置 穿戴式触觉反馈装置交互系统框图如图 所示该装置主要由 部分组成:主控模块电源模块通信模块功能模块图 穿戴式触觉反馈装置交互系统框图.主控模块采用 开发板与多机器人系统通过 蓝牙串口通信模块进行数据传输 主控模块负责编码多机器人系统的尺寸变换信息和队形变换信息并将其发送给挤压和振动功能模块以实现相应的触觉反馈稳压电源采用 节 锂电池供电可为主控模块与功能兵 器 装 备 工 程 学 报:/./模块提供.的稳压输出 )基于挤压触觉的多机器人系统尺寸变换状态反馈用于产生挤压触觉的执行机构近景如图 所示用于产生挤压触觉反馈的伸缩臂带连接在转动件上通过 控制 舵机(扭矩为 )转动可以在用户的手臂上产生不同程度的挤压力图 挤压触觉振动机构.个舵机正常工作时的转动角度始终相同即其中和分别代表左右 个舵机的转动角度 为了在操作员手臂上产生 种不同程度的可区分的挤压力设计了 种转动角度 当多机器人系统执行尺寸缩小的指令时 个舵机以图()转动至以产生较大的挤压力当多机器人系统执行尺寸扩大的指令时 个舵机以图()的方向转动至以产生较小的挤压力当多机器人系统尺寸变换指令执行完成已处于稳定的尺寸大小时如图()所示 个舵机保持以产生适中的挤压力图 基于挤压触觉的尺寸变换状态反馈.)基于振动触觉的多机器人系统队形变换状态反馈用于产生振动触觉反馈的臂带固定在操作员手臂上其内侧放置有以 的形式相距 间隔排列的振动电机阵列 块 芯片用于驱动 个振动电机正常工作如图 所示 利用似动现象()这一触觉错觉现象在用户手臂上绘制不同的几何形状以反馈多机器人系统当前执行的队形变换指令 当队形变换指令完成后电机阵列停止工作使得操作员可以及时把握队形变换完成情况提升了操作员对机器人队友及时灵敏感知能力图 振动触觉执行机构.似动现象是一种触觉错觉现象指的是如果用户皮肤表面存在一些离散的振动触点按照一定的振动持续时间和启动间隔时间进行振动那么用户的皮肤表面会产生一种连续振动的感觉 似动现象示意图如图 所示和 代表放置于用户皮肤表面的 个振动触点右边为 个振动触点的状态时间轴代表振动触点 的振动持续时间代表振动触点 的振动持续时间 代表 个振动触点的启动时间差图 似动现象示意图.用户对似动现象的区分能力取决于振动电机的控制参数如振动持续时间、启动时间差、振动强度等目前已有的工作已对这些参数对似动现象的影响做了大量的研究其中振动持续时间以 为宜启动时间差()与振动持续时间()的大致关系如式()所示单位为 .()利用似动现象在用户手臂皮肤上绘制 种图形以反馈多机器人系统当前执行的队形变换指令 当多机器人系统执行变换为直线形编队的指令时振动电机阵列中的 个电机以图示顺序振动从上往下绘制一条直线如图()所示当多机器人系统执行变换为三角形编队的指令时振动电机阵列以图示顺序振动绘制一个三角形如图()所示当多机器人系统执行变换为五边形编队的指令时振动电机以图示顺序振动绘制一个类五边形如图()所示当多机器人系统执行变换为矩形编队的指令时振动电机以图示顺序振动绘制一个正方形如图()所示 当队形变换指令完成后电机阵列停止工作使得操作员可以及时把握队形变换完成情况翟佳佳等:基于眼动追踪和触觉反馈的人 多机器人班组交互系统图 基于振动触觉的队形变换状态反馈.实验.实验平台基于眼动追踪和触觉反馈的人 多机器人班组交互系统的实物实验平台搭建如图 所示 该系统由 台 开发的 设备、台本实验室自制的可穿戴式触觉反馈装置、个 移动机器人组成图 实物验证平台示意图.设备被选为 头盔该设备是 台可穿戴的一体式全息混合现实设备拥有独立的计算单元无需依赖任何外部软硬件就能完成所有混合现实计算和展示 操作员头戴 设备可实时观察现实环境同时通过虚拟交互界面进行人机交互发送 类编队指令多机器人系统选用了 辆 移动机器人数量可以根据任务的需求进行扩展 从 设备到多机器人系统指令的发送是通过/协议实现的 周围配备 个红外传感器可测量环境光和 以下物体的接近度前部配备()距离传感器最长可测距 由于 周围红外传感器测量距离过小因此选用视觉定位方法多机器人系统接收到编队指令后进行编队运动 编队完成状态的感知选用本实验室自制的可穿戴式触觉反馈装置 该装置具有轻量化()、反馈信息丰富(具有挤压、剪切、振动 种触觉反馈模态)、反馈模式直观的特点.触觉反馈实验为了验证操作员能否根据穿戴式触觉反馈装置反馈的触觉信息了解多机器人的运动状态设计如下实验 实验场景如图 所示用户坐在呈现交互界面的计算机屏幕前右臂佩戴触觉反馈装置感知挤压触觉和振动触觉反馈图 反馈实验平台示意图.本实验研究穿戴式触觉反馈装置对多机器人系统编队指令执行状态的反馈作用与操作员通过何种方式输入控制指令无关因此本实验操作员通过键盘来控制多机器人系统的运动与编队变换 非结构化的仿真场景设置在一个非开阔的房间内房间中包含狭窄的通道、各种形状的障碍物以兵 器 装 备 工 程 学 报:/./尽可能达到场景的复杂度 控制任务旨在模拟多机器人系统进入灾难现场等非结构化环境中的应用包括操纵多机器人系统从初始位置到目标位置并通过中途的门、狭窄通道、障碍物等如图 所示 每位操作员在执行控制任务时需要在仅通过视觉反馈以及拥有视觉与触觉双模态反馈 种状态下来感知多机器人系统运动状态以此判断下一时刻发送的控制指令进而完成控制任务图 多机器人系统控制任务.本实验共招募了 名被试者(男 女)所有被试者均具有正常或矫正后的正常视力且拥有正常的触觉感知能力 每位操作员需要在仅通过视觉反馈以及拥有视觉与触觉双模态反馈 种状态下各完成 次实验每次实验不限定完成时间 每位用户在实验任务完成中所花费的时间如图 所示视觉反馈模式下平均用时.视觉与触觉双模态反馈模式下平均用时.交互效率提高了 与仅通过视觉反馈相比在有触觉反馈的情况下用户可以使用较少的时间完成队形变换任务 以测试者 为例在有触觉反馈的情况下完成队形变换的时间由.下降为.当操作员仅通过视觉观察多机器人的运动状态时由于多机器人系统收敛到指定队形需要花费一定的时间且收敛的编队形状大小未知故操作员只能通过编队一定时间的稳定来判断编队收敛状态这使得操作员必须花费更长的时间来观察每个多机器人的运动状态同时也加重了用户的认知负担 而在使用触觉反馈的情况下操作员通过手臂上产生的 种不同程度的可区分挤压力来判断多机器人系统尺寸变换状态同时操作员通过手臂上绘制的不同形状来快速判断多机器人当前执行的队形变换指令并根据电机阵列停止时间来判断编队队形的收敛状态图 反馈实验验证结果.人 多机器人班组交互系统实物实验为了验证所提出的基于眼动追踪和触觉反馈的人 多机器人班组交互系统的可行性与有效性基于.节的实验平台搭建本文中对多机器人系统的编队变换进行实物实验验证 操作员与多机器人系统共享环境并且模拟双手被占用时的场景通过人机交互界面发送编队队形指令多机器人系统解析操作员的指令逐渐形成所期望编队队形同时躲避障碍物并通过触觉反馈装置感知多机器人系统编队变换状态当感知编队完成时发送下一个编队控制指令直到完成类编队变换验证效果如图 所示图 实物验证结果.以图()为例操作者在人机交互界面选择“三角”指令基于自适应阈值算法与眼动命令函数来捕获操作者意图从而协调控制多机器人系统进行三角编队 图 中的白色与绿色水杯为障碍物多机器人系统在进行编队运动的同时要保证避免与机器人和障碍物之间的碰撞 以多机器人系统从三角编队变换为直线编队为例图 显示了整个运动过程中的轨迹和航向角度所有的机器人都能避免与邻居和障碍物碰撞并变换为直线队形同时各个机器人的航向角都收敛到所需的角度 在从三角编队变换为直线编队的整个过程中各个机器人的速度变化情况如图 所示翟佳佳等:基于眼动追踪和触觉反馈的人 多机器人班组交互系统图 多机器人姿态.图 多机器人速度.验证效果图 表明采用基于 头盔的眼动接口能准确识别感知信号有效控制多机器人系统进行编队 为进一步对设计的交互框架的准确率和交互效率进行评价选取 名(男 女)操作者执行交互界面中的 种集群编队指令每条指令为 次然后对平均成功率、平均所需时间进行统计试验结果表明执行编队指令的平均成功率达.说明设计的基于眼动追踪与触觉反馈的交互框架的实现机制合理有效且错误操作率极低 另一方面基于 头盔的眼动指令选择的平均时间为.表明操作员能够在相对较短的时间内完成指令选择 结论针对在动态复杂、非结构化的场景中缺乏自然、高效人机交互方式的问题提出了一种基于眼动追踪和触觉反馈的人 多机器人班组交互系统 该系统利用基于 头盔的眼动接口进行目标指令的输入进而控制多机器人进行协同运动同时操作员通过可穿戴式触觉反馈装置来感知多机器人系统编队队形的尺寸变化与编队完成情况设计了触觉反馈实验与人 多机器人班组交互系统实验证明了所提出的人机交互系统能有效控制多机器人系统进行编队指令执行成功率达.与仅通过视觉反馈相比在有触觉反馈的情况下操作员可以更快完成多机器人运动状态的感知交互效率提高了.参考文献:.():.:.():.:.():.:?.():./.:.():.():.:.():.().():.兵 器 装 备 工 程 学 报:/./().:.():./().:.():.():.():.()():.:/().:.:.():.():.:.:.吴立尧韩维张勇等.基于人机合作的有人/无人机编队队形变换策略.系统工程与电子技术():./.():.():.科学编辑 何广平 博士(北方工业大学 教授)责任编辑 徐佳忆翟佳佳等:基于眼动追踪和触觉反馈的人 多机器人班组交互系统