基于力反馈的颅颌面骨科手术机器人协调控制（张海青 栾楠 张诗雷 桂海军 袁斯辰）.pdf

基于力反馈的颅颌面骨科手术机器人协调控制 张海 青 ， 栾楠 ， 张诗 雷 ， 桂 海军 ， 袁 斯辰 ( 1 上海交通大学机械与动力工程学院， 上海 2 0 0 2 4 0 ； 2 上海交通大学医学院附属第九人 民医院， 上 海 2 0 0 0 1 1 ) Co op e r a t i v e Co n t r o l o f Cr a n i o ma x i l l o f a c i a l Su r g i c a l Rob o t Ba s e d o n Fo r c e f e e db a c k Z HA N G H a i q i n g ， L U A N Na n ， Z h a n g S h i l e i ， GU I Ha i j u n ， Y U A N S i c h e rt ( 1 S c h o o l o f Me c h a n i c a l E n g i n e e r i n g， S h a n g h a i J i a o To n g Un i v e r s i t y， S h a n g h a i 2 0 0 2 4 0， Ch i n a ； 2 S h a n g h a i Ni n t h Pe o p l e s Ho s p i t a l Af f i l i a t e d t O S h a n g h a i J i a o To n g Un i v e r s i t y o f M e d i c i n e， S h a n g h a i 2 0 0 0 1 1 ， Ch i n a ) 摘 要 ： 虚 拟 约束基 于操 作 空 间的正 交分 解 ， 将 末 端执 行 器 的位 置 和姿 态 空 间分 别分 解 为 自由运动 和 受约束 运动 2部 分 ， 实现 准 确 的预 定 义轨 迹 跟 踪 和 灵活的器械姿态调整； 医生借助力反馈获得 可靠的 临场感 ， 依据 自己的经验 判 断调整 手 术进 度 、 施 力大 小 ， 达 到对 手术 操作 的控 制 。 关键词 ： 协调控制； 虚拟约束 ； 姿态空间； 位置空 间 ； 力 反馈 中 图分 类 号 ： TH7 8 7 文 献标 识码 ： A 文章 编号 ： 1 0 0 1 2 2 5 7 ( 2 0 1 2 ) 0 5 0 0 6 2 0 3 Abs t r a c t ：The c o nc e p t o f v i r t ua l f i x t ur e s i s u s e d t o r e s t r i c t mo t i o n of t he r o b ot m a n i pu l a t o r a c c o r d i n g t o p r eo p e r a t i v e l y d e f i n e d t r a j e c t o r y a n d p os t u r e c o ns t r a i nt s Or t ho g ona l d e c o m p os i t i on i s u s e d he r e t o a s s i gn c o nt r ol o f t he m a ni pu l a t o r t o t h e s ur g e o n a n d t he r ob ot s e a m l e s s l yM or e ov e r ， f or c ef e e d b a c k t e c hn ol o gy i s i nt r odu c e d t o ma ke t he s ur ge on “ f e e l ” t he c u t t i n g f or c e dur i n g o pe r a t i o n Ke y wo r d s：c o op e r a t i v e r ob o t i c s ；v i r t ua l f i x t u r e s ； p o s t u r e s p a c e ； t r a j e c t o r y s p a c e ； f o r c e f e e d b a c k 日本的关节造型机器人_ 3 等 。现有的这些骨科手术 系统 ， 大 都 专 门 用 于 膝 、 髋 关 节 造 型 方 面 。 其 中 AC R o b o t 工作在随动方式 ， 其 它为 自动操作 ， 且末 端执行工具为钻 ， 主要实现骨面磨削、 钻孔等 比较容 易控制并 自动执行的手术动作 。对颅颌面骨整复手 术来说 ， 手术操作类型以切割为主钻磨为辅 ， 手术 中 时刻要求锯片方 向与规划轨迹切 向保持一致 ， 且解 剖结构 复杂 ， 涉 及头 部重 要组 织结 构 ， 自动 化 的操作 方式难 以随时根据阻力、 切割截面状况和操作干涉 情况调整手术动作。而医生的经验判断和术中手眼 结合可以方便的对手术策略做出指导和调整 ， 但传 统的医生主刀操作存在手术精度不够 、 难以实现精 细手 术力 控制 的 问题 。 对于颅一 颌面骨科手术操作来说 ， 单纯的 自主式 或被动式操作都不能满足要求 。较好的方 案是， 既 能实现医生对机械臂动作 的实时掌控 ， 同时又可 以 把末端手术器械的受力状况反馈给医生 。有研究将 基于力传 感器 的协 调控 制 策 略引 人 颅颌 面手 术 中 ， 手术中， 末端执行器上 的力传感器接收医生 作用力和环境反作用力， 利用二者之差作 为执行器 的速度控制输入 。但这种力一 速度控制方式存 在位 置精度低 、 力反馈效果差的缺点。为此， 在力反馈的 基础上， 设计出符合颅 一颌面骨科手术操作的虚拟 约束方法 ， 实现了精度高、 I 临床感真实的医生一 机器 人协调操作。 0 引 言 1 系统 组 成 因其输出稳定 、 精准等特点 ， 机器人辅助技术在 骨科手术 中得到了广泛应用 ， 以帮助 医生实现高难 度动作及微创操作， 如 R OB O DO C ， A C Ro b o t ， 收稿 日期： 2 0 1 1 1 12 1 基金项目： 国家 自然科 学基金 资助项 目( 3 0 8 0 1 3 0 2 ) 62 1 1 硬 件 组成 手术 系统主要 由 3部分组成 ： 机械臂本体、 双 目 导 航仪及 其 三维 导 航 软 件 、 力 反 馈 设 备 。机 械 臂 本 体具有 7自由度 ， 三维空间任意位姿的实现只需要 机械 与电子 ) 2 0 1 2 ( 5 ) 基 人 6个 自由度就能实现 ， 多出的冗余 自由度可 以用 于 操作度优化或避障 。导航 仪为 ND I 双 目红外导航 仪 ， 空间位置精度 土0 2 5 mm， 导航软件采用 自主研 发的高精度光学导航辅助颅一 颌面骨畸形 整复手术 软件 系 统 ( T b Na v i sC MF S软 件 著 作 登 记 号 ： 2 0 0 6 S R1 6 1 5 3 ) ， 可以实现病灶部位任意轨迹和姿态 的术前操作路径规划 。力反馈设备采用 F o r c e D i me n s i o n公 司 的 O me g a 6 ， 可 实 现 三 维 位 置 空 间 的 力反馈 ， 其特点是操纵笔的位置与姿态变量相解耦 ， 方便 实 现位 置 、 姿 态 的 独 立控 制 。整 个 系 统 的硬 件 组成 如 图 1所示 。 ( a ) 导航 仪 与 机械 臂 ( b ) 0 me g a 6 图 1 系统硬 件组 成 1 2网络 通信 设计 上 位 机与 下位 机 操作 系 统分 别 为 Wi n d o ws X P 和 Wi n C E 5 0 。采用双工 网络通信实现力 反馈设 备( 上位机端) 与末端手术器械( 下位机端) 之间的位 姿 、 力信息交互 ， 网络带宽 1 0 0 Mb i t s 。为保证网络 通信质量 ， 获得稳定可控 的通信延迟 ， 采用 Ar d e n e e RT X 的 R e a l t i me TC P I P模块实现 同步 s o c k e t 设计 。数据 包设 计 为 固定 长度 ( 2 3 0字 节 ) 和 固定 格 式的报文 ， 格式为“ 时间节点 +控制指令+各关节角 增量” 。网络通信周期为 1 0 ms ， 位置 力信号采样频 率分别为 1 0 0 Hz 5 0 0 0 Hz 。在一个通信周期 内， 力 反馈设备把位置和姿态信息经过约束处理后打包发 送给下位机 ， 作为机器人的运 动控制指令 ； 同时 ， 对 采集到的力信号进行平滑滤波 ， 发送给 Ome g a 6以 实 现力 反馈 。 2虚拟约束设计 2 1 约束 空 间划分 我们希望手术器械的运动能达到这样的效果 ： 位置上 ， 严格跟随导航仪术前规划 的轨迹 ， 准确完成 术前规划方案， 实现 高精度切割 ； 姿态上 ， 自动保持 锯 片刀 锋方 向与 轨 迹 切 向方 向 一 致 ， 以防 止 锯 片 打 折 。同时 ， 允许医生在俯仰方向上 自由调整 ， 以达到 较舒适的握持感 ； 允许 医生根据实际反馈力的大小 ， 机 械 与 电 子 2 O 1 2 ( 5 ) 自由调 整锯 切 速度 。 已有的虚拟约束策略都不能满足这样复杂的使 用要求_ 6 ， 需要设计新 的约束策略实现之 。为此， 根据导航仪术前规划 的手术路径 ， 首先把手术器械 在笛卡尔空间内的实 际运动分为位置运动 D、 姿态 变化 R两部分， 并进一 步再 将 D， R分别分 解成正 交互补的两子空 间， 即 ： DD oD ， RR R 。 其中， D 为导航仪规划 的手术路径 ， R 为刀具绕 y 轴的旋转 。D ， R 在空间内， 手术器械可 以根据 医 生的操作 自由运动 。D 为运动受 限空间 ， 医生在此 空间内的操作将被过滤掉 ， 使末端执行器只产生沿 规划轨迹的运动 ； R 内的运动 由机器人 自动实现 ， 即根据预定义轨迹 实时调整计算锯片 的 a ， 7角 ， 使 锯切方向与轨迹切 向一致 。医生对末端执行器的操 作动作 ， 首先要 经过约束算 法映射 到 D ， R 空 间 内， 然 后 才发 送给 机械 臂作 为运 动 指令 。 根据此约束策略， 医生在手术 中可以 自由调整 的动作为 ： 控制沿规划路径的切割速度 ， 调整刀具俯 仰角 ， 如 图 2所示 。 轨迹 图 2 虚拟 约束 示意图 2 2运 动学 关 系建 立 首先 ， 建立机械臂基坐标系 T和力反馈设备坐 标系 P， 使两者的 X， y， Z轴方向对应相 同。同时 ， 手术刀具 、 操纵笔上的固定坐标系依图 3所示建立 ， 并使两者在各 自基坐标 中的初始姿态。 R 2 J 。 ， 。 R ： I o m 是相 同的。在本文中， 有 ： 0 。 R 2 I R 0 bo 一。 R I o m =R o t ( y ， 7 c ) 2 2 O 2 2 这样 ， 在主从控制 中， 操纵笔在力反馈设备坐标 系 x。 ， y 0 ， Z 0 轴方 向上 的平移对应 于手术刀具在机 械臂基坐标 系 X。 ， y 。 ， Z 0 轴 方 向上 的平移 ， 绕 ， Z 0 ， Z 0 关节 的旋转对应 于手术 刀具绕 自身 坐标系 63 2。 2 O 1 O 人 Xs ， y8 ， Z 8轴的旋 转。如此直 观地 一一对应 ， 有利 于医生的操作和手眼协调 ， 也 减少 了主从控制 中的 运动学解算量 。 ( a ) 手 术 刀 ( b ) 操 纵 笔 图 3工具 坐标系建立 2 3运动 变量 表达 假设预定义轨迹术前 已在病人头颅坐标系中完 整表达 ， 并通过坐标转换表达到机械臂基 坐标 系 T 中 。在 T 中 ， 采 用 二 维 矩 阵 T r a j e c t o r y N 6 存 储 一 条规划轨迹 的完整信息 。其中， 每一行代表一组位 姿 ， 前 3个数据代表规划点在坐标系 T中的位置 ， 后 3 个 数 据为此 点 上 规划 的手 术 刀 具 轴 y 8的 方 向 向量 ， 代表锯切方向信息 。第 m行的数据格式为： T r a j e c t o r y 一 X ， y ， Z ， ， O ， 口 ， mN ( 2) 操纵笔在力反馈设备坐标 系 P 中的位姿信 息 也采用相似格式的向量表示 ： PP 一L z， ， z， l ， 0 2 ， 0 3 ( 3 ) 其中， z， ， z 为操 纵笔端点在力反馈设 备坐 标系中的位置 ； ， 0 2 ， 0 3 为操纵笔绕 Z ， ， z ， 的 旋转 角 。这 6个变 量 相 互 独 立 ， 可 以从 各 自的 关 节 编码 盘读 数得 到 。 2 4 算法流程 手术时 ， 颅骨组织 、 规划轨迹和手术刀具在导航 仪中的成像每 3 3 ms 刷新一次， 医生根据导航图像、 刀具实际位置、 反馈作用力和手术状况 ， 操纵锯切 的 进行。由约束算法 将医生 的输入映射到规 划轨迹 上 。采 用增 量运 动 方 式 实 现 手术 刀具 的主 从 操 作 。 约束算法的效果示意图如图 4所示 。 一规划轨迹 64 Z 手术刀具 规划轨迹 图 4 约束算 法效果示意 开始主从控制前 ， 手术刀具端点位于进刀点 ， 刀片方 向调整到进刀点切 向， 操纵笔调整到方便操作 的位 置。开始主从控制时 ， 通过握手信号 ， 上位机 、 下位 机 同时进入 同步通信状态 。结合 图 4 ， 以刀具从 A 点运动到 B点为例 ， 将约束算法的实现步骤描述如 图 5所示 。 图 5算 法 流 程 3 实验 验 证 以圆轨迹为例说明约束算法的位置跟 随效果 。 圆半径 2 5 mm， 每隔 0 5 。 圆心角规划一个位 姿点 ， 每 2个点之 间的距离约 为 0 2 mm， 以获得较平滑 的规划 轨迹 。记 录 医生输 入位 置 与机 械臂 实际 执行 位置 ， 每 1 O个点 比较两者一次， 画图如 图 6所示 。 图 6 圆轨迹位 置约束效果 机 械与电子 2 0 1 2 ( 5 ) 置 一 ， H ： _ z 基于 目标特征提取和 E KF的位置跟踪方法 韩同辉 ， 沈 超 ， 沈 静。 ， 臧 昊。 ， 顿向明 ( 1 上 海 交通 大 学机 器人 研 究所 ， 上 海 2 0 0 2 4 0 ；2 上 海 宇航 系统 工程研 究所 ， 上海 2 O l 1 0 8 ； 3 常 州远 量 机 器人 技 术 有限公 司 ， 江 苏 常 州 2 1 3 1 0 0 ) Loc a t i o n Tr a c ki n g M e t ho d Ba s e d o n Ta r g e t Fe a t ur e Ex t r a c t i o n a nd EKF HAN To n gh u i ， S HEN C h a o ， S HEN J i n g ， Z ANG Ha o 3 ， D UN Xi a n gmi n g ( 1 Re s e a r c h I n s t i t u t e o f Ro b o t i c s ， S h a n g h a i J i a o To n g Un i v e r s i t y， S h a n g h a i 2 0 0 2 4 0 ， Ch i n a； 2 S h a n g h a i I n s t i t u t e o f As t r o n a u t i c a l S y s t e m s En g i n e e r i n g 。 S h a n g h a i 2 0 1 1 0 8， Ch i n a ； 3 Ch a n g z h o u Yu a n l i a n g Ro b o t Te c h n o l o g y Co ， L t d ， Ch a n g z h o u 2 1 3 1 0 0， Ch i n a ) 摘 要 ： 针 对设备 对接 等 特 殊 环 境 对 导航 定 位 系 统的 需求 ， 提 出了一种 新 的基 于激 光 测 距 传 感 器进 行 位 置跟 踪 的方 法 ， 主要 包含 激 光 雷达 成像 特 征 匹 配和 EKF滤 波跟踪 两部 分 ， 相 比传统 的 雷达 与视 觉 定位 具备 高精 高速 等特 点 。在搭 建 的 实验 平 台上 通 过 进行 室 内跟踪 实验 ， 最终 验证 了该 方 法的有 效性 。 关键 词 ： 识 别 ； 特征 提取 ； 滤 波跟 踪 ； 误 差分 析 中图 分类 号 ： TP 2 4 收稿 日期 ： 2 0 1 1 1 1 2 8 基金项 目： 江苏省科技支撑计划资助项 目( B E 2 0 1 0 0 5 4 ) 文 献标 识码 ： B 文 章编 号 ： 1 0 0 1 2 2 5 7 ( 2 0 1 2 ) 0 50 0 6 5 0 4 Ab s t r a c t ： Fo r t he do c k i ng e qu i pme n t s n e e d s o f na vi ga t i on a n d p os i t i oni ng s y s t e m ， a ne w l o c a t i o n t r a c k i ng me t h od ba s e d o n 1 a s e r r a d a r s e n s or i S pr o p os e d The m e t ho d i nc l u de s t wo p a r t s whi c h a r e i ma ge f e a t u r e ma t c hi ng a n d EKF t r a c k i ng， a nd i t h a s h i g h e r p r e c i s i o n a n d s p e e d s c o mp a r i n g t o t r a d i t i o n a l v i s u a l o r r a d a r p o s i t i o n i n g On t h e b a s i s o f t he e x pe r i m e nt a l pl a t f or m be bui l t， l o t s of i nd o or t r a c k i n g e x p e r i me n t s p r o v e t h e e f f e c t i v e n e s s o f t h i s 从结果可以看 出， 约束算法将 医生输入严格约 束到了规划轨迹上 ， 手术精度就完全取决于机械臂 的执行精度， 而不受医生操作不准确性的影响， 实现 了预期的要求 。 4 结束 语 针对颅一 颌面骨科手术操作的特点和要求 ， 本文 设 计 了 医生 与机械 臂 的协调 操作 策 略 。既能 为 医生 提供力反馈 ， 允许医生调整手术刀具倾角 ， 又能精确 跟 随预定 义轨 迹 、 自动 调 整 锯 切 方 向。本 文 提 出 的 虚拟约束策略虽然是专为“ 锯切” 这种手术操作设计 的 ， 但可以根据其它类型手术操作的特点， 再此基础 上加 以拓展 ， 设计出合适的手术约束方案。 参 考文献 ： 1 T a y l o r R H， e t a 1 An i ma g ed i r e c t e d r o b o t i c s y s t e m E 2 3 f o r p r e c i s e o r t h o p a e d i c s u r g e r y E J I E E E T r a n s R o b o t Au t o ma t ， 1 9 9 4， ( 1 0 ) ： 2 6 1 2 7 5 Da v i e s B L， e t a 1 Ac t i v e c o mp l i a n c e i n r o b o t i c s u r g e r y 机械与 电子 9 2 0 1 2 ( 5 ) 3 4 E s l 6 E 7 3 t h e u s e o f f o r c e c o n t r o l a s a d y n a mi c c o n s t r a i n t E J P r o c e e d i n g s o f t h e I n s t i t u t i o n o f Me c h a n i c a l E n g i n e e r sH ， 1 99 7， 2n ( 4)： 28 5 2 92 S u g i t a N ， e t a 1 Ad a p t i v e Co n t r o l l e d M i l l i n g Ro b o t f o r Or t h o p e d i c S u r g e r y C I C R A， 2 0 0 2 B u r g h a r t C，e t a 1 Ro b o t Co n t r o l l e d 0s t e o t o my i n C r a n i o f a c i a l s u r g e r y C I C R A， 1 9 9 9 Cr u c e s Ca s t i l l o R A， W a h r b u r g J I mp r o v i n g r o b o t a r m c o nt r ol f or s a f e a n d r obu s t ha p t i c c oo pe r a t i o n i n or t ho p a e d i c p r o c e d u r e s J I n t J Me d R o b o t i c s a n d C o mp u t As s i s t Sur g， 2 00 7， 3( 4)： 3 16 32 2 Be t t i n i A 。 e t a 1 Vi s i o na s s i s t e d c o n t r o l f o r ma n i p u l a - t i o n u s i n g v i r t u a l f i x t u r e s E J I E E E Tr a n s a c t i o n s o n Rob ot i c s， 2 0 04， 2 0( 6)： 9 53 96 6 M i n g Li ， Ta y l o r R H Pe r f o r ma n c e o f s u r g i c a l r o b o t s wi t h a ut o m a t i c a l l y g e ne r at e d s pa t i a l vi r t u a l f i x t u r e s E c 3 I C R A， 2 0 0 5 作者简介 ： 张海青 ( 1 9 8 7 ) ， 男， 安徽淮北人， 硕士研究1生， 研究方 向为手术机器人 与智 能控制 ； 栾楠( 1 9 7 3 一) ， 男 ， 湖北武 汉人 ， 副教授， 研究方向为机器人 学、 机器人 智能控 制 65