基于矫正力的前列腺粒子植入穿刺控制策略研究.pdf

May2023Chinese Journal of Scientific Instrument2023年5月Vol.44 No.5第5期第44卷表仪仪器报学D0I:10.19650/ki.cjsi.J2311140基于矫正力的前列腺粒子植入穿刺控制策略研究代雪松，张永德（1.无锡学院自动化学院无锡214000；2.哈尔滨理工大学先进制造智能化技术教育部重点实验室哈尔滨150080)摘要：以前列腺粒子植人机器人精准穿刺为目标，针对机器人辅助前列腺粒子植人手术的现存不足和发展趋势，开展针挠曲形变预测模型和穿刺控制策略等方面的研究。研究了针挠曲形变预测模型的参数获取问题，提出基于矫正力的术中组织杨氏模量识别方法，解决术中组织杨氏模量获取困难的问题。随后，建立基于矫正力的穿刺控制策略，分为两个阶段，即术前针尖轨迹规划阶段和术中穿刺策略调整阶段。在术前针尖轨迹规划阶段，基于针曲形变预测模型构建成本函数获取最佳针尖轨迹与穿刺参数。在术中穿刺策略调整阶段，构建了反向针挠曲形变预测模型，对矫正力的数值进行术中补偿，并采用基于强化学习（RL）的自适应PID方法设计控制器控制矫正力的施加，实现精准穿刺。自主搭建了粒子植人机器人实验平台以验证所提穿刺控制策略的有效性，粒子植人的平均误差为1.9 6 mm，标准误差为0.56 mm，实验结果表明，基于矫正力的穿刺控制策略能够有效降低针尖挠曲值，可以提高粒子植人精度，关键词：前列腺；粒子植入；矫正力；穿刺控制策略中图分类号：TH772文献标识码：A国家标准学科分类代码：46 0.4Research on prostate seed implantation puncturecontrol strategy based on corrective forceDai Xuesong,Zhang Yongde?(1.College of Automation,Wuxi University,Wuxi 214000,China;2.Key Laboratory of Ministry of Education of AdvancedManufacturing and Intelligent Technology,Harbin University of Science and Technology,Harbin 150080,China)Abstract:To realize the precise puncture of prostate brachytherapy robot,this article conducts research on needle deflection deformationprediction model and puncture control strategy in view of the existing deficiency and development trend of robot-assisted prostatebrachytherapy surgery.The parameter acquisition problem of needle deflection deformation prediction model is studied,and a Youngsmodulus recognition method based on corrective force is proposed to solve the problem of difficulty in obtaining intraoperative tissueYoungs modulus.Then,the puncture control strategy based on corrective force is established,which is divided into two stages.The firstis preoperative needle tip trajectory planning stage,and the other is the intraoperative puncture strategy adjustment stage.In thepreoperative needle tip trajectory planning stage,a cost function is established,which is based on the needle deflection prediction modelto obtain the optimal needle tip trajectory and puncture parameters.In the adjustment stage of the intraoperative puncture strategy,areverse needle tip deflection prediction model is formulated to compensate the value of the correction force during the operation.Theadaptive PID method based on reinforcement learning(RL)is also used to design the controller to achieve the application of correctionforce and achieve accurate puncture.An experimental platform of prostate seed implantation robot is established independently toevaluate the effectiveness of the proposed puncture control strategy.The average error of seed implantation is 1.96 mm and the standarderror is O.56 mm.Experimental results show that the puncture control strategy based on correction force can effectively reduce the tipdeflection value and improve the accuracy of seeds implantation.Keywords:prostate;seed implantation;corrective force;puncture control strategy收稿日期：2 0 2 3-0 3-0 7Received Date:2023-03-07*基金项目：国家自然科学基金（52 2 7 50 15）项目资助101代雪松等：基于矫正穿刺控制策略研究不不自第5期0引言在男性恶性癌症发病率中,前列腺癌已上升至第2 位，位居男性癌症死因的第5位1-3。与根治性切除术相比,前列腺癌粒子植人治疗具有创伤小、恢复快、并发症少、住院费用低等特点,Ennis等4 通过大量的临床研究得出,将粒子植人可取得与根治性切除术相类似的治疗效果,成为患者最期望的治疗方法。在前列腺粒子植人的过程中，粒子植人针（属于半柔性针semi-flexible）的针尖和针体与穿刺的组织相互作用。针与组织的相互作用会导致在粒子植人过程中粒子植人针发生挠曲形变，影响穿刺精度。临床中，医生通过间歇性的旋转针体，控制针体沿直线前进。通过旋转针体，改变针尖斜面的方向，沿相反方向运动，但徒手控制很难精准的控制针尖的路径4-5。因此，机器人辅助粒子植人近年来越来越受到关注6 。研究机构通过引导针体旋转、构建针-组织相互作用模型、针挠曲预测模型和改进的针转向控制来实现精确穿刺。针-组织之间的基本相互作用，包括刚性力、摩擦力和切割力已被研究7-10 。针挠曲预测模型包括力学模型8-14和运动学模型15-2 0 1。然而，现有的运动学模型与穿刺组织的特征几乎没有相关性，导致模型和实际轨迹之间的误差。基于力学的针挠曲模型考虑了组织特性，并提供了改进的针挑曲预测模型10 13-4.17 2 1,用于为基于模型的控制器提供轴向针旋转转向的信息8.4-2 。基于力学的针挠曲模型，需要将组织杨氏模量作为模型输人参数，由于穿刺过程受限或干扰每次手术的标准手术程序，在外科手术之前或期间，在临床环境中可能难以获得杨氏模量，严重影响预测精度。临床中，医生术中调整针尖位置采取两种方法：1）旋转针体;2)在靠近进针点处施加矫正力2 2 。方法1)旋转针体操作简单，但旋转针体会造成患者组织与针体发生粘连，对患者造成二次伤害。方法2）需要医生对针体施加垂直于针插入方向的矫正力，以实现针转向，但施加矫正力的大小及时机对医生的操作精度要求很高，操作不当会造成患者组织撕裂。近年来，将机器人技术应用于穿刺中成为了医疗机器人领域研究的热点之一。Lehmann等2 3-2 5 使用机器人对硅胶组织进行穿刺,研究了矫正力对穿刺精度的影响。在穿刺过程中，矫正力沿针挠曲方向直接施加在针体上，以减小针挠曲值。这种方法的优点是矫正力提供连续的控制输入。文献2 5使用基于比例、微分和积分（proportionintegrationdifferentiation,PID)控制量的计算，具有一定的滞后性，影响运行效率。目前对于第2 种方法矫正力引导法的研究处于初始阶段，基于该方法的控制模型在精度和实时性方面都有待提高。1全针挠曲形变预测模型现有的力学针挠曲形变预测模型，需要组织的杨氏模量K作为已知参数来求解针的挠曲形变预测模型，采用常规的杨氏模量获取方法无法在手术前或手术过程中获取患者组织的杨氏模量值，模型中使用经验杨氏模量值，影响预测模型的准确性。通过矫正力导针器，对针体施加矫正力，会导致在组织内的针体发生偏移，对组织进行作用，影响针的挠曲值，根据矫正力这一作用机理，可以求取组织的杨氏模量值以及针挠曲形变预测模型。提出了一种基于矫正力进针策略的术中杨氏模量获取方法，并建立了基于矫正力的针挠曲形变预测模型穿刺针在穿刺过程中一端固定，另一端自由，可以看作一根细长的梁，因此可以建模为悬臂梁。针-组织相互作用系统的数学建模和弯曲建模，可采用欧拉-伯努利偏转理论。使用欧拉-伯努利梁理论对模型偏转建模需要满足一个要求，即梁的最大偏移必须限制在梁总长度的10%左右。穿刺针长度为2 0 0 mm，最大挠曲约为10 mm，可满足这一要求，并且该模型为准静态，因此在每个穿刺步骤中，平衡条件都是连续的。如图1所示，穿刺针左侧由稳固针机构固定，因此只考虑点A到C的针轴部分进行建模，简化模型复杂度，提高数学模型的计算效率。在穿刺针穿刺过程中,穿刺针刺入组织，随着穿刺深度的增加,穿刺针在点A到C的长度也是在不断增加的，因此针的长度是一个变量。在点B和C,穿刺针分别受到矫正力以及切割力的作用。利用最小势能原理建立针-组织弯曲模型。公式以泛函形式表达在穿刺过程中存储在穿刺针以及组织中的能量和外力对针-组织系统做的功，然后使用瑞利-里兹方法2 6 将其转化为一个线性方程组。最后，根据最小势能原理求解针尖挠曲形状的线性方程组。丝杠滑台力传感器矫正力导针器固定针机构针尖轨迹穿刺针AyFeutine4XKABC图1失矫正力影响针挠曲值示意图Fig.1Diagram of corrective force affecting needle deflection针-组织的系统能量II（u）表示为：II(u)=U(u)+V=U(u)+U(u)+V+V,(1)表102仪仪报器第44卷学式中：U（u）是系统本身所具有的能量；V是侧向驱动力和切割反力施加对系统产生的能量；U（u）是穿刺针弯曲产生的弹性势能；U（u）是穿刺针刺入组织使得组织被压缩产生的压缩势能；V,是矫正力F,做功产生的能量；V,是切割力X轴的分力FFeuin.做功产生的能量。穿刺针在穿刺过程中由于针尖受力不均发生弯曲，本文研究穿刺针的轴向弯曲可以忽略不计，只考虑穿刺针的径向弯曲。穿刺针弯曲所产生的弹性势能U（u）可以表示为：EIdz(2)uJ。2式中：E为穿刺针杨氏模量；I为转动惯量；l为穿刺针长度;u（z）为针的挠曲形变预测模型；z为穿刺深度当穿刺针刺人组织以后，穿刺针发生挠曲形变并占据原有组织的空间，针周围的组织会被穿刺针挤压，被压缩的组织中的能量U（u）表示为：KU.(u)(u(z)-u,(z)dz(3)21-dk式中：u（z）为测量的针尖路径,z为穿刺深度,取值范围为0 l;d为穿刺针最终穿刺深度。穿刺针刺人组织时，被压缩的组织可以用虚拟弹簧来表示，这些虚拟弹簧连接成针形轨迹，如图2 所示。由式（3）可知，弹性弹簧的伸长量与针轴受到矫正力以后的偏离位置和穿刺针针尖路径u（z）之间的差值有关。d-d.（TT穿刺针FiFi-0Fit0d图2 矫正力影响穿刺针受力挠曲示意图Fig.2Diagram of the corrective force on the needle deflection由矫正力施加机构向针轴点B施加一个垂直于针轴的矫正力，矫正力做功V，可以表示为：V,=F,u(c2)(4)式中：u（c 2）表示穿刺针在点B的偏移距离图1中切割力的X轴分力F。Fcuing.是针穿刺组织过程中针挠曲的主要原因，是由斜针尖的几何形状不对称造成的。由于不对称性，当针穿过组织时，组织被针尖挤压。因此，针会向与斜面相同的方向挠曲。因此，挠曲的方向和F的符号是由斜角的方向决定的。由F。Fcuting.所做的工作被表示为：V,=F.Feutig.tu(l)(5)式中：u（I）为针尖挠曲值。u(l）的含义与u（z）的含义不同,针尖路径u（z）是由过去穿刺步骤的针尖曲u(I）构成,因此取决于水平坐标Z。综上，将式（2）（4)代人式（1），根据穿刺针的弹性势能U（u）,组织压缩势能U.（u），侧向驱动力做功W。，其他力做功W，进而得到系统能量I可以表示为：II(u)=El/u(2)Kdz+(u(z)-u,(z)dz,22Ji-dkz d,-Fu(c2)-Famimg.u(d,l)(6)式中：d，为施加矫正力时的穿刺深度。为了求解上述基于能量法的针-组织系统模型，利用瑞利-里兹法求解针的挠曲形变量。瑞利-里兹法指出一个函数形式的微分方程可以用一个有限的加权形状函数的和来逼近。有限级数的加权函数为：u,(2)=24.(2)g:（7)式中：q（z）指的是第i个形状函数；g.指的是形状函数对应的加权系数。9:(z)可以采用如下公式计算2 一(Sk(B：).(8)Coscosh；和k.可以采用如下公式计算：sin,+sinh;:=cos,+coshB.(9)k,=sin-sinh;-(cos,-cosh,)(10)式中：.为无夹紧时悬臂梁模型中的常数值，当i4时，=1.857,=4.695,;=7.855,4=10.996,T(i-1/2)。将式(8)代人式(6)可得：II(un)2(z)g.dz+Kdz-2（F2q.(c.)g.-F.2g.(1)g.(11)式中：9（2)（z）表示q（z）相对于z的二阶导数。当a/ag,=0,j的取值范围为（1,n）时，Il(u,）取得最小值。根据这一条件可以建立并求解加权系数g：的线性方程组。然后对II(un）取g：的偏导数，由式（8)可103第5期代雪松等：基于矫正力的前列腺粒子植人穿刺控制策略研究知,对于任意的i和j的值,均存q(z)=q(z)=1,并且对于任意j的值可以求得q（c）的值,因此可以得到：all(u)：EI.(Z(2)g.)(2)da+agj(Zg(2)g.u,(2)g,(2)dz-Fig,(2)-FaK=0cutting,x(12)简化式（12），提取g，将i的值代人并累加，可以得到：nPrg:-w,-j-Fr.=0(13)式中:;(z)=EI,q(z)q(z)dz+Kq:(z)q,dz;a,(z)=0Ku(z)q(z)dz;j=Fiq;(c2)根据以上公式分析，可以将式（13）写成一个矩阵公式：gqi(c2)=F+nLgnJLq,(c2)q(c2)WF1(14)十cutting,xlnx1n式中：1nx1表示一个大小为n的列向量。根据式（14）可以求解未知向量g为：g=-l(Fiq(c2)+F.t1 x1+2)(15)cutting,x本文所提出的术中杨氏模量识别方法的示意图如图3所示。穿刺针刺人组织的深度为dk。随后由矫正力导针器对穿刺针施加矫正力F，穿刺针发生偏移，针体会对周围的组织进行压缩。组织被建模为线性弹性弹簧，其中弹簧刚度是单位长度平方的刚度。在对组织施加矫正力F,的过程中，矫正力F，的施加保持匀速，针-组织系统处于平衡状态。为了获取组织杨氏模量K，应用了能量守恒原理，即作用于针-组织系统的功必须等于系统中的势能。矫正力导针器对针-组织系统做功，与力传感器测量的矫正力F,值相关，与相对于矫正力F,施加前（针挠曲值假定为0)针挠曲形变模型u（z）相关。在针-组织的系统处于平衡状态下，可得：I(u)=U(u)+Ua(u)+V,=O(16)式中：U（u）是穿刺针弯曲产生的弹性势能;U（u）是穿刺针穿刺组织使得组织被压缩产生的压缩势能；V是矫正力F，做功产生的能量。穿刺针在穿刺过程中由于针尖受力不均发生弯曲，本文研究穿刺针的轴向弯曲可以忽略不计，只考虑穿刺L丝杠滑台力传感器矫正力导针器固定针机构粒子植入针施加矫正力前穿刺针的位置uo(）（c.）施加矫正力后穿4X刺针的位置u(2)Cd.AB02-0图3在点B对针施加矫正力F,的示意图Fig.3Diagram of corrective force F,applied onto theneedle at point B针的径向弯曲。穿刺针弯曲所产生的弹性势能U（u）可以表示为：EIU.(u)dz(17)2J7式中：E为穿刺针杨氏模量I为转动惯量；l为穿刺针长度;u（z）为拟合的针挠曲形变模型，其中z的取值范围为0 l。当穿刺针刺人组织以后，穿刺针发生挠曲形变并占据原有组织的空间，针周围的组织会被穿刺针挤压，被压缩的组织中的能量U（u）表示为：KU.(u)(us(z)-uo(z)dz(18)21-d式中：uo（z）为矫正力施加前针尖的挠曲值，由于矫正力的施加方向垂直于针尖挠曲平面，因此假设在组织杨氏模量的识别阶段u（z）的值为0。则有：KU(u)=us(z)dz(19)2JJi-ds当矫正力导针器对针体施加矫正力时，在位置点B处（z=C）针体的位移和所受矫正力F，为稳定状态（即为常数）,因此矫正力所做的功V，可表示为：V,=F,u(c2)(20)式中：u（c）表示穿刺针在点B的偏移距离，即矫正力导针器移动的距离。将式（17）、（19）、（2 0)代人式（16)可得：式（10）可待：EI2(z)Kdz+us(z)dz-F,u(c2)=0220l-d(21)对式（2 1)进行简单的重新表述，杨氏模量K为：22F,u(c2)-Eldz20K=(22)u:(z)adzl-d式中：E为针的弹性模量；I为针的惯性矩；1为针长。表104仪器仪报学第44卷三者为已知量。未知量为F/、u（c）和u（z）。计算组织的杨氏模量，需要获取Fru（c）的数值大小和u（z)的函数表达式。F,通过力传感器获取数值大小,u（c 2）的大小为丝杠滑台的位移值。根据文献2 8，采用三阶多项式表达针挠曲模型。使用布拉格光栅传感器获取穿刺过程中针体的位置坐标，通过三阶拟合获取针挠曲模型u（z）。术中组织的杨氏模量识别与针挠曲形变预测模型的融合流程如图4所示。流程主要由5个模块组成，即穿刺机器人模块、矫正力导针器模块、术中杨氏模量K识别模块和针挠曲形变预测模型模块组成。针挠曲形变预测针挠曲形变预测模型穿刺机器人穿刺针穿刺组织针尖穿刺深度的杨路径术中组织的杨氏模氏模量识别量拟合的针挠曲形变模型u（2）施加矫正力针体沿着矫正力矫正力导针器施加方向移动矫正力F、矫正力施加距离u（c）图4术中杨氏模量识别与针挠曲形变预测模型融合流程Fig.4Flow chart for the integration of method forintraoperative tissue Youngs modulus identificationwith the prediction of needle deflection deformation图5所示为针挠曲形变预测步骤的时间顺序示意图。1)组织杨氏模量K识别，当穿刺针的穿刺深度为d，时，暂停进针，然后驱动矫正力导针器对针体的点B施加矫正力。使用光纤布拉格光栅（fiberBragggrating，FBG)传感器，获取穿刺过程中针体的位置坐标，通过三阶拟合获取针挠曲模型u（z）。连接在矫正力导针器上的力传感器获取施加在针上的矫正力Fi。最后,将u（z)和F,代人式（2 2），获取组织的杨氏模量值K。2)针挠曲形变预测，将获取的术中组织杨氏模量带入针挠曲形变预测模型，预测穿刺深度大于d，时针尖的挠曲值。4XFF山LTTTBB穿刺针d,穿刺针d目标靶点预测的针尖路径u（c）C(a)杨氏模量K识别(b)针尖路径预测(a)Youngsmodulus K(b)Needletippath prediction recognition图5针曲形变预测步骤示意图Fig.5Diagram of prediction steps for needle deflection2基于矫正力的穿刺控制策略基于针挠曲形变预测模型构建术前穿刺控制策略，由于针挠曲形变预测模型与实际系统之间存在一定误差，且穿刺术中易受外界因素的干扰，导致针尖的位置与预期位置存在偏差，为克服模型不确定性与外界干扰的不利影响，同时考虑到系统复杂的模型特征，难以应用通常基于模型的鲁棒控制算法，而普通PID控制器鲁棒性能欠佳2 9 ,难以满足本文系统要求，因此本文将构建基于强化学习（reinforcementlearning，R L）的自适应PID控制系统，实时调整矫正力的大小，使针尖可以到达目标靶点。2.1术前针尖轨迹规划穿刺控制策略包括两个阶段，如图6 所示。术前针尖轨迹规划术中穿刺控制策略针挠曲形变预测模型无法完全设定目标靶点正确地计算组织内针的挠曲值基于针挠曲形变预测实际针尖轨迹偏离期望模型的成本函数针尖轨迹术中调整矫正力补偿针尖最佳针尖路径及穿刺参数轨迹偏离误差(a)阶段1(b)阶段2(a)Phase 1(b)Phase2图6 多穿刺控制策略示意图Fig.6Diagram of the overall puncture control strategy第1阶段，穿刺针的术前针尖轨迹规划阶段，依据针挠曲形变预测模型得出针尖到达目标靶点的最佳针尖路径,并得到对应的穿刺参数-矫正力F,和穿刺深度dk。第2 阶段，穿刺针的术中穿刺控制策略阶段，施加矫正力F,后，随着穿刺针进针，术中针尖轨迹与术前规划好的针尖轨迹之间会产生误差，通过基于强化学习的自适应PID控制策略实时调整矫正力的大小，将穿刺误差降到最小。术前，首先设定期望的针体线段T，如图7 所示基于针挠曲形变预测模型求取最佳针尖轨迹的穿刺参数。组织针体形状训d）矫正力F针尖路径u（d)dHAF导针孔Fie0ddi2力分布函数J(d.dwdie)图7 术前针尖轨迹规划示意图Fig.7Diagram of preoperative needle tip trajectory planning105代雪松等：基于矫正穿刺控制策略研究第5期基于针挠曲形变预测模型建立使A。面积最小化的成本函数。A。为期望的针体线段与模型计算出的针体线段从d，d,二者所围成的面积。考虑到矫正力分布函数f，的搜索空间一般为无穷大，因此选择简化的力分布函数f来减少搜索空间fi(d,di.1,di,2)=F,ck(d-d,1)-k(d-dj,2)de(0,d,)(23)式中：函数k（）是阶跃函数。Fldi.1、和dj.2分别表示矫正力的大小，以及施加矫正力的起始深度和结束深度。如式（2 3）所示，矫正力分布函数fi是d、d i.，和dl.2的函数。由式(2 3）构造的成本函数R(Fl.c,dl.）为期望的针体线段T值与最终穿刺深度时针的形状之间的残差的平方和。R(Ff.,di,1)=(u(dy,2,Fl,e,dl.1)-)(24)2E(d,.d式中：u(dj,z,Fl.e,di.,）为针挠曲形变预测模型得到的针在最终穿刺深度处的模拟挠曲值。成本函数的输入为使R值最小的恒定的矫正力Fl.。和施加Fl.。时的穿刺深度d.1。通过实验确定矫正力驱动停止有效的深度dl.2=60mm。选择优化算法来寻找参数Fi。和di.的最优值，因此最优的针尖轨迹为模式搜索法。得到使R(Fl.。,d l.）为最小值的Ft.。与di.穿刺参数，识别出的最优针尖轨迹被用作穿刺过程中术中穿刺控制策略的参考轨迹。对术前穿刺控制策略算法进行仿真模拟，原点为起点，期望的针体线段为曲率为0 的线段，计算出最佳路径与Fi。和di.的大小，结果为在19 mm处施加大小为2.8 N的矫正力，如图8所示。/420201020304050607080穿刺深度/mm(a)针尖轨迹(a)Needletippath10N/亚E1一2-3401020304050607080穿刺深度/mm(b)矫正力(b)Correctiveforce图8 最佳针尖路径及对应的矫正力Fig.8Optimal tip path and corresponding correction force2.2术中穿刺控制策略1)在线调整理论分析在穿刺期间，施加在针上的矫正力是根据预先规划的针尖轨迹和测量的针尖挠曲值之间的误差来调整的。一般来说，可以利用第1阶段（术前穿刺策略阶段）预测的矫正力来控制穿刺针的穿刺。然而，由于针挠曲形变预测模型存在误差以及物理系统中可能发生的条件变化，针挠曲形变预测模型的预测精度不能满足要求，因此需要基于FBG传感器得到的针尖挠曲值进行反馈，在线重新计算矫正力。为了预测将针尖从当前位置带到目标靶点所需的矫正力，需要一个基于所需针挠曲值的反向针挠曲形变预测模型来反求矫正力。8。=u。（d+d）为期望的针尖挠曲值,通过施加一个尚未确定的矫正力F来达到这个期望的针尖挠曲值。其中d为施加矫正力时穿刺针进给的距离。假设针尖的轨迹u（d)到当前的深度d是通过测量知道的。为了求解未知的矫正力F*使针尖达到理想的挠曲值，首先使用向量=【0 nx18.T对式（14）进行扩维，将Frq（c）移到右侧,并将Fiq（c 2）中的q（c）合并到中，可得：-q;(ccuttingnx111000nx1(25)最后式（2 5）可以写为：g=-(F.xI+Q2*+A)(26)cutting,x即F=g米+1业通过上述公式，在给定参数K、F和测量针尖cutting,轨迹u（d)的情况下，可以预测所需的矫正力为期望的针挠曲值8。所需的矫正力的大小。这种矫正力计算方法的优点是不需要耗时的迭代搜索，这是在实时轨迹重新规划过程中给定样本时间约束的关键。在穿刺过程中，当达到以下标准时，移除矫正力：（1）超过最大的矫正力限制Fl.max（本文最大值为4N）；（2)在物体之间矫正力的变化限制超过了ddj.2（其中dj.2最大为6 0 mm）,如果满足这些标准中的任何一个，矫正力驱动器的参考力设置为0。这些条件都是模型运算时，可能存在的极端情况。当极端情况发生时，矫正力导针器的参考力将设为0。以上是反向针挠曲形变预测模型的建模过程2)基于强化学习自适应PID控制的术中针尖位置调整结合强化学习技术设计自适应PID控制器，采用Actor-Critic结构形式的强化学习技术，分别利用径向基函数（radial basis function neural network，R BF）神经网络106表仪器仪报学第44卷实现演员（或执行器，Actor）和评价者（或评价器，Critic）机制，然后基于RBFNN的Actor-Critic结构设计了新的PID控制自适应更新规则为了更清晰地阐述RL-APID设计思路与设计过程，首先考虑如下一般形式的离散时间非线性动力学模型：x(t+1)=f(x(t)+g(x(t)u(t)(27)y(t)=h(x(t),u(t-1)式中：t时刻的系统状态x(t）ER ,控制输人u（t）ER ，输出为y(t）。由于在强化学习技术中,允许模型的详细信息是未知的，因此，可以将式（2 7）表示为如下更加紧凑的形式：x(t+1)=F(x(t),u(t)(28)y(t)=h(x(t),u(t-1)为了针对系统式（2 8）应用强化学习控制技术，系统首先需要满足如下两个假设条件。假设1：因为式(2 8）在t+1时刻的状态仅依赖于t时刻的状态和输人，与t时刻前的历史状态与输入信息无关，故式（2 8）满足马尔可夫链的无记忆”性质。该假设是定义在马尔可夫决策过程（Markovdecisionprocess，M D P）框架下的，MDP的目标就是通过满意的控制策略来实现特定的目标。假设2：函数h（）关于所有元素的偏导数的符号是已知的，且与系统雅可比矩阵的符号相同。由于本文的穿刺闭环控制系统易受PID导数项跳变的影响，因此本文提出一种速度型PID控制结构以降低导数项跳变带来的不利影响，离散时间控制结构设计如下：u(t)=u(t-1)+K(t)e(t)-Kp(t)Ay(t)-(t)y(t)(29)K,(t)y(t)从式(2 9）可控制增量为：Au(t)=K(t)e(t)-Kp(t)Ay(t)-K,(t)y(t)=K(t)O(t)(30)式中：K(t)=K,(t),Kp(t),K,(t)为自适应PID控制器的控制参数向量，定义(t）=e(t)，y(t)，-(t)为增广的系统状态,定义=1-为差分操作符号，其意义为当前时刻变量与上一时刻变量之差。故（t）可以进一步展开表示为：Ay(t)=Ay(t)-Ay(t-1)=y(t)-2y(t-1)+y(t-2)(31)其中，(t)中的e(t)定义为系统参考输人与系统实际输出之间的跟踪误差，即设计e（t）为：e(t)=ya(t)-y(t)(32)式中：ya（t）为系统期望的参考输人。本文所提基于强化学习的自适应PID控制方法结构框图如图9 所示，其中Actor-Critic结构的输人为（t），是在轨迹跟踪误差e（t）的基础上转换而来，Actor通过利用观测到的系统状态在线调节控制器，而Critic不仅接收系统状态，而且同时接收奖励信号r（t+1），评价系统性能同时输出时序差分误差。时序差分误差rp（t）是设计过程中的重要参数，本章节的目的就是利用Actor-Critic结构设计一个具有新的自适应律的PID控制系统，同时满足系统跟踪精度与鲁棒性能要求。r(t+1)评价器执行器y.()e()状态)PIDu()机器人系统转换控制器实际力反馈图9基于强化学习的自适应PID控制方法结构框图Fig.9Structure block diagram of adaptive PID control methodbased on reinforcement learning定义一个如下形式的值函数：80V(t)=Zir(x(i),u(i)(33)式中：0 0sign()=/o,=0(49)一1，80dy(t+1)则可令为：du(t)dy(t+1)dy(t+1)dy(t+1)sign(50)au(t)au(t)au(t)dy(t+1)dy(t+1)由于 sign(是已知的，而对于可u(t)du(t)以将其包含在与等学习速率中。同理，神经网络隐含层的径向基函数中心与宽度可通过如下自适应律进行在线更新：aJ(t)二0,(t)-,;(t),(t)+orp(t)u,(t)d,(t)(51)0;(t)表108报仪器仪第44卷学aJ(t)II 0,(t)-;(t)I 2.mD(t)u,(t)d,(t)(52)g(t)式中：u与。为学习速率参数。此外，RBF神经网络结构下Critic的输出权值矩阵可以通过如下自适应律进行在线更新：)(+1)=0,(L)-0,(0)a.J(t)v(t)+,op(t)(t)(53)式中：，为输出权值的学习速率参数。基于Actor-Critic框架的强化学习自适应PID控制器设计步骤如算法1所示。实现过程需要设置一些必不可少的控制参数。算法1.基于Actor-Critic框架的强化学习自适应PID控制器设计步骤1t=0 时刻，初始化控制输人信号u(0）与参考输人信号y(0)2.初始化控制参数wwp、(0)(0）以及,(0)同时设定学习速率v和3.for t=1:EndTime4.测量得到系统输出yt）,根据e（t）=y a（t）y（t）计算得到输出误差5.计算RBF神经网络结构隐含层的内核径向基函数式(37)6.通过式（39)计算t时刻Actor的输出，求得PID控制器参数，同时通过式（40）计算t时刻Critic的输出值函数V(t),7.通过式（40）获得当前时刻的控制增量u（t）：u（t）=K(t)e(t)-Kp(t)Ay(t)-Kb(t)y(t)8.通过式（39）计算得到当前时刻的控制信号：u（t）=u(t-1）+u（t）,并将其输人给被控穿刺系统，同时产生下一时刻的系统输出y(t+1)9.根据系统输出构建下一时刻的增广状态：(t+1）=e(t+1),-Ay(t+1),-y(t +1)T10.根据式（40）计算t+1时刻Critic的输出值函数V(t+1)11.木根据式（42)计算时序差分误差8 rp（t）12.根据式（45）（47）跟新PID参数的权值系数，根据式（52）更新值函数的权值系数13.根据式(51)与（52)更新RBF内核函数的中心与宽度值14.end for本文穿刺系统中在给定参数K、F和测量针尖轨迹u（d）的情况下，根据式（2 6）可以解算获得参考的矫正力F*大小。因此将参考矫正力作为强化学习自适应PID控制器的输人，实际系统测量得到的矫正力作为反馈，控制器输出量通过直线驱动装置转换为矫正力，末端执行器闭环控制系统结构如图11所示。FBG嵌入式穿刺针单维力传感器测量的矫正力（F）参考的矫RLAPID正力（F控制器直线驱动器位置图11末端执行器闭环控制系统结构Fig.11Structure of closed loop control system for end actuator综上所述，经直肠前列腺粒子植人机器人的穿刺控制策略如图12 所示开始初始化设定期望的针体线段t依据成本函数R(Filed.).得到矫正力Fil。和施加Fl。时的穿刺深度dj依据成本函数R(Fied.1).得到矫正力Fic、施加Fi。时的穿刺深度d.和期望的针挠曲值。使用FBG传感器得到实时的针尖挠曲值u（d)Yu.(d)执行穿刺N将带入反向针挠曲形变预测模型，得到参考的矫正力F*F*作为RL-APID控制器的输入执行穿刺结束图12经直肠前列腺粒子植人机器人穿刺控制策略Fig.12Puncture control strategy of transrectal prostateseed implantation3实验验证与结果分析将闭环控制系统实验与对比分析研究，以评估所提控制方法的可行性和鲁棒性。本文搭建了机器人穿刺平台，如图13所示。109第5期代雪松等：基于矫正力的前列腺粒子植人穿刺控制策略研究上位机URSe机械臂末端执行器前列腺运动控制器模拟平合下位机图13机器人穿刺实验平台Fig.13Robot puncture experimental platform整个系统由UR5e机械臂、末端执行器、上位机、下位机、前列腺运动模型平台和控制器组成。UR5e机械臂主要用于执行器末端的初始定位。本文具体的控制结构选用以Windows7作为操作系统的工控机作为上位机。上、下位机两级分布式进行控制。上位机进行图像显示、轨迹规划