考虑前车运动不确定的随机最优ACC控制策略_周欣.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第6期No.62023年3月Mar.2023收稿日期：2021-12-08稿件编号：202112054基金项目：国家山区公路工程技术研究中心开放基金（GSGZJ-2020-07）；中央高校基本科研业务费资助项目（3001022411）作者简介：周 欣（1985），男，重庆人，硕士，高级工程师。研究方向：智能交通。自适应巡航控制通常采用分层架构，将 ACC策略分为速度控制和距离控制1-6。当前ACC策略通常认为前方目标车速度或者加速度恒定不变，然而由考虑前车运动不确定的随机最优ACC控制策略周 欣1，2，3，谢耀华1，2，3，王润民4，郑兵兵5（1.国家山区公路工程技术研究中心，重庆 400067；2.自动驾驶技术交通运输行业研发中心，重庆 400067；3.招商局重庆交通科研设计院有限公司，重庆 400067；4.长安大学 信息工程学院，陕西 西安 710016；5.中航光电科技股份有限公司，河南 洛阳 471000）摘要：针对传统自适应巡航控制策略对前方目标车运动随机性考虑不足的问题，基于交通车状态转移特征建立能够考虑前车运动不确定性的自适应巡航控制策略。在封闭测试场采集了大量驾驶数据，建立前车纵向加速度随机模型，将车辆跟随行驶构建为一定代价函数下的随机最优控制问题。在考虑前车运动不确定，以及对跟踪性、经济性和舒适性等多目标优化要求下，建立随机动态规划自适应巡航控制策略。对控制策略进行测试，结果表明文中构建的算法能够实现精确跟随行驶。关键词：自适应巡航控制；随机最优控制；前车运动不确定；随机动态规划；策略迭代中图分类号：U463.6文献标识码：A文章编号：1674-6236（2023）06-0075-05DOI：10.14022/j.issn1674-6236.2023.06.016Stochastic optimal control of adaptive cruise control considering the uncertainty ofpreceding vehicleZHOU Xin1，2，3，XIE Yaohua1，2，3，WANG Runmin4，ZHENG Bingbing5（1.National Engineering and Research Center for Mountainous Highways，Chongqing 400067，China；2.Research and Development Center of Transport Industry of Selfdriving Technology，Chongqing 400067，China；3.China Merchants Chongqing Communications Technology Research&Design Institute Co.，Ltd.，Chongqing 400067，China；4.School of Information Engineering，Chang an University，Xi an 710016，China；5.AVIC Jonhon Optronic Technology Co.，Ltd.，Luoyang 471000，China）Abstract:Traditional ACC system is usually divided into speed control and distance control modes.Thedecision of longitudinal acceleration in distance control mode is directly determined by the state ofpreceding vehicle.To deal with the problem that the performance of ACC may deteriorate withoutconsideration of the uncertainty of preceding vehicle，a stochastic optimal ACC strategy is proposed inthis paper.Based on a realworld driving dataset，the longitudinal control characteristic is studied.Thenthe distance control is established as a stochastic optimal control problem with a predefined cost function.Using policy iteration algorithm，a stochastic dynamic programming based distance control method isobtained.Keywords:adaptive cruise control；stochastic optimal control；the uncertainty of preceding vehicle；stochastic dynamic programming；policy iteration-75电子设计工程 2023年第6期于实际交通环境的动态随机性，以及驾驶人内在的不确定性，前方目标车运动状态存在很强的随机性7-12。针对实际行驶环境中前车运动状态的随机性特点，该文研究了随机最优 ACC控制算法。采用分层 ACC 控制架构，通过相对速度-相对距离相平面进行工作模式之间的切换；基于驾驶人实际驾驶数据，建立了速度控制过程模型；设计了前车运动的马尔科夫加速度控制模型，然后利用策略迭代算法进行求解13-16。构造满足实际驾驶环境下车辆运动随机性特征的测试工况，对文中所提策略进行了测试验证。1驾驶数据采集为研究驾驶人在真实驾驶环境下的驾驶特点，搭建了实车道路试验数据采集平台，如图1所示。图1驾驶员驾驶数据采集平台车上安装有激光雷达、相机和一套 RT3002。利用激光雷达和相机能够准确检测车辆周围目标。RT3002通过固定基站和车辆移动站进行差分定位，能够精确地确定车辆位置信息。同时能够精确测量车速、航向角、加速度等车辆状态信息。通过安装在车辆后备箱的工控机能够对各信号进行同步、记录。基于该实车平台，该文在长安大学智能汽车封闭测试试验场进行了试验。试验中前车驾驶人按照不同速度自由行驶，主车保持跟随行驶，基于采集的驾驶数据，构建了真实驾驶数据库。2系统控制架构设计了如图 2 所示的分层 ACC 系统控制架构，主要包括上层加速度决策算法和下层驱动/制动控制算法17-19。图2控制器结构下层加速度跟随控制基于车辆逆纵向动力学模型设计，现已有大量研究，该文不再展开介绍。系统工作模式仲裁模块根据驾驶员输入、驾驶员操作信号和传感信息决定ACC工作模式。为实现速度跟随模式下的拟人车速控制，基于实际驾驶数据建立指数加速度过程模型。基于距离的模式切换策略仅当车间距小于期望距离时才开始控制主车减速，会使主车响应迟钝。该文利用相对速度-相对距离相平面进行两工作模式之间的切换。如图 3 所示，当车辆运动状态位于切换线上方时，系统工作于速度跟随控制，此时车辆以驾驶员设置的巡航速度稳定行驶；当系统状态位于切换线下侧时，系统切换至距离跟随控制，ACC系统控制主车与前方目标车保持一定的安全距离。为避免当车辆运动状态位于切换线附近而导致系统工作模式频繁切换的现象，设置切换线。工作模式切换策略为：|if ddswitch+dcc,速度跟随else if ddswitch-dacc,距离跟随else,保持上一模式（1）图3工作模式切换策略3随机最优距离跟随基于所获得的驾驶数据对驾驶员的纵向驾驶随机特性展开了研究，针对 ACC系统在距离跟随模式下的控制问题建立了考虑前车运动不确定的SDP最优距离控制策略。-763.1前车加速度随机性建模ACC 系统设计中通常假定前车加速度固定不变，然而前车运动的变化可能会导致 ACC决策的加速度出现较大变化而导致较大冲击度。为研究车辆加速度变化的不确定性，基于采集的驾驶员真实道路驾驶数据，建立其加速度分布概率模型，并将其作为前车运动不确定模型。将加速度变化建模为马尔科夫随机过程，为获得前车加速度变化的概率转移矩阵，将加速度离散为有限数值。记车辆加速度变化范围为amin,amax，其中，amin、amax分别表示最小、最大加速度，按照0.2 m/s2加速度差进行离散得到若干加速度点。当在 k 时刻前车加速度为ap=amin+0.2n(n=0,1,2,)时，下一时刻前车加速度分布密度函数为：P(ap(k+1)=am|ap(k)=an)=Pnm=NnmNn（2）式中，Pnm表示加速度由an转移至am的概率，Nnm为驾驶数据库中加速度从an转移至am的样本数，Nn是加速度为an的样本数。以车速差为10 km/h变化范围分别统计得到在速度区间为0,10 km/h，(10 km/h,20 km/h,内的加速度转移概率矩阵。图4为车速在(20 km/h,30 km/h范围内的加速度转移概率矩阵，其中图 4(a)、(b)、(c)分别为 1 步、3 步、5 步转移概率分布。图4车辆加速度转移概率与构造的仿真工况3.2车辆跟随行驶模型采用固定时距模型计算期望车间距为：ddes(k)=thvh(k)+d0（3）其中，th表示设定的跟车时距，vh(k)为主车速度，d0表示最小车间距。采用一阶惯性时滞传递函数描述车辆加速度控制过程为：ah(k+1)=|1-Tsah(k)+TsKgu(k)（4）式中，ah(k)表示实际加速度，u(k)为期望加速度，为时间常数，Kg为系统增益。根据当前时刻实际距离d(k)计算车间距跟随误差为：d(k)=d(k)-ddes(k)（5）车辆冲击度j(k)为：j(k)=ah(k)-ah(k-1)Ts（6）记相对车速为v，可得距离跟随模式下的状态空间模型为：X(k+1)=AX(k)+Bu(k)+Dap(k)（7）其中：X(k)=d(k)v(k)ah(k)j(k)T，A=|1 Ts-T2s2-thTs00 1-Ts00 01-Ts00 0-10，B=|0 0TsKgKgT，D=|T2s2Ts0 0T。3.3目标函数车辆跟随控制是一个涉及跟踪性、舒适性和经济性等目标在内的多目标优化问题。基于车间距误差和相对车速设计跟踪性二次型指标函数：J1=dd2+vv2（8）式中，d和v分别为车间距、相对速度权重系数。为实现主车的驾乘舒适性，ACC 系统应避免出现较大冲击度，为此设计舒适性指标函数：J2=jj2（9）周 欣，等考虑前车运动不确定的随机最优ACC控制策略-77电子设计工程 2023年第6期另外，车辆的燃油经济性与加速度大小直接相关，设计经济性指标函数为：J3=uu2（10）由于车辆跟随行驶状态方程中前车运动的不确定性，导致未来的运行状态是一个随机分布，因此系统的求解目标函数为：J=limNEk=0Nk(J1+J2+J3)（11）上式表示无限时域下的各指标函数之和的期望，其中(0,1)为折扣因子。3.4基于策略迭代的SDP求解将系统状态离散化，根据 Bellman 方程，将上述目标函数表达为：Jk+1=i=1aJi+limuxXP(x|x,u)Jk(x)（12）其中，k 表示迭代步数，P(x|x,u)表示在状态 x下采取控制u系统达到状态x的概率。针对上述SDP问题的求解，通常有值迭代算法、策略迭代和逆向递推三种方法。逆向递推算法存在计算量大问题，策略迭代通常比值迭代具有更快的收敛速度。该文利用策略迭代对系统最优控制进行求解，算法交替执行策略评估和策略改进，直至收敛到最优策略。根据Bellman原理，最优控制等价于最小化式（12），最优期望加速度通过如下迭代得到：J*Jk(xk),u*argminuJ*（13）策略迭代算法伪代码如算法1所示,其中第三行通过下式求得：V(x)=a(x,a)xXP(x|x,a)(R(x,x,a)+V(x)（14）式中，R(x,x,a)为在状态 x下采取动作 a到达x获得的奖赏，通过计算设置的目标函数得到。算法1：策略迭代SDP求解算法1:初始控制策略u=(x,a)，值函数V(x)；2:for t=1,2,3:xX:V(x)=V(x)4:xX:(x)=argminuP(x|x,u)V(x)5:ifx:(x)=(x)then6:break7:else8:=9:end for10:输出最优策略：由于实际控制中，系统状态不一定为离散的状态点，为此通过多维线性插值获得具体期望纵向加速度。4验证为验证所提出的随机最优ACC控制策略的有效性，基于Carsim软件搭建了仿真环境及控制器，利用所获得的车辆纵向加速度概率转移矩阵构造了一组前车运动变化曲线，对控制策略进行测试。测试内容主要包括速度跟随和距离跟随两种，设置主车巡航速度为 70 km/h，初始时刻主车距离前车较远，此时ACC系统工作于速度跟随模式。如图 5、6所示，当车间距减小至一定范围，系统切换至距离跟随，在 9.7 s附近系统从速度跟随切换至距离跟随，车辆开始减速。其中，图 6虚线为构造的前车速度变化曲线。从中可以看出主车能够与前车保持在期望间距附近安全行驶。图5车间距跟踪结果图6主车与前车的速度对比为清晰显示跟随行驶模式下的距离跟随误差和相对车速，分别作车间距误差和相对车速变化曲线如图 7(a)、(b)所示。通过统计可得，距离跟随模式下主车稳定跟随前车行驶过程中，平均车间距误差约为0.17 m，平均相对车速约为0.18 m/s。5结论在现有 ACC系统研究的基础上，该文分别对系-78统中的速度跟随模式和距离跟随模式进行了研究。首先搭建了实车数据采集平台，采集了大量真实驾驶环境下的驾驶数据。基于真实驾驶数据库，文中提出了一种能够符合驾驶员加速控制特性的指数加速模型。为使ACC系统能够适应真实驾驶环境下的前车运动变化的随机性，基于真实驾驶数据库分析了车辆纵向运动不确定性特点，将车辆纵向加速度变化建模为若干不同车速区间范围内的马尔科夫模型，利用该模型能够采样生成符合真实运动变化分布的前车运动曲线；将 ACC系统距离跟随控制建模为随机最优控制下的随机动态规划问题，采用策略迭代方法对问题进行求解，从而得到在设定目标函数期望最小下的车辆纵向控制；最后，该文在构造的前车运动工况下对所提出的 ACC 控制策略进行测试。算法在速度跟随模式下能够实现拟人加速过程控制，同时在距离跟随模式下控制主车与前车的间距维持在期望车间距附近。参考文献：1 Jia Y,Jibrin R,Grges D.Energy-optimal adaptivecruise control for electric vehicles based on linearand nonlinear model predictive controlJ.IEEETransactions on Vehicular Technology,2020,69(12):14173-14187.2 鲁若宇,胡杰,陈瑞楠,等.基于DMPC的智能汽车协同式自适应巡航控制J.汽车工程,2021,43(8):1177-1186.3 Gunter G,Gloudemans D,Stern R E,et al.Are comm-erciallyimplementedadaptivecruisecontrol systemsstring stableJ.IEEE Transactions on IntelligentTransportation Systems,2020,22(11):6992-7003.4 Mahdinia I,Arvin R,Khattak A J,et al.Safety,energy,and emissions impacts of adaptive cruise controland cooperative adaptive cruise controlJ.Transp-ortation Research Record,2020,2674(6):253-267.5 Makridis M,Mattas K,Ciuffo B,et al.Empirical studyon the properties of adaptive cruise control systemsand their impact on traffic flow and string stabilityJ.Transportation Research Record,2020,2674(4):471-484.6 Marzbanrad J,Tahbaz-zadeh M I.Self-tuning con-trol algorithm design for vehicle adaptive cruisecontrol system through real-time estimation of veh-icle parameters and road gradeJ.Vehicle SystemDynamics,2016,54(9):1291-1316.7 蔡英凤,吕志军,孙晓强,等.基于并线行为识别的自适应巡航控制方法J.汽车工程,2021,43(7):1077-1087,1095.8 陈涛,郭丛帅,李旭川,等.适应驾驶人的个性化自适应巡航控制策略J.重庆理工大学学报(自然科学),2021,35(7):1-9.9 王润民,卢涛,宋晓鹏,等.不可靠通信条件下的CACC纵向控制仿真分析J.计算机技术与发展,2021,31(7):152-157.10Liu Z,Yuan Q,Nie G,et al.A multi-objective modelpredictivecontrolforvehicleadaptivecruisecontrol system based on a new safe distance modelJ.International Journal of Automotive Technology,2021,22(2):475-487.11Zhu B,Jiang Y,Zhao J,et al.Typical-driving-style-oriented personalized adaptive cruise control des-ign based on human driving dataJ.TransportationResearch Part C:Emerging Technologies,2019,100(1):274-288.12Lin Y,McPhee J,Azad N L.Comparison of deepreinforcement learning and model predictive con-trol for adaptive cruise controlJ.IEEE Transactionson Intelligent Vehicles,2020,6(2):221-231.图7跟踪误差曲线（下转第84页）周 欣，等考虑前车运动不确定的随机最优ACC控制策略-79电子设计工程 2023年第6期传播规律，尤其是存在裂纹时透射系数与相移速度的变化，作为裂纹位置和深度的检测依据。经验证，该文所提的基于电磁声表面波的火车车轮踏面裂纹检测方法具有良好的准确性和一定的可行性。参考文献：1 曲俊蓉,丁宁.基于-OTDR的铁轨异物入侵监测方法J.工业控制计算机,2017,30(6):95-96,99.2 江白华,张亚,曾文文.基于改进卷积神经网络的铁轨伤损图像识别J.测控技术,2019,38(6):19-22,27.3 代国忠.图像识别技术在铁轨扣件异常检测中的应用研究D.哈尔滨:哈尔滨工程大学,2018.4 丛韬,韩建民,张关震,等.铁路车轮轮辋疲劳裂纹和踏面剥离掉块的微观伤损因素分析J.中国铁道科学,2017,38(5):93-99.5 杨川.金属管件微裂纹的电涡流修复方法及机理研究D.哈尔滨:哈尔滨工业大学,2019.6 娄联堂,何慧玲,石胜平.基于局部处理的X射线图像裂纹缺陷自动检测J.中南民族大学学报(自然科学版),2020,39(1):98-102.7 刘培,黄雅平.基于图像语义分割的半监督裂纹检测方法J.激光与光电子学进展,2021,58(6):317-328.8 唐又红,左欧阳,武美萍.激光超声裂纹深度定量检测研究J.应用激光,2020,40(6):1144-1152.9 杨理践,郑文学,高松巍,等.基于平衡电磁技术的钢板裂纹缺陷检测方法J.仪器仪表学报,2020,41(10):196-203.10徐伟,张香然.动车组轴装制动盘盘毂连接座裂纹的超声波检测J.无损检测,2017,39(12):48-50.11姜禹桐,熊乐超,张统伟,等.基于弱磁技术的火车轮踏面裂纹检测J.中国测试,2021,47(1):29-35.12胡松涛,石文泽,卢超,等.钢轨踏面裂纹电磁超声表面波同步挤压小波快速成像检测研究J.仪器仪表学报,2020,41(1):35-46.13刘春.车轮踏面裂纹检测系统中数据采集电路的设计与应用J.仪表技术,2018(9):24-26.14蒲富鹏,赵军,安喆.基于机器视觉的车轮裂纹识别与提取J.铁道科学与工程学报,2018,15(8):2113-2122.15周宇,黄旭炜,王树国,等.考虑轨道几何不平顺的钢轨裂纹萌生与磨耗共存预测J.同济大学学报(自然科学版),2019,47(11):1600-1608.16赵佳庆.基于导波的轨道车辆车轮辐板裂纹损伤识别及定位技术研究D.北京:北京交通大学,2019.表2不同类型裂纹的检测准确率裂纹类型周向裂纹横向裂纹孔距离准确率（%）76.378.172.7深度准确率（%）73.277.873.4（上接第79页）13罗傲,肖文彬,周琪,等.基于强化学习的一类具有输入约束非线性系统最优控制J.控制理论与应用,2022,39(1):154-164.14赵纯,董小明.基于深度Q-Learning的信号灯配时优化研究J.计算机技术与发展,2021,31(8):198-203.15Wei Q,Liao Z,Yang Z,et al.Continuous-time time-varying policy iterationJ.IEEE Transactions onCybernetics,2019,50(12):4958-4971.16贺翠华.基于模糊控制的汽车自适应巡航系统设计J.电子设计工程,2021,29(9):170-173.17谢志敏,王艳华,孙丽芃,等.城市工况下汽车走停巡航控制与仿真J.电子设计工程,2020,28(6):17-21.18Li T,Chen D,Zhou H,et al.Car-following behaviorcharacteristics of adaptive cruise control vehiclesbased on empirical experimentsJ.TransportationResearchPartB:Methodological,2021,147(1):67-91.19Alsuhaim A,Rayamajhi A,Westall J,et al.Adaptingtime headway in cooperative adaptive cruise controltonetworkreliabilityJ.IEEETransactionsonVehicular Technology,2021,70(12):12691-12702.-84