动态条件模仿学习自动驾驶算法研究_张兴波.pdf

2023 年第 3 期计算机与数字工程收稿日期：2022年8月11日，修回日期：2022年9月21日基金项目：国防科技创新特区火花课题（编号：2016300TS009091）；国家自然科学基金面上项目（编号：61371040）资助。作者简介：张兴波，男，硕士研究生，研究方向：自动驾驶。石朝侠，男，博士，副教授，研究方向：无人车自主导航，环境感知，地图创建，多机器人协同。王燕清，女，博士，副教授，研究方向：计算机视觉、模式识别。1引言自动驾驶能有效地减少交通事故的发生，合理利用交通资源，缓解交通压力。传统的自动驾驶方法会将任务划分为路径规划、目标检测、目标跟踪、车道线识别等多个子任务来解决，这种方法可解释性强但同时也存在着系统复杂、计算量大和对硬件要求高的缺点1。近年来基于强化学习和深度学习的方法成为自动驾驶领域的研究热点。在基于深度学习的方法中，神经网络的输入是传感器输出信息，网络输出是车辆控制信息，神经网络通过学习人类专家的示范来进行学习这种映射关系，能够较快达到较高自动驾驶水平。而基于强化学习的自动驾驶算法则依靠自己探索环境做出正确决策，最通用的构造方法是构造一个列表存储所有的状态-动作对的奖励值。但是这种方法对于自动驾驶这种状态-动作空间较大的情况难以奏效，因此基于强化学习的自动驾驶算法一直未出现较大规模动态条件模仿学习自动驾驶算法研究张兴波1石朝侠1王燕清2（1.南京理工大学计算机科学与工程学院南京210094）（2.南京晓庄学院信息工程学院南京211171）摘要针对自动驾驶领域当前条件模仿学习模型在动态环境下表现较差的问题，提出了一种使用LSTM网络融合历史视觉信息的动态条件模仿学习模型DCIL（Dynamic Conditional Imitation Learning）。首先DCIL通过残差网络Resnet34进行环境感知得到图像特征，再将连续的4帧历史图像特征通过LSTM网络进行特征融合，得到动态环境的特征向量。针对不同的导航条件，使用不同的决策网络预测车辆速度和方向盘角度；最后使用比例积分控制模型控制车速。在自动驾驶仿真平台CARLA上的测试结果表明DCIL与经典模仿学习方法相比，自动驾驶水平大幅提高，动态环境下避障能力显著增强。关键词自动驾驶；LSTM；模仿学习；神经网络；比例积分控制中图分类号TP301.6DOI：10.3969/j.issn.1672-9722.2023.03.002Research on Automatic Driving Algorithm Based onDynamic Condition Imitation LearningZHANG Xingbo1SHI Chaoxia1WANG Yanqing2（1.School of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing210094）（2.Institute of Information Engineering，Nanjing Xiaozhuang University，Nanjing211171）AbstractIn order to solve the problem of poor performance of conditional imitation learning model in the field of automaticdriving in dynamic environment，a dynamic conditional imitation learning model DCIL is proposed，which uses LSTM network tofuse historical visual information.Firstly，DCIL obtains image features through residual network Resnet34，and then fuses four consecutive historical image features through LSTM network to obtain the feature vector of dynamic environment.According to differentnavigation conditions，different decision networks are used to predict vehicle speed and steering wheel angle.Finally，proportionalintegral control model is used to control vehicle speed.The test results on the auto driving simulation platform CARLA show thatDCIL can greatly improve the level of automatic driving and the ability of obstacle avoidance in dynamic environment.Key Wordsautopilot，LSTM，imitation learning，neural network，PI-controlClass NumberTP301.6总第 401期2023 年第 3期计算机与数字工程Computer&Digital EngineeringVol.51No.3545第 51 卷的应用2。2005年，Lecun 等3构建了具有6层卷积神经网络的端到端模型DAVE，采用监督学习的方式进行神经网络的训练，研究表明该模型在野外环境下具有很好的鲁棒性。2016年 NVIDIA通过采集实车数据训练了一个卷积神经网络模型预测方向盘角度，该模型能够根据前置摄像头传输的图像得到转向角度，可以在多种路况下行驶，这一成果证明了端到端控制方法的可行性，这一成果命名为DAVE-24。2017年Dosovitskiy等介绍了一款开源自动驾驶仿真平台CARLA5，他们在CARLA上通过训练端到端自动驾驶模型CIL6（Conditional Imitation Learning），实验结果表明根据导航信息进行分支的网络CIL能够有效利用导航信息。2018年Simon Hecker7等提出了一种基于环绕视觉的端到端模型，该模型能够有效避免单相机情况下的驾驶错误，提高模型鲁棒性。2019 年 Codevilla等提出CILRS8模型使用ResNet349进行环境感知取得了良好的效果并且通过速度预测一定程度上消除了CIL模型中有时会异常停车的问题。上述模型除了 Simon Hecker提出的环绕视觉模型外，都是将单帧图片作为网络输入来预测车辆控制信息，这样无法对视野中的车辆和行人等动态障碍的速度进行估计，在动态环境中对环境感知存在不足。而Simon Hecker等提出的环绕视觉模型是将导航信息和感知信息进行直接融合，不如用导航信息对决策网络做分支简单有效。上述CILRS模型将图像和车辆当前速度作为网络输入来预测方向盘角度和车辆加速度，而在训练数据中因为避障停车存在大量车速和加速度都为零的样本，所以网络会学习到低速度和低加速度的映射关系，这会造成在测试过程中车速为零时车辆有时无法启动的情况。CILRS模型中为了解决这一问题直接用单帧图片预测当前车速，让感知网络提取速度特征来降低对输入车速的依赖，这部分的解决了异常停车的问题，但这一问题仍会随训练数据规模的增加不断突出。本文提出的DCIL（Dynamic ConditionalImitation Learning）模型能够利用历史视觉信息对动态障碍进行状态估计，从而提升模型在动态环境下的表现。仿真实验表明我们提出的DCIL模型能够在测试环境下大幅提高模型的表现。2动态条件模仿学习模型1）条件模仿学习在人类驾驶过程中，主要依靠车辆前方视觉信息和速度信息操控油门和刹车控制车辆速度，依靠方向盘控制车辆转向。模仿学习即利用上述信息作为网络输入，预测油门刹车和方向盘来控制车辆。为了训练网络，一般会收集一定专家驾驶记录，作为训练集进行训练。网络在训练过程中会学习数据集中存在的传感器数据到驾驶操作的映射关系。CARLA 仿真平台通过 A*10算法可以提供直行，左拐、右拐等导航信息。Dosovitski等在2017年提出通过不同分支决策网络实现不同导航控制，这些分支决策网络共享环境感知网络。该算法被称为条件模仿学习CIL（Conditional Imitation Learning），能够有效利用导航信息，满足不同的导航需求。2）模型原理如果我们将t时刻车辆的视觉信息记为It，车速记为vt，方向盘角度记为st。我们假设t时刻的车辆的期望速度为t+1时刻的车速vt+1，并且t时刻的车辆的期望速度vt+1和方向盘角度st是t时刻及之前多帧视觉信息的函数，那么我们就可以得到式（1）。stvt+1=f(It,It-1,It-k)（1）其中Itk为tk时刻的视觉信息，f是神经网络所刻画的函数。我们进一步采用文章CIL中描述的分支网络，在不同导航行为如直行，左拐、右拐和道路跟随时分别使用不同的决策网络进行车辆控制，此时对于导航信息i来说，我们有式（2）所描述的函数fi。sitvit+1=fi(It,It-1,It-k)（2）其中sit为导航信息i对应的t时刻的方向盘预测，vit为导航信息i对应的t时刻的速度预测，fi为对应的分支网络所刻画的函数。因为Codevilla等11提出L1损失比L2损失更适合自动驾驶任务，所以我们的损失函数采用L1损失，损失函数如式（3）所示。其中st为t时刻方向盘角度的估计值，vt为t时刻速度v的估计值。losst=|s?t-st+|v?t-vt+1（3）3）网络结构在基于视觉信息的模仿自动驾驶模型中，多数模型只利用了单帧视觉信息，而在实际驾驶过程中，人类驾驶员需要历史视觉信息来躲避动态障碍。因此我们提出动态避障的端到端模仿学习网络来提升驾驶表现。我们的模型被命名为DCIL，网络结构如图1所示。连续4帧图片经过ResNet34张兴波等：动态条件模仿学习自动驾驶算法研究5462023 年第 3 期计算机与数字工程网络得到4个512维特征向量，特征向量经过单层LSTM网络得到512维融合特征向量，融合特征向量经过 3 层全连接预测车辆速度和方向盘角度。其中LSTM网络的隐层节点个数为128。图中所示的分支网络根据导航信息c选择激活，每次只会有一个导航信息对应的分支网络被激活来预测速度和方向盘角度。导航信息c有道路跟随，直行、左拐和右拐四种状态。网络中没有像模型CILRS将速度作为输入来预测油门和刹车，使网络不会学习到数据中存在而逻辑错误的低速度和低加速度的映射。CILRS网络中学习到这一映射会导致车辆可能在未到达目标且前方可通行时停车。Image88200Resnet34pretrainedFC512LSTM1281导航信息c速度v?方向盘角度s?速度v?方向盘角度s?速度v?方向盘角度s?图1DCIL网络结构图4）LSTM网络长短期记忆网络12（long short term memory network，LSTM）引入内部状态和门机制来保存和更新历史状态，是一种广泛应用的循环神经网络。LSTM的网络结构如图2所示，LSTM的数学模型如式（4）（8）所示。其中xt为t时刻的网络输入，t1为t1时刻的外部状态，ct1为t1时刻的记忆单元，ct为t时刻的候选状态，W是LSTM细胞单元的参数矩阵，b是LSTM细胞单元的偏置，tanh是激活函数，用以增强神经网络的非线性，it、ot和ft分别为t时刻输入门、输出门和遗忘门的大小，ct为t时刻的内部状态，t为t时刻的输出。ct-1ht-1ftitc?totxt向量元素乘向量和向量拼接htct图2LSTM网络结构it=tanh(Wxixt+Whiht-1+Wcict-1+bi)（4）ft=tanh(Wxfxt+Whfht-1+Wcfct-1+bf)（5）ot=tanh(Wxoxt+Whoht-1+Wcoct-1+bo)（6）ct=ftct-1+ittanh(Wxcxt+Whcht-1+bc)（7）ht=ottanh(ct)（8）5）速度控制因为图1中网络的输出为方向盘角度和期望车速，而实际控制车速的方式为油门和刹车，所以我们设计了一个简单的比例积分控制器来控制车速，控制器如图 3 所示。控制器的比例系数为0.25，积分系数为0.2，控制器输出a为正时则为油门大小，为负时则为刹车大小。控制器输出a如式（9）所示，其中v?为速度的估计值，v为速度的实际值。期望速度v?实际速度v油门刹车PI控制器图3速度比例积分控制示意图a=0.25()v?-v+0.20t()v?-v dt（9）3实验和结果CARLA是一个用于自动驾驶研究的开源仿真模拟平台，已经有多篇优秀论文56,8,11是基于CARLA仿真平台进行实验的，所以我们选择使用CARLA 进行仿真研究。本文使用的 CARLA 版本为0.8.4，包括图4所示的Town01和Town02两个地图和多种天气设置，我们会在Town01中收集训练和验证数据，在Town02中进行测试。为 了 评 估 不 同 模 型 在 CARLA 中 的 表 现，Codevilla 等在 2017 年提出 CARLA benchmark5来进行测试。CARLA benchmark 包括 Training，NewWeather&Town等测试环境。每种测试环境包括四种子任务，分别是直行任务，单拐弯任务，导航任务，动态导航任务。前三种子任务没有动态障碍，第四种子任务包括车辆、行人等动态障碍。每种子547第 51 卷任务包括25个起点和终点，能够在一定时间内到达终点即为成功，否则失败。Training Weather包括4种天气，New weather包括另外两种天气。图4Town01（左）、Town02（右）地图及场景图网络训练采用的优化器为 Adam13，Batchsize设置为64，初始学习率为0.0002。如果网络损失在4000 次迭代中没有下降，我们就把学习率减半。模型每隔5000次迭代保存一次，如果验证损失在连续4个模型上没有下降，我们就停止训练并选取当前验证损失最小的模型进行测试。表1中详细列举了我们的模型DCIL和众多经典方法在同一数据集 CARLA1008训练后在 CARLA Benchmark 中测试的结果，表中数字为对应类型任务完成百分比，加粗数字为同类型任务最好结果。从表中可以看出，几乎所有模型都是在训练环境下测试结果更好而且成功率随任务难度增加呈下降趋势。在所有类型的任务中，DCIL模型的评分都取得了最优的结果。在直行类型任务中取得了100%的成功率，这是因为消除了其他模型中存在的低速度和低加速度的映射，从而解决了车辆异常停车的问题。在New town&weather环境下的含有动态障碍的Nav.Dynamic任务中取得了98%的成功率，比之前的最好结果90%提升了8%。这说明我们的模型有良好的泛化能力和动态避障能力。表1多模型CARLA Benchmark 测试结果TaskStraightOne TurnNavigationNav.DynamicTraining conditionsCIRL1498979382CAL15100979283MT1696877181CILRS896929592DCIL100989992New town&weatherCIRL1498806862CAL1594726864MT1696827862CILRS896929290DCIL1009898984结语本文在模型CILRS的基础上进行改进，提出了DCIL 模型，将速度作为预测而不是输入，解决了CILRS等模型中存在的车辆异常停止的问题。另外在网络中加入LSTM网络来处理历史视觉信息，使得网络可以更好地感知动态环境，从而预测速度和方向盘角度。为了对车速进行控制，本文引入了传统的PI控制器，通过油门和刹车来控制车速到DCIL 网 络 的 期 望 车 速。DCIL 模 型 在 CARLABenchmark上测试的结果表明具有良好的泛化性能和动态避障能力，具有一定的实用价值。参 考 文 献1张裕天.基于视觉感知的多模态多任务端到端自动驾驶方法研究 D.广州：华南理工大学，2019.ZHANG Yutian.Research on multimodal and multitaskend-to-end automatic driving method based on visual perception D.Guangzhou：South China University of Technology，2019.2王丙琛，司怀伟，谭国真.基于深度强化学习的自动驾驶车控制算法研究 J.郑州大学学报（工学版），2020，41（04）：41-45.WANG Bingchen，SI Huaiwei，TAN Guozhen.Researchon automatic driving vehicle control algorithm based ondeep reinforcement learning J.Journal of Zhengzhou University（Engineering Edition），2020，41（04）：41-45.3Muller U，Ben J，Cosatto E，et al.Off-road obstacleavoidance through end-to-end learningC/Advances inNeural Information Processing Systems，2006：739-746.4Bojarski M，Del Testa D，Dworakowski D，et al.End toend learning for self-driving cars J.ArXiv Preprint ArXiv：1604.07316，2016.5Dosovitskiy A，Ros G，Codevilla F，et al.CARLA：Anopen urban driving simulator J.ArXiv Preprint ArXiv：1711.03938，2017.6Codevilla F，Miiller M，Lpez A，et al.End-to-end driving via conditional imitation learning C/2018 IEEE InternationalConferenceonRoboticsandAutomation（ICRA）.IEEE，2018：1-9.7Hecker S，Dai D，Van Gool L.End-to-end learning of（下转第598页）张兴波等：动态条件模仿学习自动驾驶算法研究548第 51 卷据中心性能。EPSO算法首先混沌初始化粒子群，使群体分布具有遍历性和均匀性，使用小群迭代更新，这些小群被频繁地重新组合以在群之间交换信息。设计仿真实验，将我们的改进算法与经典PSO算法进行比较，验证了改进后的方法的可行性和有效性。实验结果表明，该算法平衡了资源利用、虚拟机迁移，优化了数据中心性能。参 考 文 献1Xu B，Peng Z，Xiao F，et al.Dynamic deployment of virtual machines in cloud computing using multi-objectiveoptimization J.SoftComputing，2015，19（8）：2265-2273.2XU Xiaobo，ZHENG Kangfeng，LI Dan，et al.New chaos-particle swarm optimization algorithmJ.Journal onCommunications，2012，33（01）：24-30，37.3ZHU Yahui，CHEN Dan，ZHUANG Yi.Virtual MachineScheduling Algorithm for Resource Utilization Balanced inCloud Data Center J.Journal of Chinese Computer Systems，2017，38（2）：232-237.4YANG Jing，ZHANG Hongjun，ZHAO Shuining，et al.Virtual machine deployment strategy based on particle swarmoptimization algorithm J.Journal of Computer Applications，2016，36（01）：117-121.5ZHANG Xiaoyan，WANG Minne，DU Xiaofeng.Researchon the method of virtual machine deployment in CloudcomputingJ.Journal on Communications，2015，36（03）：245-252.6CAO Mengmeng，YAO Wenbin.Virtual Machine Placement Algorithm Based on Improved Particle Swarm Optimization J.Computer Engineering&Software，2015，36（12）：89-92，107.7Cho H，Kim D，Olivera F，et al.Enhanced speciation inparticle swarm optimization for multi-modal problems J.European Journal of Operational Research，2011，213（1）：15-23.8Zhan Z H，Zhang J，Li Y，et al.Orthogonal Learning Particle Swarm Optimization J.IEEE Transactions on Evolutionary Computation，2011，15（6）：832-847.9Zhao X，Song B，Huang P，et al.An improved discreteimmuneoptimizationalgorithmbasedonPSOforQoS-driven web service compositionJ.Applied SoftComputing，2012，12（8）：2208-2216.10 Zhao G.Cost-Aware Scheduling Algorithm Based onPSO in Cloud Computing Environment J.InternationalJournal of Grid and Distributed Computing，2014，7（1）：33-42.11Dashti S E，Rahmani A M.Dynamic VMs placement forenergy efficiency by PSO in cloud computing J.Journal of Experimental&Theoretical Artificial Intelligence，2016，28（1-2）：97-112.12Kennedy J.Small worlds and mega-minds：effects ofneighborhood topology on particle swarm performanceC/CongressonEvolutionaryComputation.IEEE，1999.13Liang J J，Suganthan P N.Dynamic Multi-Swarm Particle Swarm Optimizer with Local Search C/2005 IEEECongress on Evolutionary Computation（CEC2005），2005（1）：522-528.driving models with surround-view cameras and routeplanners C/Proceedings of the European Conference onComputer Vision（ECCV），2018：435-453.8Codevilla F，Santana E，Lpez A M，et al.Exploring thelimitations of behavior cloning for autonomous driving C/Proceedings of the IEEE International Conference on Computer Vision，2019：9329-9338.9He K，Zhang X，Ren S，et al.Deep residual learning forimage recognitionC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.10Hart P E，Nilsson N J，Raphael B.A formal basis for theheuristic determination of minimum cost paths J.IEEEtransactions on Systems Science and Cybernetics，1968，4（2）：100-107.11Codevilla F，Lopez A M，Koltun V，et al.On offlineevaluation of vision-based driving models C/Proceedings of the European Conference on Computer Vision（ECCV），2018：236-251.12GERS F A，SCHMIDHUBER J，CUMMINS F.Learningto forget：continual prediction with LSTMJ.NeuralComputation，2000，12（10）：2451-2471.13Kingma D P，Ba J.Adam：A method for stochastic optimization J.ArXiv Preprint ArXiv：1412.6980，2014.14Liang X，Wang T，Yang L，et al.CIRL：Controllable imitative reinforcement learning for vision-based self-drivingC/Proceedings of the European Conference onComputer Vision（ECCV），2018：584-599.15Sauer A，Savinov N，Geiger A.Conditional affordancelearning for driving in urban environmentsJ.ArXivPreprint ArXiv：1806.06498，2018.16Li Z，Motoyoshi T，Sasaki K，et al.Rethinking self-driving：Multi-task knowledge for better generalization andaccident explanation ability J.ArXiv Preprint ArXiv：1809.11100，2018.（上接第548页）董德坤等：基于优化粒子群算法的虚拟机部署策略598